Plant Species Detection in Aerial and Satellite Images using Deep Learning
Metadatos
Mostrar el registro completo del ítemAutor
Safonova, AnastasiiaEditorial
Universidad de Granada
Departamento
Universidad de Granada. Programa de Doctorado en Tecnologías de la Información y la ComunicaciónMateria
Plant species detection Satellite images Deep learning Detección de especies de plantas Imágenes de satélite Aprendizaje profundo
Fecha
2021Fecha lectura
2021-06-30Referencia bibliográfica
Safonova, Anastasiia. Plant Species Detection in Aerial and Satellite Images using Deep Learning. Granada: Universidad de Granada, 2021. [http://hdl.handle.net/10481/69661]
Patrocinador
Tesis Univ. Granada.; Erasmus+ Program of the European Union at the University of Granada, Granada, Spain (Project No. KA107); Grant of the President of the Russian Federation (Project No. 05-1997)Resumen
It is unquestionable that the conservation of plant species is essential for the preservation of
nature, climate, and human wellbeing. Classically, the task of conserving threatened plant species was
generally done through direct field supervision by natural resources managers. Thanks to the advances
in sensor technologies and also in aircrafts such as unmanned aerial vehicles (UAV), high resolution
remote sensing (RS) data are becoming an important resource for monitoring threatened plant species
in large areas. Such RS data are usually multi-spectral images, with three or more bands, of up to 3
cm/pixel resolution, providing an orthogonal or quasi-orthogonal view of the considered plant species.
This information may not be as complete as the information provided by natural images; however, it
might be sufficient to monitor tree species located in very large areas with difficult access.
The task of analyzing RS images is usually performed using classical algorithms that require a
high level of human intervention. In the last ten years, Deep Learning (DL) models in general and deep
Convolutional Neural Networks (CNNs) in particular have shown impressive results in extracting
spatial patterns from natural images. Indeed, CNNs constitute the state-of-the-art in all computer vision
tasks, in image classification, object detection, and segmentation. Nevertheless, the potential of deep
CNNs have not been fully explored in high resolution orthogonal and quasi-orthogonal images,
especially in plant species conservation.
This thesis presents one of the first studies in exploring the potential of deep CNNs, data
preprocessing and high resolution RS data, in addressing plant species conservation problems. In
particular, this thesis presents the results and analysis of deep CNN models in three different problems
from natural sciences:
1. The detection of Fir trees (Abies Sibirica) damaged by the bark beetle in UAV images using
DL.
2. The estimation of olive tree biovolume from UAV multi-resolution image segmentation using
Mask R-CNN.
3. The detection of Spruce trees (Picea Abies) infected by bark beetle in UAV images using
YOLOs architectures.
The main objective of this thesis is to develop robust and accurate DL models for the monitoring
of different plant species using UAV images. The particular objectives to achieve the main objective
are:
● To build three high-quality datasets for each one of the three considered problems.
● To design the appropriate pre-processing methods that reduce noise and uncertainty in the
features and annotations.
● To develop robust and accurate CNN-based models for each case study.
The results of the first two chapters of this thesis have been published in two journals ranked as
Q1 and Q2 in JCR. The results of the third chapter have been submitted to “IEEE Transactions on
Geoscience and Remote Sensing”. This thesis is organized into five chapters. The first chapter introduces the considered problems,
background, and objectives of the thesis. Chapter two presents the built dataset, detection model and
pre-processing technique to address the detection of Fir trees (Abies Sibirica) damaged by the bark
beetle in UAV images. Chapter three presents the built dataset, segmentation model and pre-processing
techniques to estimate olive tree biovolume from UAV multi-resolution image segmentation. Chapter
four gives the built dataset, models, and pre-processing technique to address the detection of Spruce
trees (Picea Abies) infected by bark beetle in UAV images using YOLOs architectures. Finally,
Chapter five provides conclusions and future work. Es indiscutible que la conservación de las especies de plantas es esencial para la conservación de
la naturaleza, el clima y el bienestar humano. Clásicamente, la tarea de conservar las especies vegetales
amenazadas se realizaba generalmente mediante una supervisión directa sobre el terreno por parte de
los gestores de los recursos naturales. Sin embargo, con los avances en las tecnologías de sensores y
también de los vehículos aéreos no tripulados (UAV), los datos de teledetección de alta resolución se
están convirtiendo en un recurso importante para el seguimiento de las especies de plantas amenazadas
en grandes áreas. Estos datos de teledetección suelen ser imágenes multiespectrales, con tres o más
bandas, de hasta 3 cm/píxel de resolución, que proporcionan una visión ortogonal o casi-ortogonal de
la especie vegetal considerada. Esta información puede no ser tan completa como la que proporcionan
las imágenes naturales. Sin embargo, puede ser suficiente para vigilar especies arbóreas situadas en
zonas muy extensas y de difícil acceso.
La tarea de analizar las imágenes de teledetección suele realizarse mediante algoritmos clásicos
que requieren un alto nivel de intervención humana. En los últimos diez años, los modelos de
aprendizaje profundo en general y las redes Neuronales Convolucionales (CNNs) en particular han
mostrado resultados impresionantes en la extracción de patrones espaciales de imágenes naturales. De
hecho, las CNNs constituyen el estado del arte en todas las tareas de visión por computador, en
clasificación de imágenes, detección de objetos y segmentación. Sin embargo, el potencial de las
CNNs profundas no ha sido plenamente explorado en imágenes ortogonales y casi-ortogonales de alta
resolución, especialmente en la conservación de especies de plantas.
Esta tesis presenta uno de los primeros estudios en explorar el potencial de las CNNs profundas,
el preprocesamiento de datos y los datos de teledetección, para abordar los problemas de conservación
de especies de plantas. En particular, esta tesis presenta los resultados y el análisis de modelos CNN
profundos en tres problemas diferentes de ciencias naturales:
1. La detección de abetos (Abies Sibirica) dañados por el escarabajo de la corteza en imágenes de
UAV utilizando DL.
2. La estimación del biovolumen de los olivos a partir de la segmentación de imágenes de UAV
de múltiples resoluciones utilizando Mask R-CNN.
3. La detección de abetos (Picea Abies) infectados por el escarabajo de la corteza en imágenes
UAV utilizando arquitecturas YOLO.
El objetivo principal de esta tesis es desarrollar modelos de aprendizaje profundo robustos y
precisos para la monitorización de diferentes especies de plantas utilizando imágenes de UAV. Los
objetivos particulares para lograr el objetivo principal son:
● Construir tres conjuntos de datos de alta calidad para cada uno de los tres problemas
considerados según la formulación del problema.
● Diseñar los métodos de preprocesamiento adecuados que reduzcan el ruido y la incertidumbre
en las características.
● Desarrollar modelos robustos y precisos basados en CNN para cada caso de estudio. Los resultados de los primeros capítulos de de esta tesis han sido publicados en dos revistas
clasificadas como Q1 y Q2 en JCR. Los resultados del tercer capítulo han sido sometidos a la revista
“IEEE Transactions on Geoscience and Remote Sensing”.
Esta tesis está estructurada en cinco capítulos. El primer capítulo presenta una introducción de
los problemas considerados, los antecedentes y los objetivos de la tesis. El capítulo dos presenta el
conjunto de datos construido, los modelos y la técnica de preprocesamiento para abordar la detección
de abetos (Abies Sibirica) dañados por el escarabajo de la corteza en imágenes de UAV. El capítulo
tres presenta el conjunto de datos construido, los modelos y la técnica de preprocesamiento para estimar
el biovolumen de los olivos a partir de la segmentación de imágenes multirresolución de UAV. El
capítulo cuatro presenta el conjunto de datos construido, los modelos y la técnica de preprocesamiento
para abordar la detección de abetos (Picea Abies) infectados por el escarabajo de la corteza en imágenes
UAV utilizando arquitecturas YOLO. Por último, el capítulo cinco presenta las conclusiones y el
trabajo futuro.