Plant Species Detection in Aerial and Satellite Images using Deep Learning Safonova, Anastasiia Tabik, Siham Maglinets, Yury Universidad de Granada. Programa de Doctorado en Tecnologías de la Información y la Comunicación Plant species detection Satellite images Deep learning Detección de especies de plantas Imágenes de satélite Aprendizaje profundo This doctoral thesis has been supported by the Erasmus+ Program of the European Union at the University of Granada, Granada, Spain (Project No. KA107) in 2017/2018 and the Grant of the President of the Russian Federation for studying and research internships abroad (Project No. 05-1997) in 2018/2019. It is unquestionable that the conservation of plant species is essential for the preservation of nature, climate, and human wellbeing. Classically, the task of conserving threatened plant species was generally done through direct field supervision by natural resources managers. Thanks to the advances in sensor technologies and also in aircrafts such as unmanned aerial vehicles (UAV), high resolution remote sensing (RS) data are becoming an important resource for monitoring threatened plant species in large areas. Such RS data are usually multi-spectral images, with three or more bands, of up to 3 cm/pixel resolution, providing an orthogonal or quasi-orthogonal view of the considered plant species. This information may not be as complete as the information provided by natural images; however, it might be sufficient to monitor tree species located in very large areas with difficult access. The task of analyzing RS images is usually performed using classical algorithms that require a high level of human intervention. In the last ten years, Deep Learning (DL) models in general and deep Convolutional Neural Networks (CNNs) in particular have shown impressive results in extracting spatial patterns from natural images. Indeed, CNNs constitute the state-of-the-art in all computer vision tasks, in image classification, object detection, and segmentation. Nevertheless, the potential of deep CNNs have not been fully explored in high resolution orthogonal and quasi-orthogonal images, especially in plant species conservation. This thesis presents one of the first studies in exploring the potential of deep CNNs, data preprocessing and high resolution RS data, in addressing plant species conservation problems. In particular, this thesis presents the results and analysis of deep CNN models in three different problems from natural sciences: 1. The detection of Fir trees (Abies Sibirica) damaged by the bark beetle in UAV images using DL. 2. The estimation of olive tree biovolume from UAV multi-resolution image segmentation using Mask R-CNN. 3. The detection of Spruce trees (Picea Abies) infected by bark beetle in UAV images using YOLOs architectures. The main objective of this thesis is to develop robust and accurate DL models for the monitoring of different plant species using UAV images. The particular objectives to achieve the main objective are: ● To build three high-quality datasets for each one of the three considered problems. ● To design the appropriate pre-processing methods that reduce noise and uncertainty in the features and annotations. ● To develop robust and accurate CNN-based models for each case study. The results of the first two chapters of this thesis have been published in two journals ranked as Q1 and Q2 in JCR. The results of the third chapter have been submitted to “IEEE Transactions on Geoscience and Remote Sensing”. This thesis is organized into five chapters. The first chapter introduces the considered problems, background, and objectives of the thesis. Chapter two presents the built dataset, detection model and pre-processing technique to address the detection of Fir trees (Abies Sibirica) damaged by the bark beetle in UAV images. Chapter three presents the built dataset, segmentation model and pre-processing techniques to estimate olive tree biovolume from UAV multi-resolution image segmentation. Chapter four gives the built dataset, models, and pre-processing technique to address the detection of Spruce trees (Picea Abies) infected by bark beetle in UAV images using YOLOs architectures. Finally, Chapter five provides conclusions and future work. Es indiscutible que la conservación de las especies de plantas es esencial para la conservación de la naturaleza, el clima y el bienestar humano. Clásicamente, la tarea de conservar las especies vegetales amenazadas se realizaba generalmente mediante una supervisión directa sobre el terreno por parte de los gestores de los recursos naturales. Sin embargo, con los avances en las tecnologías de sensores y también de los vehículos aéreos no tripulados (UAV), los datos de teledetección de alta resolución se están convirtiendo en un recurso importante para el seguimiento de las especies de plantas amenazadas en grandes áreas. Estos datos de teledetección suelen ser imágenes multiespectrales, con tres o más bandas, de hasta 3 cm/píxel de resolución, que proporcionan una visión ortogonal o casi-ortogonal de la especie vegetal considerada. Esta información puede no ser tan completa como la que proporcionan las imágenes naturales. Sin embargo, puede ser suficiente para vigilar especies arbóreas situadas en zonas muy extensas y de difícil acceso. La tarea de analizar las imágenes de teledetección suele realizarse mediante algoritmos clásicos que requieren un alto nivel de intervención humana. En los últimos diez años, los modelos de aprendizaje profundo en general y las redes Neuronales Convolucionales (CNNs) en particular han mostrado resultados impresionantes en la extracción de patrones espaciales de imágenes naturales. De hecho, las CNNs constituyen el estado del arte en todas las tareas de visión por computador, en clasificación de imágenes, detección de objetos y segmentación. Sin embargo, el potencial de las CNNs profundas no ha sido plenamente explorado en imágenes ortogonales y casi-ortogonales de alta resolución, especialmente en la conservación de especies de plantas. Esta tesis presenta uno de los primeros estudios en explorar el potencial de las CNNs profundas, el preprocesamiento de datos y los datos de teledetección, para abordar los problemas de conservación de especies de plantas. En particular, esta tesis presenta los resultados y el análisis de modelos CNN profundos en tres problemas diferentes de ciencias naturales: 1. La detección de abetos (Abies Sibirica) dañados por el escarabajo de la corteza en imágenes de UAV utilizando DL. 2. La estimación del biovolumen de los olivos a partir de la segmentación de imágenes de UAV de múltiples resoluciones utilizando Mask R-CNN. 3. La detección de abetos (Picea Abies) infectados por el escarabajo de la corteza en imágenes UAV utilizando arquitecturas YOLO. El objetivo principal de esta tesis es desarrollar modelos de aprendizaje profundo robustos y precisos para la monitorización de diferentes especies de plantas utilizando imágenes de UAV. Los objetivos particulares para lograr el objetivo principal son: ● Construir tres conjuntos de datos de alta calidad para cada uno de los tres problemas considerados según la formulación del problema. ● Diseñar los métodos de preprocesamiento adecuados que reduzcan el ruido y la incertidumbre en las características. ● Desarrollar modelos robustos y precisos basados en CNN para cada caso de estudio. Los resultados de los primeros capítulos de de esta tesis han sido publicados en dos revistas clasificadas como Q1 y Q2 en JCR. Los resultados del tercer capítulo han sido sometidos a la revista “IEEE Transactions on Geoscience and Remote Sensing”. Esta tesis está estructurada en cinco capítulos. El primer capítulo presenta una introducción de los problemas considerados, los antecedentes y los objetivos de la tesis. El capítulo dos presenta el conjunto de datos construido, los modelos y la técnica de preprocesamiento para abordar la detección de abetos (Abies Sibirica) dañados por el escarabajo de la corteza en imágenes de UAV. El capítulo tres presenta el conjunto de datos construido, los modelos y la técnica de preprocesamiento para estimar el biovolumen de los olivos a partir de la segmentación de imágenes multirresolución de UAV. El capítulo cuatro presenta el conjunto de datos construido, los modelos y la técnica de preprocesamiento para abordar la detección de abetos (Picea Abies) infectados por el escarabajo de la corteza en imágenes UAV utilizando arquitecturas YOLO. Por último, el capítulo cinco presenta las conclusiones y el trabajo futuro. 2021-07-13T08:04:17Z 2021-07-13T08:04:17Z 2021 2021-06-30 info:eu-repo/semantics/doctoralThesis Safonova, Anastasiia. Plant Species Detection in Aerial and Satellite Images using Deep Learning. Granada: Universidad de Granada, 2021. [http://hdl.handle.net/10481/69661] 9788413069388 http://hdl.handle.net/10481/69661 eng http://creativecommons.org/licenses/by-nc-nd/3.0/es/ info:eu-repo/semantics/openAccess Atribución-NoComercial-SinDerivadas 3.0 España Universidad de Granada