Application of machine learning algorithms to the analysis of satellite images for Earth Observation

This thesis is part of the project EASTERN (EArth obServation models for weaThER eveNt mitigation), which has received funding from Cascade funding calls of the NODES Program, supported by the MUR- M4C2 1.5 of the PNRR funded by the European Union- NextGenerationEU (Grant agreement n. ECS00000036) [47]. In general, the goal of the project is to create Machine Learning (ML) algorithms that use satellite images to monitor the impacts of extreme weather events; in particular, the thesis is part of this program for the use of the same type of data in machine learning procedures in the field of terrestrial monitoring. Machine Learning algorithms have the ability to describe complex systems by learning non-trivial relationships from a set of input data and using this information to make predictions. For this reason, they can be applied in different fields, on different types of data: from structured data collected in tabular format to unstructured data such as texts and images. In this thesis we explore some applications in the field of Earth Observation (EO), a discipline that includes all the technologies that allow us to monitor the planet Earth and its changes starting from data collected through terrestrial, aerial and/or satellite remote sensing platforms. The technologies considered in the thesis are those of remote-sensing, which allow to acquire information on the planet without direct contact with it, and in particular the satellite images of the Sentinel-1 constellations for the first case study and Sentinel-2 for the second one. In particular, in Chapter 1 we give an overview of the world of Artificial Intelligence (AI) and its applications, referring to some of its subfields, such as Machine Learning, Artificial Neural Networks (ANNs) and Deep Learning (DL). In Chapter 2 we analyze Artificial Neural Networks in greater detail, moving from Shallow Networks to Deep Networks and analyzing all the elements necessary for their definition, such as: activation functions, automatic differentiation and backpropagation, cost function and different variants of the Gradient Descent (GD) algorithm (with the aim of theoretically defining the one used in the code developed for the first case study). In Chapter 3 we describe a particular case of Neural Networks, namely Convolutional Artificial Neural Networks (CNNs), and we introduce the particular case of Residual Neural Networks. Chapter 4 deals with the first case study, in which we attempted to predict the wind direction on the sea surface near the coast, using a Convolutional Neural Network (ResNet-18) described in Chapter 3: the Sentinel-1 images represent the input of the Artificial Neural Network, while ground truths (term used as a synonym for labels / targets in ML [42]) are the wind direction values provided by weather stations located near the considered cities. The obtained results are not exhaustive, if compared with a similar work that was a ’guideline’ of this case study. However, it should be considered that the number and characteristics of the used images are different, which is why we can hope to obtain better results by modifying them and also acting on the values of the hyperparameters involved in the model. Chapter 5 deals with the second case study, in which we attempted to predict the amount of captured mosquitoes in different sites using meteorological and environmental data, the latter derived directly from optical images of the Sentinel-2 constellation. [42] MathWorks. What Is Ground Truth? Accessed: 2024-10-04. 2024. URL: https://it.mathworks.com/discovery/ground-truth.html. [47] ECS Nodes. EASTERN: EArth obServation models for weaThER event mitigation. 2023. URL: https://www.ecs-nodes.eu/1-aerospazio-e-mobilita-sostenibile/progetti-imprese/eastern.

Questa tesi fa parte del progetto EASTERN (EArth obServation models for weaThER eveNt mitigation), che ha ricevuto finanziamenti dai bandi Cascade del Programma NODES, supportati dal MUR - M4C2 1.5 del PNRR finanziato dall'Unione Europea - NextGenerationEU (Grant agreement n. ECS00000036) [47]. In generale l'obiettivo del progetto è quello di creare algoritmi di Machine Learning (ML) che usino immagini satellitari per monitorare gli impatti degli eventi meteorologici estremi; in particolare la tesi si colloca all'interno di questo programma per l'impiego della stessa tipologia di dati in procedure di apprendimento automatico nell'ambito del monitoraggio terrestre. Gli algoritmi di Machine Learning hanno la capacità di descrivere sistemi complessi apprendendo relazioni non banali da un insieme di dati in input e sfruttando queste informazioni per effettuare predizioni. Per questo motivo, possono essere applicati in diversi campi, su dati di diverso tipo: da quelli strutturati raccolti in formato tabellare a quelli non strutturati come testi e immagini. In questa tesi esploriamo alcune applicazioni nell'ambito dell'Earth Observation (EO), disciplina che include tutte le tecnologie che consentono di monitorare il pianeta Terra e i suoi cambiamenti a partire da dati raccolti attraverso piattaforme di telerilevamento terrestri, aeree e/o satellitari. Le tecnologie prese in considerazione nella tesi sono quelle di remote-sensing, che permettono di acquisire informazioni sul pianeta senza un diretto contatto con esso, e in particolare le immagini satellitari delle costellazioni Sentinel-1 per il primo caso studio e Sentinel-2 per il secondo caso studio. In particolare nel Capitolo 1 si cerca di dare una panoramica del mondo dell'Intelligenza Artificiale (AI) e delle sue applicazioni, facendo riferimento ad alcuni suoi sottotipi, quali Machine Learning, Reti Neurali Artificiali (ANNs) e Deep Learning (DL). Nel Capitolo 2 si analizzano le Reti Neurali Artificiali in dettaglio, passando dalle Reti Superficiali a quelle Profonde e analizzando tutti gli elementi necessari alla loro definizione, quali: funzioni di attivazione, differenziazione automatica e retropropagazione, funzione costo e diverse varianti dell'algoritmo del Gradiente Discendente (GD) (con l'obiettivo di definire teoricamente quella utilizzata nel codice sviluppato per il primo caso studio). Nel Capitolo 3 si descrive un caso particolare di Reti Neurali, ossia le Reti Neurali Artificiali Convoluzionali, e si introduce il caso particolare di Reti Residue. Nel Capitolo 4 viene trattato il primo caso studio, con il quale si è tentato di prevedere la direzione del vento sulla superficie del mare in prossimità della costa, utilizzando una rete neurale di tipo convoluzionale (ResNet-18) descritta nel Capitolo 3: le immagini di Sentinel-1 rappresentano l'input della rete neurale artificiale, invece le verità a terra (termine usato come sinonimo di targets/labels in ML [42]) sono i valori di direzione del vento forniti dalle stazioni meteo collocate nelle vicinanze delle città considerate. I risultati ottenuti non sono esaustivi, se confrontati con un lavoro simile che è stato una ’linea-guida’ di questo caso studio. Tuttavia va considerato che il numero e le caratteristiche delle immagini impiegate sono differenti, motivo per cui si può sperare di ottenere risultati migliori modificandoli e agendo anche sui valori degli iperparametri coinvolti nel modello. Nel Capitolo 5 viene affrontato il secondo caso studio, con cui si è cercato di prevedere l'ammontare di zanzare catturate in diversi siti utilizzando dati meteorologici e ambientali, quest'ultimi derivati direttamente da immagini ottiche della costellazione Sentinel-2.