Deep Learning Methods for Anomaly Detection on Time Series ​

Anomaly detection is a topic that has played a major role in recent years in the extraction and detection of anomalous components within data. It is used in a multitude of fields, from the medical one, where it is applied to search for anomalies in measurements, to the financial one, where the goal is to detect events of particular interest within a certain time frame. The main challenge of anomaly detection algorithms is to separate the region containing normal data from the region with anomalous data. This process is done by defining a threshold, which is the line between these two areas. The objective of this thesis is to study the state of the art of the anomaly detection algorithms applied to time series and to test the methods for calculating the threshold on a dataset of composite materials, in particular sensors placed on a car suspension. The first architecture examined is Telemanom, a framework developed to detect spacecraft anomalies. The model uses a Long Short Term Memory to perform forecasting by reconstructing the starting series. The second architecture is OmniAnomaly, a framework developed in 2019 and tested on the same aerospace dataset as in the case of the previous architecture. It implements a Variational Autoencoder structure, which assigns a score to each reconstructed time series: high values of this score indicate a faithful reconstruction of the input time series, while low values might indicate the presence of an anomaly. The threshold estimation method in Telemanom is done by applying the exponential weighted moving average to the reconstructed time series, giving them a different weight based on how much the past observations are important. Then, the threshold is defined when the greatest percent decrease in the mean and standard deviation of the smoothed errors is found. OmniAnomaly, instead, tries to adapt a Pareto distribution in the most likely anomalous region, separating it from the normal one. This method follows the rules of the Extreme Value Distribution theorem. Both are deep learning methods and therefore require a certain amount of resources and computational power to train on the input data. For this reason, a third method was tested to reconstruct the starting time series, based on the inverse process of Principal Component Analysis, in order to verify if the use of a neural network was really necessary in this task. The three chosen models were initially tested on the SMAP and MSL datasets, both published by NASA, so that the results of the papers could be confirmed and modifications could be applied to evaluate possible improvements. Finally, the last tests were performed on a composite materials dataset, to evaluate how the architectures fit in a different context than aerospace. The best results, almost a perfect score, are obtained with OmniAnomaly. Telemanom and the method based on inverse PCA, on the other hand, obtained lower results, partly due to their less statistical threshold calculation. Moreover, OmniAnomaly also allows to locate in detail the anomalous portion within the dataset, being able to give a degree of deterioration for each single sensor in the dataset. In conclusion, OmniAnomaly highlights a more accurate and efficient threshold calculation method showing better results both in the benchmark datasets, in which the PCA-based method and Telemanom had difficulties in reconstructing the time series, and in the composite materials dataset.

L'Anomaly Detection è un tema che negli ultimi anni ha avuto un ruolo fondamentale nell'estrazione e nel rilevamento di componenti anomale all'interno dei dati. È utilizzata in una moltitudine di campi, da quello medico, dove viene applicata per rilevare anomalie nelle misurazioni, a quello della finanza, dove l’obiettivo è rilevare eventi di particolar interesse in un certo spazio temporale. La sfida più grande posta dall’anomaly detection è il riuscire a separare la regione contenente dati anomali da quella contenente dati normali. Questo processo definisce la linea che separa queste due aree, ovvero il threshold. L’obiettivo della presente tesi è studiare lo stato dell’arte degli algoritmi di anomaly detection applicati alle serie temporali e testare i metodi di calcolo del threshold più efficienti su un dataset di materiali compositi, in particolar modo su sensori posti su una sospensione di un’automobile. La prima architettura esaminata è Telemanom, un framework sviluppato per rilevare anomalie su componenti aereospaziali. Il modello utilizza una Long Short Term Memory per effettuare previsioni e ricostruire le serie temporali di partenza. La seconda architettura esaminata è OmniAnomaly, un framework sviluppato nel 2019 e testato sugli stessi dataset aereospaziali visti in Telemanom. Essa implementa una struttura Variational Autoencoder, la quale assegna uno score a ciascuna serie temporale ricostruita: maggiore sarà questo valore e più fedelmente le serie temporale è stata ricostruita. Valori bassi possono indicare la presenza di un’anomalia. Il metodo di calcolo del threshold visto in Telemanom applica la teoria del Exponential Weighted Moving Avarage alla time series ricostruita, dando un peso variabile alle osservazioni passate. Infine, avviene una fase di smussamento per raffinare il threshold finale. OmniAnomaly, invece, prova ad adattare una distribuzione di Pareto nella presunta area anomala, separandola da quella normale. Questo metodo segue il teorema del Extreme Value Distribution. Entrambi sono dei metodi di Deep Learning, ragion per cui richiedono una certa potenza computazione per l’allenamento dei modelli. Per questa ragione è stato testato un terzo metodo per la fase di ricostruzione delle serie temporali, basato sul processo inverso della Principal Component Analysis. I tre modelli scelti sono stati inizialmente testati sui dataset SMAP e MSL, entrambi pubblicati dalla NASA, in modo da verificare i risultati mostrati nei paper e valutare le conseguenze di eventuali modifiche. Gli ultimi test sono invece stati eseguiti su un dataset di materiali compositi. I migliori risultati, i quali rasentano la perfezione, sono stati ottenuti da OmniAnomaly. Telemanom e il metodo basato sulla PCA inversa hanno invece ottenuto risultati poco significativi a causa del loro metodo di calcolo del threshold meno statistico. Inoltre, OmniAnomaly ha anche permesso di localizzare nel dettaglio la posizione dell’anomalia, potendo valutare nello specifico il grado di deterioramento di ciascun sensore nel dataset.