Deep Learning su dispostivi mobile: benefici della sparsificazione strutturata

L'utilizzo del deep learning per applicazioni mobile rappresenta lo stato dell'arte in diversi ambiti, come la classificazione di immagini, assistenti vocali, riconoscimento di oggetti, traduzione di testi. Per implementare la parte di inferenza dell'algoritmo di deep learning su un sistema embedded, bisogna tener conto delle limitazioni che riguardano le risorse di elaborazione e di memoria. Nel deep learning il concetto di sparsificazione è associato al concetto di pruning, ove i parametri meno importanti ai fini dell'apprendimento vengono rimossi. Alcuni recenti risultati hanno mostrato come la sparsificazione non strutturata possa portare alla rimozione di un gran numero di parametri dai modelli. Tuttavia, l'effetto di riduzione del numero di neuroni nel modello e' limitato. La sparsificazione strutturata, pur (tipicamente) rimuovendo meno parametri dal modello, rimuove interi neuroni, portando maggiori vantaggi in termini di complessità computazionale. L'obiettivo di questa tesi è dimostrare che, utilizzando la sparsificazione strutturata è possibile ottenere performance migliori in termini di tempo di inferenza e dimensioni della rete stessa. A tal scopo, utilizzando la libreria PyTorch, e' stata sviluppata un'applicazione Android per la classificazione di immagini in real-time. I risultati sperimentali dimostrano che la sparsificazione strutturata riduce notevolmente i tempi necessari alla classificazione.