Utilizzo della regolarizzazione per la rimozione dei pesi irrilevanti nelle reti neurali

Deep neural networks exploiting millions of parameters are nowadays the norm in deep learning applications. This is a potential issue because of the great amount of computational resources needed for training, and of the possible loss of generalization performance of overparametrized networks. In addition, with the spread of mobile devices and Edge Computing, the need has arisen to use these technologies even on devices with limited resources. We propose a regularization technique which identifies non relevant weights and, through a new weights’ update rule, selectively shrinks their norm, while performing a classic update for relevant ones. This technique is based on the definition of a regularization term which can be added to any loss functional regardless of its form, resulting in a unified general framework exploitable in many different contexts. The actual elimination of parameters identified as irrelevant is handled by a pruning algorithm, which manages both network training and pruning. We tested the proposed technique on different Natural Language Generation and Image Classification tasks, obtaining results on par or better then competitors in terms of sparsity and metrics. ​

Le reti neurali profonde che sfruttano milioni di parametri sono oggi la norma nelle applicazioni di deep learning. Questo è un potenziale problema a causa della grande quantità di risorse computazionali necessarie per l'addestramento, e della possibile perdita di prestazioni di generalizzazione delle reti iperparametrizzate. Inoltre, con la diffusione dei dispositivi mobili e dell'Edge Computing, è sorta la necessità di utilizzare queste tecnologie anche su dispositivi con risorse limitate. Proponiamo una tecnica di regolarizzazione che identifica i pesi non rilevanti e, attraverso una nuova regola di aggiornamento dei pesi, riduce selettivamente la loro norma, mentre esegue un aggiornamento classico per quelli rilevanti. Questa tecnica si basa sulla definizione di un termine di regolarizzazione che può essere aggiunto a qualsiasi funzione di loss indipendentemente dalla sua forma, risultando in un framework generale unificato sfruttabile in molti contesti diversi. L'effettiva eliminazione dei parametri identificati come irrilevanti è gestita da un algoritmo di pruning, che gestisce sia il training della rete che il pruning. Abbiamo testato la tecnica proposta su diversi compiti di generazione di linguaggio naturale e classificazione di immagini, ottenendo risultati alla pari o migliori dei concorrenti in termini di sparsità e metrica. ​