Sul Pruning Delle Reti Neurali per l'Interpretability

Questa tesi indaga l’impatto del pruning sull’interpretabilità delle reti neurali pro- fonde, per l’ambito specifico della Computer Vision. La sfida principale affrontata è interpretare i modelli che rappresentano lo stato dell’arte, ovvero le Reti Neurali Con- voluzionali (CNN) e Vision Transformers (ViT). Lo studio inizia con una revisione dei metodi di interpretabilità correnti, come GradCAM e Guided GradCAM, che costituis- cono lo stato dell’arte dell’Explainability di modelli per visione artificiale. Il nucleo della ricerca concerne l’applicazione dell’iterative magnitude pruning. Per le reti convolutive (CNNs), sono stati selezionati modelli quali ResNet18 e ResNet50. Per quanto riguarda i transformers, sono stati presi in esame architetture quali ViT-B e Swin Transform- ers. I conseguenti effetti sull’interpretabilità dei modelli sono stati analizzati tramite criteri qualitativi e valutazioni quantitative. Questo approccio globale mira a chiarire la relazione tra il pruning e interpretabilità, contribuendo allo sviluppo di sistemi più efficienti e trasparenti. I risultati hanno potenziali applicazioni in diversi domini, con- tribuendo all’avanzamento del campo dell’intelligenza artificiale interpretabile.

This thesis investigates the impact of model pruning on the interpretability of deep learning models, with a particular focus on applications in computer vision. The primary challenge addressed is the interpretation of state-of-the-arts models such as Convolutional Neural Networks (CNNs) and Vision Transformers (ViTs). The study begins with a comprehensive review of existing interpretability methods, such as Grad- CAM and Guided GradCAM, establishing a foundational understanding of current approaches. The core of the research involves applying iterative magnitude pruning to CNNs models like ResNet18 and ResNet50, and ViT architectures like ViT-B and Swin Trans- formers. The subsequent effects on model interpretability are shown with qualitative and quantitative evaluations. This comprehensive approach aims to elucidate the relationship between pruning and interpretability, contributing to the development of more efficient and transparent deep learning models. The findings have potential applications across diverse domains, advancing the field of interpretable AI.