Expressivity of Neural Networks

Neural networks have emerged as one of the most powerful tools in modern machine learning, enabling significant advancements in various applications, from image recognition to natural language processing. A fundamental issue in the theoretical study of neural networks is their expressivity, that is, their ability to approximate elements of a function class given a certain architecture. Understanding the expressivity of neural networks is essential both for theoretical analysis and practical applications, as it highlights the trade-offs between the number of layers, neurons, and parameters in a neural network and its approximation accuracy. This thesis aims to explore the expressivity of neural networks, with particular attention to the properties of universality and the necessary and sufficient complexity required to approximate certain function classes. Finally, the connections between neural networks and representation systems are analyzed, viewed as mathematical tools for approximating functions using a finite number of terms.

Le reti neurali si sono affermate come uno degli strumenti più potenti del moderno machine learning, consentendo progressi significativi in varie applicazioni, dal riconoscimento delle immagini all'elaborazione del linguaggio naturale. Una questione fondamentale nello studio teorico delle reti neurali è quella dell'espressività, ovvero della loro capacità di approssimare elementi di una classe di funzioni, data una certa architettura. La comprensione dell'espressività delle reti neurali è essenziale sia per l'analisi teorica che per le applicazioni pratiche, in quanto esplicita i trade-off tra il numero di strati, neuroni e parametri di una rete neurale, e la sua accuratezza nell'approssimazione. Questa tesi si propone di esplorare l'espressività delle reti neurali, con un'attenzione particolare alle proprietà di universalità e alla complessità necessaria e sufficiente ad approssimare determinate classi di funzioni. Infine, vengono analizzate le connessioni tra le reti neurali e i sistemi di rappresentazione, intesi come strumenti matematici per l'approssimazione di funzioni mediante un numero finito di termini.