The Mathematics of Machine Learning

This thesis explores the foundational mathematics underlying neural networks. It provides a comprehensive analysis of neural network architecture, including key elements such as activation functions, cost functions, and optimization techniques, which are crucial for effective learning and function approximation. The work examines theoretical frameworks to illustrate neural networks' ability to approximate complex functions. Practical challenges, such as overfitting and the curse of dimensionality, are also addressed, highlighting their impact on model generalization in high-dimensional spaces. The thesis further investigates specific neural network models for one-dimensional inputs and delves into advanced topics like kernel approximations for exact learning. By combining theoretical insights with practical Python implementations, the work demonstrates the role of mathematical principles in enhancing neural network performance and adaptability across various machine learning applications. ​

Questa tesi esplora le fondamenta matematiche delle reti neurali. Fornisce un'analisi completa dell'architettura delle reti neurali, includendo elementi chiave come le funzioni di attivazione, le funzioni di costo e le tecniche di ottimizzazione, cruciali per un apprendimento efficace e per l'approssimazione delle funzioni. Il lavoro esamina gli aspetti teorici per illustrare la capacità delle reti neurali di approssimare funzioni complesse. Vengono inoltre affrontate sfide pratiche, come l'overfitting e il problema della dimensionalità. La tesi indaga ulteriormente su modelli specifici di reti neurali per input monodimensionali e approfondisce temi avanzati come le approssimazioni tramite kernel per l’apprendimento esatto. Combinando intuizioni teoriche con implementazioni pratiche in Python, il lavoro dimostra il ruolo dei principi matematici nel migliorare le prestazioni e l’adattabilità delle reti neurali in varie applicazioni del machine learning. ​