Dinamiche probabilistiche nell'apprendimento di reti neurali

L'oggetto di questa tesi sono le reti neurali, cioè sistemi di unità computazionali elementari (i neuroni) connesse fra loro. La peculiarità che accomuna e distingue le reti neurali è che sono in grado di imparare, generalizzando da esempi, mediante regole che sono derivate da quello che si conosce sui sistemi neurali biologici oppure da considerazioni euristiche. È molto interessante studiare il funzionamento di una rete neurale e, ancora di più, studiarne i meccanismi di apprendimento. Le osservazioni riportate in questa tesi sull'apprendimento di tre diversi tipi di reti non sono state fatte dal punto di vista della singola rete, bensì osservando delle popolazioni di tanti individui identici per struttura, ma creati assegnando ai loro parametri interni valori diversi dettati dal caso. L'apprendimento della rete consiste nella variazione di questi parametri interni (che non sono altro che i pesi delle connessioni sinaptiche) finché questi non assumano un valore che permette alla rete di risolvere correttamente il problema che deve imparare ad affrontare. Lasciando scegliere al caso i valori iniziali dei parametri della rete si introduce nell'apprendimento un aspetto stocastico che viene reso ancora più importante dalla scelta casuale anche degli input presentati alla rete durante questo processo. Questi input vengono scelti casualmente all'interno di un set di input di addestramento creato appositamente per insegnare alla rete a risolvere un determinato problema, il caso determina in quali di questi e in quale ordine vengano presentati: insomma determina un particolare punto di vista della rete sul problema. Lo studio statistico della popolazione permette di individuare un andamento generale dell'apprendimento al di là del vincolo dell'assegnazione dei valori iniziali dei parametri interni e del punto di vista della rete sul problema. Inoltre è anche possibile osservare statisticamente il trattamento dell'informazione attraverso una rete confrontando le proprietà degli insiemi di input e relativi output.