Dati e spiegazioni in sistemi di apprendimento automatico: metodi topologici per il confronto tra strutture locali e globali

Negli ultimi decenni c’è stato un progressivo aumento dell'impiego delle reti neurali in numerosi settori. Basti pensare, nel quotidiano, alle raccomandazioni di film sulle piattaforme di streaming o alla classificazione delle mail in spam e non spam. Ci sono esempi di situazioni più rischiose, come la decisione da parte di una banca di concedere o meno un prestito ad un cliente o, ancora, come la diagnosi di un tumore in ambito medico. Tutto ciò ha portato allo sviluppo di un'area di ricerca che studia metodi per capire e descrivere le ragioni dietro alle decisioni prese dai modelli di apprendimento automatico. La comprensione dei processi decisionali è anche al centro di alcuni articoli (12, 13, 21 e soprattutto 22) del General Data Protection Regulation (GDPR) secondo i quali se una decisione è presa soltanto tramite un processo automatico senza alcun intervento umano, il soggetto a cui si riferiscono i dati ha il diritto di ricevere una spiegazione. La capacità di interpretare correttamente l'output di un modello di previsione, quindi, è diventata estremamente importante. Da un lato fornisce informazioni su come migliorare un modello e ne supporta la comprensione da parte di chi ci lavora, ma, soprattutto, dall’altro lato genera fiducia negli utenti che hanno ora il diritto di ricevere una spiegazione. I modelli più semplici, ad esempio i modelli lineari, sono facili da interpretare perché si può vedere direttamente come lavora la rete, ma sono solitamente molto meno accurati di quelli complessi che ormai sono più utilizzati data anche la crescente disponibilità di grandi insiemi di dati. A questo enorme guadagno in termini di accuratezza si contrappone una perdita in termini di trasparenza e controllo. Sono stati proposti vari metodi per aiutare gli utenti a interpretare le previsioni di modelli complessi come quello che è stato utilizzato in questo lavoro: SHAP. Tramite questo metodo si ottengono delle spiegazioni per ogni punto dell'insieme dei dati e si genera uno spazio che chiamiamo spazio delle spiegazioni. Uno dei problemi principali è che, ad oggi, ci sono poche definizioni per quantificare la bontà di una spiegazione per modelli black box. Quali siano le caratteristiche che debbano avere queste spiegazioni per essere intellegibili dalla persona che le usa, e come esse siano in rapporto rispetto ai dati o al modello che spiegano, sono concetti ancora largamente da investigare. É proprio da qui che nasce l’idea iniziale di questa tesi: studiare e confrontare lo spazio dei dati e lo spazio creato dalle loro spiegazioni ottenute con SHAP, nella decisione presa da un modello di apprendimento automatico. Nel corso di questo lavoro abbiamo lavorato anche con spiegazioni di uno stesso dataset ottenute da modelli diversi. Considerato un singolo dato (ad esempio un paziente a cui viene fatta una diagnosi con un modello machine learning), se diversi modelli portassero tutti alla stessa predizione, ma attraverso spiegazioni radicalmente diverse, potremmo davvero fidarci? Cosa ha realmente appreso il modello? Tutte le analisi sviluppate in questo lavoro sono orientante a definire un approccio computazionale per misurare quanto gli spazi delle spiegazioni siano stabili o si differenzino tra loro a seconda del modello o del suo addestramento.