ESPLORAZIONE DI BENCHMARK PER L'NLP CON INTEGRAZIONE DI TRANSFORMERS E APPLICAZIONI ALTERNATIVE RIGUARDO IL TEXTUAL ENTAILMENT

I benchmarks sono utilizzati in ambito informatico per testare le performance di prodotti hardware/software, consentendo un confronto fra tali. Con l'avvento dell'IA, sono stati sviluppati dei benchmarks per testare le performance dei vari modelli neurali, potendoli quindi confrontare secondo delle metriche opportune. In particolare, sono molto indicati per la branca del Natural Language Processing. In questo ambito sono nati i benchmark GLUE e SuperGLUE, che sottopongono i modelli NLP al processamento di diversi task eterogenei in modo da poter confrontare e valutare questi modelli attraverso differenti metriche di valutazione. Possiamo trovare fra i vari task ambiti come Question Answering, Sentiment Analysis, Word Sense Disambiguation, Machine Translation, Entailment, Coreference ecc. I modelli che promettono i migliori risultati sono basati sul Transformer, un modello NLP basato su self-attention. Sulla base del Transformer sono nati modelli famosi come BERT, RoBERTa e T5, dove l'ultimo detiene attualmente lo stato dell'arte, in certi task superando anche la baseline umana su alcuni task. Questi benchmark possono essere eseguiti con l'ausilio di alcune suite: in particolare Jiant costruita appositamente per il benchmark SuperGLUE e la libreria Transformer di Hugging Face. Vengono valutati i task WiC (task di Word Sense Disambiguation) di SuperGLUE con Jiant e RTE (task di Entailment) di GLUE con Hugging Face, confrontando i modelli BERT e RoBERTa eseguendoli con diversi parametri di configurazione. Infine vengono esplorati dei metodi alternativi per la risoluzione del task RTE. In particolare non viene usato un modello neurale ma un approccio classico a regole, in modo da cercare di dare una spiegazione alle inferenze di entailment. Quindi è stato costruito un algoritmo ad-hoc, valutando e confrontando i risultati rispetto Hugging Face e cercando di ottenere delle spiegazioni sui nessi causali trovati.