Contrastive Learning per l’Addestramento di un Sistema Neurale per la Generazione del Linguaggio Naturale

In questa tesi vengono analizzate tecniche di addestramento alternativo di LLM, tra cui Contrastive Learning e Knowledge Distillation su task di generazione di testo italiano, partendo dal formalismo logico DRS in versione SBN. Verranno anche analizzate e valutate le performance dell'utilizzo coordinato delle due tecniche sopra citate, e mostrate le generazioni delle varie sperimentazioni. Per effettuare la valutazione verranno utilizzate metriche automatiche tra cui BLEU e BERTScore. Ci si aspetta che i modelli addestrati con queste tecniche, performino meglio rispetto al modello addestrato in maniera tradizionale.