Il ruolo della temperatura sulle fluttuazioni del vocabolario dei large language models

Questa tesi affronta lo studio di proprietà statistiche di testi generati da large language models. E' presente una introduzione sulla linguistica computazionale, concentrando l'attenzione su legge di Zipf e legge di Heaps. Successivamente vengono definiti i large language models e ne viene descritta l'architettura, facendo attenzione al parametro della temperatura. Nella parte centrale della tesi si analizzano testi generati mediante GPT2 e ne vengono studiate le proprietà statistiche al variare del parametro della temperatura: a temperature intorno a 1.0 mantengono gli stessi comportamenti individuati nei testi in linguaggio naturale, mentre a temperature inferiori o superiori cambiano leggermente le proprietà. Infine, viene analizzato il caso particolare della temperatura infinita.