EMiT: Un Corpus Italiano per l'Analisi Multimodale delle Emozioni di Post Instagram e Tweet

One of the main subjects of the Artificial Intelligence field is the interaction between humans and computers, particularly the management of communication between these two polar opposite entities, be it verbal, written or visual. The challenge of automatically dealing with written and verbal interactions is studied by Natural Language Processing (NLP), a discipline that aims to develop new tools for the elaboration of natural language, trying to overcome the obstacle of ambiguity, a typical characteristic of human language. One of the fields of application of NLP is Sentiment Analysis (SA), which aims to detect the presence of emotions within textual data automatically. Thanks to the considerable development of Social Networks and the consequent accessibility to enormous amounts of data, the applications of Sentiment Analysis are now widespread in numerous areas: among these areas there is Social TV, which allows us to study social interactions between viewers of certain television programs. This thesis is placed within the aforementioned context of studies with the aim of applying SA techniques to multimodal data generated by the users, i.e., data composed of two components, one textual and one multimedia, in order to analyse how and with what weight the two entities compete to express the emotion that the user wants to express. The application of SA to Social TV represents the context in which the purpose of this thesis is placed, that is the development of a manually annotated corpus of multimodal data collected from social media, within the scope of the M.EMO.RAI project, where users comment upon RAI - Radiotelevisione Italiana S.p.A. shows. Starting from a dataset of Tweets and Instagram posts with related comments, the work of creating and annotating the corpus took place mainly in three distinct phases: data selection, annotation of the data finalized to the disclosure of the expressed emotions and the relationship among the multimedia elements, analysis of the corpus results. 2000 messages have been taken from the initial dataset, of which 1000 Tweets, 229 Instagram posts, and 771 Instagram Comments, whose emotions were manually annotated referring to Plutchik's psychological model of emotions. The annotation took place in two phases, the first based only on the textual component, the second on the entire multimodal data with the aim to evaluate whether the addition of the multimedia element causes any variation, and to what extent, from the evaluations previously performed.

Centrale nello studio dell'intelligenza artificiale è il problema dell'interazione fra l'uomo e la macchina e in particolare la gestione della comunicazione tra queste due entità apparentemente agli antipodi, sia essa verbale, scritta oppure visiva. A farsi carico della sfida di trattare in modo automatico interazioni scritte e verbali è il Natural Language Processing (NLP), disciplina che si pone l'obiettivo di sviluppare nuovi strumenti per l'elaborazione del linguaggio naturale cercando di oltrepassare l'ostacolo dell'ambiguità, caratteristica tipica del linguaggio umano. Uno dei campi di applicazione del NLP è la Sentiment Analysis (SA) con la quale si mira a rilevare in modo automatico la presenza di emozioni all'interno di dati testuali. Grazie al notevole sviluppo dei Social Network e alla conseguente facilità di accesso a enormi moli di dati, le applicazioni della Sentiment Analysis sono ormai diffuse in numerosi ambiti: tra questi vi è quello della Social TV per lo studio delle interazioni social fra gli spettatori di determinati programmi televisivi. Questo elaborato si pone all'interno del suddetto contesto di studi con lo scopo di applicare tecniche di SA a dati multimodali generati dagli utenti, ovvero dati composti da due componenti, una testuale e una multimediale, per analizzare con quali modalità e con quale peso le due entità concorrano a esprimere l'emozione che l'utente vuole esprimere. L'applicazione della SA alla Social TV rappresenta il contesto in cui si colloca questa tesi, che si focalizza sullo sviluppo di un corpus annotato manualmente di dati multimodali raccolti dai social media, nell'ambito del progetto M.EMO.RAI., dove gli utenti commentano le trasmissioni della RAI - Radiotelevisione Italiana S.p.A.. Partendo da un dataset di Tweet e Post Instagram, con i relativi commenti, il lavoro di creazione e annotazione del corpus è avvenuto principalmente in tre fasi distinte: selezione dei dati, annotazione dei dati orientata a rendere esplicite le emozioni espresse e la relazione fra gli elementi del dato multimodale, analisi del corpus risultante. Prelevati dal dataset iniziale 2000 dati di cui 1000 Tweet, 229 Post Instagram, e 771 Commenti, sono state annotate manualmente le emozioni presenti facendo riferimento al modello psicologico delle emozioni di Plutchik. L'annotazione è avvenuta in due fasi, la prima basata solamente sulla componente testuale, la seconda sull'intero dato multimodale con lo scopo di valutare se l'aggiunta dell'elemento multimediale comporta qualche variazione, e in quale misura, sulle valutazioni precedentemente eseguite.