Trasmissioni televisive e emozioni nei social media: Un’analisi Multimodale del Corpus Twitter Italiano EMiT

Being able to read, analyze and understand natural language is the goal of Natural Language Processing (NLP), a branch of artificial intelligence that combines computer science with linguistics. One of the application areas of NLP is Sentiment Analysis, which allows us to extrapolate opinions and emotions from textual and multimodal data. Thanks to the considerable amount of data available on the Web and the constant and inexorable expansion of Social Networks that pervade many aspects of our life (from marketing to politics, from communication to entertainment), Sentiment Analysis arouses an increasingly widespread interest in the scope of new studies and applications, while the emotional spectrum is investigated at different levels of granularity, ranging from the polarity of sentiment to the fine-grained analysis of specific basic emotions such as joy, sadness and disgust. This thesis deals with the issue of emotion detection starting from a general overview of classification techniques surveying the state of the art, in particular analyzing some of the Italian (and not) public corpus such as MultiEmotion-it, FEEL-IT, ABEA and then focusing on the domain of Social TV with a specific focus on the detection and analysis of emotions expressed in the interactions that take place on social media between users in the audience of television programs. The domain was studied by the M.EMO.RAI project between RAI, the national public broadcasting company of Italy, and the University of Turin. The thesis proposes a consolidation of the multi-modal corpus of Italian tweets annotated for emotions, EMiT (Emotion Multimodal instagram Twitter), consisting of 2000 messages (1000 tweets, 229 instagram posts and 771 instagram comments). The corpus was annotated manually, referring to Plutchik's Theory of Emotions, in two phases: text annotation and multimodal annotation. Thanks to the application of three independent annotations it was possible to evaluate agreement and disagreement between the annotators, using inter-annotator agreement (IAA) measures such as Fleiss' Kappa and Cohen's Kappa, with the aim of analyzing and resolving the disagreement, managing to reduce incomprehensibility and improve the recognition of irony, to arrive at the definition of a gold standard. Particular attention was paid to the presence of the multimodal component in such a way as to be able to analyze to what extent the presence of the image is influential, allowing to disambiguate the understanding of the data (multimodal) with respect to the solely textual component.

Riuscire a leggere, analizzare e comprendere il linguaggio naturale è l’obiettivo del Natural Language Processing (NLP), branca dell’intelligenza artificiale che unisce l’informatica alla linguistica. Uno degli ambiti applicativi del NLP è la Sentiment Analysis, che permette di estrapolare da dati testuali e multimodali opinioni ed emozioni. Grazie alle notevoli moli di dati presenti nel web e alla costante ed inesorabile espansione dei Social Network che pervadono molti aspetti della nostra vita (dal marketing alla politica, dalla comunicazione all’intrattenimento), la Sentiment Analysis suscita un interesse sempre più diffuso nell'ambito di nuovi studi e applicazioni in cui lo spettro emozionale viene investigato a diversi livelli di granularità spaziando dalla polarità del sentiment fino all’analisi a grana fine di emozioni di base specifiche come gioia, tristezza e disgusto. Questa tesi affronta la tematica della rilevazione delle emozioni partendo da una panoramica generale sulle tecniche di classificazione, sullo stato dell’arte, analizzando alcuni dei corpus italiani (e non) pubblici come MultiEmotion-it, FEEL-IT, ABEA per poi focalizzarsi sul dominio della Social TV con un focus specifico sulla rilevazione e l’analisi di emozioni espresse nelle interazioni che avvengono nei social media tra gli spettatori di programmi televisivi. Il dominio è stato oggetto di studio del progetto M.EMO.RAI fra RAI, l'emittente pubblica nazionale d'Italia, e l'Università di Torino. La tesi propone un consolidamento del Corpus multi-modale di tweet italiani annotato per emozioni, EMiT (Emotion Multimodal instagram Twitter), costituito da 2000 dati (1000 tweet, 229 post instagram e 771 commenti instagram). Il corpus è stato annotato manualmente, facendo riferimento alla Teoria delle Emozioni di Plutchik, in due fasi: annotazione testuale ed annotazione multimodale. Grazie all’applicazione di tre annotazioni indipendenti è stato possibile valutare accordo e disaccordo tra gli annotatori, utilizzando misure di inter-annotator agreement (IAA) come il Kappa di Fleiss e il Kappa di Cohen, con l’obiettivo di analizzare e risolvere il disagreement, riuscendo a ridurre l'incomprensibilità e migliorando il riconoscimento dell'ironia, per arrivare alla definizione di un gold standard. Particolare attenzione è stata posta alla presenza della componente multimodale in modo tale da poter analizzare in che misura la presenza dell’immagine sia influente, permettendo di disambiguare la comprensione del dato (multimodale) rispetto alla componente unicamente testuale.