Glossario di mimica facciale e gestuale per Avatar Conversazionali

Following the internship at the Torino-based company NoReal Interactive, where Davide Borra serves as Administrator and Artistic Director, the research to find or create a glossary of facial and gestural mimicry that can enhance the study of movements and emotions of conversational avatars was pursued. The thesis student has a background in professional acting training at the "Alessandra Galante Garrone" Theater School in Bologna. The starting point of the research included several questions such as: - What is an expressions library? - What are the simplest expressions and gestures that immediately convey a specific emotion? - What is empathy, and what is empathetic attitude and expressiveness? - Is it essential to resemble humans to convey empathy? To attempt to answer and investigate these questions, various areas were considered: facial expression recognition, language analysis, and the multimedia domain. In the context of the first area, reference will be made to the work carried out by Paul Ekman, with the development of the FACS system, currently used by major machine learning datasets. The body language of commedia dell'arte will also be discussed, with reference to the artist Dario Fo, and the universality of certain emotions as seen in the photos of Sebastião Salgado and Dorothea Lange will be demonstrated. Subsequently, some expressive datasets already available on the market will be listed. The concept of empathy, a necessary component alongside emotions to create a "human" connection between a Conversational Avatar and a user, will be explored. Regarding language analysis, Sentiment Analysis with Plutchik's model, its variant the Hourglass Model developed by Erik Cambria, and Scherer's circumplex model will be mentioned to provide psychological depth to the study of emotions. In the multimedia domain, the GEMEP resource will be discussed, which is a collection of audio and video recordings with its own set of emotions created with a group of actors. Two case studies will be examined: New Zealand's Soul Machines and Torino's NoReal Interactive. The phenomenon of the Uncanny Valley regarding the non-positive reaction of users when observing a "robotic" figure with human-like features will also be cited. Various methods of verification and evaluation will be considered to obtain feedback from users regarding the effectiveness of the studies and results obtained. Finally, an attempt will be made to outline a direction for the continuation of this research.

In seguito al tirocinio presso l’azienda di Torino NoReal Interactive, di cui Davide Borra è Amministratore e Direttore artistico, è stata portata avanti la ricerca di trovare o creare un glossario di mimica facciale e gestuale che possa incrementare lo studio sui movimenti e sulle emozioni degli avatar conversazionali. La tesista ha alle spalle uno studio professionale attoriale tenutosi presso la Scuola di Teatro “Alessandra Galante Garrone” di Bologna. Il punto di partenza della ricerca sono state alcune domande come: - Cos’è una libreria di espressioni? - Quali sono le espressioni e i gesti più semplici che rimandano immediatamente ad una specifica emozione? - Cos’è l’empatia e qual è l’atteggiamento e l’espressività empatica? - È fondamentale assomigliare agli esseri umani per trasmettere empatia? Per provare a rispondere e indagare a riguardo, sono stati presi in considerazione vari ambiti: il riconoscimento delle espressioni facciali, l’analisi del linguaggio e l’ambito multimediale. Rispetto al primo ambito si farà riferimento al lavoro portato avanti da Paul Ekman, con lo sviluppo del sistema FACS, attualmente utilizzato dai più grandi dataset per il machine learning. Si parlerà anche del linguaggio corporeo della commedia dell’arte, facendo riferimento all’artista Dario Fo, e verrà mostrata l’universalità di alcune emozioni riscontrabile nelle foto di Sebastião Salgado e in quelle di Dorothea Lange. Successivamente verranno elencati alcuni dataset espressivi già attivi in commercio. Si esplorerà il termine di empatia, componente necessaria, oltre alle emozioni, per creare una connessione “umana” tra un Avatar Conversazionale e un utente. Per quanto riguarda l’analisi di linguaggio si citeranno la Sentiment Analysis con il modello di Plutchik, una sua variante l’Hourglass Model - sviluppata da Erik Cambria – e il modello di continuum circolare di Scherer, per poter dare maggiore profondità anche psicologica allo studio delle emozioni. Mentre in ambito multimediale si parlerà della risorsa GEMEP, una raccolta di registrazioni audio e video con un suo set di emozioni create con un gruppo di attori. Si prenderanno in esame due casi studio, l’azienda Soul Machines della Nuova Zelanda e la NoReal Interactive di Torino. Verrà citato anche il fenomeno di Uncanny Valley rispetto alla reazione non positiva dell’utente nell’osservare una figura “robotica” con sembianze umane. Si prenderanno in considerazione alcuni metodi di verifica e valutazione per poter avere un feedback da parte degli utenti rispetto all’efficacia degli studi e risultati ottenuti. Infine si cercherà di prospettare una direzione per la continuazione di questa ricerca.