Il progetto di tesi si focalizza nello sperimentare le opportunità delle interazioni multimediali nell'ambito della comunicazione uomo-robot. In questo tipo di comunicazione l'utilizzo coordinato di elementi multimediali con la voce da parte del robot gioca un ruolo molto importante sull'efficacia complessiva dell'azione comunicativa. Durante lo sviluppo della tesi sono state formalizzate, implementate e valutate sperimentalmente varie strategie di comunicazione multimediale. Il robot di riferimento utilizzato nel corso della tesi è stato Pepper, un robot umanoide dotato di un tablet nella sua parte frontale. Le strategie sviluppate riguardano vari aspetti di una comunicazione multimediale e questi sono: la coordinazione delle immagini da mostrare a video all'interno della frase, la modifica della pronuncia della frase a seconda degli elementi multimediali che vengono visualizzati e la quantità e la dimensione di questi elementi. Oltre a queste strategie sono state approfondite diverse possibilità per lo sviluppo di applicazioni per Pepper come Choregraph Suite, un'applicazione desktop multipiattaforma che permette lo sviluppo di comandi che controllano l'attività dei meccanismi robotici, e l'SDK di Pepper per Android, un tool che permette di controllare Pepper tramite un'applicazione Android. È stata inoltre sviluppata un'applicazione Java che implementa un simulatore di Pepper in grado di ascoltare e di sintetizzare la voce, cioè di fare speech recognition e text to speech. Le immagini che vengono mostrate sul tablet di Pepper durante un discorso sono ottenute in modo automatico da Wikidata, una base di conoscenza libera che permette la fruizione dei suoi contenuti, anche multimediali, attraverso query SPARQL.
I risultati del progetto di tesi sono stati valutati mediante la somministrazione di un questionario. In particolare, sono state valutate diverse strategie di coordinazione voce-immagini-testo e diverse modalità di presentazioni delle immagini. I risultati evidenziano alcune preferenze, statisticamente significative, per alcune di tali strategie, segnando nuovi percorsi di indagine per ciò che concerne la comunicazione multimediale uomo-robot.
This thesis project focuses on testing the opportunities of multimedia interactions in the field of human-robot communication. In this type of communication, the coordinated use of multimedia elements with voice by the robot plays a very important role in the overall effectiveness of the communicative action. During the development of this thesis, various multimedia communication strategies were formalised, implemented and experimentally evaluated. The reference robot used in the course of the thesis was Pepper, a humanoid robot equipped with a tablet on its front. The strategies developed concern various aspects of a multimedia communication and these are: the coordination of the images to be displayed on the screen within the sentence, the modification of sentence pronunciation depending on the multimedia elements that are displayed and the quantity and size of these elements. In addition to these strategies, several possibilities for developing applications for Pepper were explored, such as Choregraph Suite, a cross-platform desktop application that allows the development of commands that control the activity of robotic mechanisms, and Pepper's SDK for Android, a tool that allows Pepper to be controlled via an Android application. A Java application was also developed that implements a Pepper simulator capable of listening and synthesising speech, i.e. speech recognition and text to speech. The images that are displayed on Pepper's tablet during a speech are automatically obtained from Wikidata, a free knowledge base that allows its content, including multimedia, to be accessed via SPARQL queries.
The results of the thesis project were evaluated through the administration of a questionnaire. In particular, different voice-image-text coordination strategies and different image presentation modes were evaluated. The results show some statistically significant preferences for some of these strategies, marking new avenues of investigation with regard to human-robot multimedia communication.