Design, ingegnerizzazione e realizzazione di un sistema di dialogo basato su LLM nel dominio delle tecnologie assistive

In the field of assistive technologies, the accessibility of complex contents – such as graphs, diagrams and concept maps – represents a significant challenge, especially for users with visual impairments. This thesis proposes the development of a dialogue system that, through a hybrid Natural Language Understanding approach (combining rule-based and LLM methods), translates graphical representations into easily understandable textual interactions. Thanks to the use of Retrieval-Augmented Generation techniques, the designed system allows users to explore and understand in depth the information contained in visual contents. In support of the objective, research and experimentation have been conducted on the adopted NLU and NLG techniques, to evaluate and ensure accuracy and robustness. On the engineering level, a modular architecture has been designed that integrates pipelines for data processing and retrieval, thus ensuring scalability and flexibility of the system.

Nel campo delle tecnologie assistive, l'accessibilità di contenuti complessi – quali grafi, diagrammi e mappe concettuali – rappresenta una sfida significativa, in particolare per gli utenti con disabilità visive. Questa tesi propone lo sviluppo di un sistema di dialogo che, attraverso un approccio ibrido di Natural Language Understanding (combinando metodi rule-based e LLM), traduce le rappresentazioni grafiche in interazioni testuali facilmente comprensibili. Grazie all'impiego di tecniche di Retrieval-Augmented Generation, il sistema congeniato consente agli utenti di esplorare e comprendere in profondità le informazioni contenute nei contenuti visuali. A supporto dell'obiettivo, sono state condotte ricerche e sperimentazioni sulle tecniche di NLU e NLG adottate, per valutare e assicurare accuratezza e robustezza. Sul piano ingegneristico, è stata progettata un'architettura modulare che integra pipeline per l'elaborazione e il recupero dei dati, garantendo così scalabilità e flessibilità del sistema.