Indagine sulla Vulnerabilità degli Assistenti Vocali Virtuali alle Manipolazioni della Voce Sintetica

The use of virtual personal assistants (VPAs) is continuously growing, with millions of users utilizing them daily for various activities such as playing music, managing appointments, and searching for information. However, despite their increasing popularity, VPAs present vulnerabilities that can be exploited to attack users' privacy and security. One of the primary attacks that can be conducted against VPAs is the generation of synthetic voices, which enables the creation of a voice that the VPA believes to be the owner's, in order to execute unauthorized commands. For instance, an attacker could mimic the user's voice to order expensive items or modify IoT device settings without permission, such as opening the front door. This thesis aims to investigate the extent of virtual assistants' vulnerabilities to cloned voices. After conducting multiple tests in different situations for each type of virtual assistant, we identified these vulnerabilities on a broad range of virtual assistants. To ensure the tests were unbiased, we built a system that creates a dataset for training a model to recreate voices from original recordings. Subsequently, we used a speaker to reproduce the different audio in various scenarios. The tests revealed that synthetic voices can successfully manipulate virtual personal assistants (VPAs), with Alexa showing particular vulnerability and high success rates in recognizing synthetic voices across all environments. Google Home performed well in quiet environments but struggled in noisy ones, while Siri had lower success rates, especially in noisy conditions. Additionally, for Alexa and Google, there were no significant differences in recognizing cloned voices of individuals other than the owner, whereas Siri showed differences in error rates between cloned voices of the owner and those of other individuals.

L'uso degli assistenti personali virtuali (VPAs) è in continua crescita, con milioni di utenti che li utilizzano quotidianamente per varie attività come ascoltare musica, gestire appuntamenti e cercare informazioni. Tuttavia, nonostante la loro crescente popolarità, i VPAs presentano vulnerabilità che possono essere sfruttate per attaccare la privacy e la sicurezza degli utenti. Uno degli attacchi principali che possono essere condotti contro i VPAs è la generazione di voci sintetiche, che consente la creazione di una voce che il VPA crede essere del proprietario, al fine di eseguire comandi non autorizzati. Ad esempio, un attaccante potrebbe imitare la voce dell'utente per ordinare articoli costosi o modificare impostazioni di dispositivi IoT senza permesso, come aprire la porta d'ingresso. Questo studio mira a investigare l'estensione delle vulnerabilità degli assistenti virtuali alle voci clonate. Dopo aver condotto vari test in diverse situazioni per ciascun tipo di assistente virtuale, abbiamo identificato queste vulnerabilità su un'ampia gamma di VPAs. Per garantire l'imparzialità dei test, abbiamo sviluppato un sistema che crea un dataset per addestrare un modello a ricreare voci dalle registrazioni originali. Successivamente, abbiamo utilizzato un altoparlante per riprodurre l'audio in diversi scenari. I test hanno rivelato che le voci sintetiche possono manipolare con successo gli assistenti virtuali personali (VPAs), nel caso di Alexa mostrando una particolare vulnerabilità ed elevati tassi di successo nel riconoscere voci sintetiche in ogni ambiente. Google Home ha mostrato buone performance in ambienti silenziosi ma difficoltà in quelli rumorosi, mentre Siri ha avuto tassi di successo inferiori, soprattutto in contesti con rumore. Inoltre, per Alexa e Google non ci sono differenze significative nel riconoscimento delle voci clonate di individui diversi dal proprietario, mentre per Siri ci sono differenze tra voci clonate del proprietario e di altri individui.