Artificial intelligence is transforming many sectors, and sales is no exception. AI technologies are creating new opportunities by allowing the automation of repetitive and time-consuming tasks. Specifically, Large Language Models (LLMs) can generate summaries, highlight key points of a project, or create tailored messages. These capabilities are immensely useful for companies, which are increasingly integrating LLMs into their profiling and communication processes. This thesis represents the outcome of my internship at Volcanic Minds, where I developed a prompt for LLMs using specific techniques for generating customized cold contact emails. The personalization relies on aggregated data regarding companies and their key figures, obtained through an automated workflow that I created using "no code" tools. From an academic perspective, it’s interesting to study which techniques prove to be most effective and to measure the ability of LLMs to generate the discussed messages using standard evaluation criteria. The paper is structured into two main sections. The first consists of four chapters that provide insights into LLMs and prompting: the first chapter examines the architecture of the transformer, which underpins most LLMs; the second chapter discusses how models operate and are trained; the third chapter focuses on the evaluation of generated messages based on standard criteria; and the fourth chapter addresses prompts, or the instructions given to the AI to carry out a task. The second section comprises three chapters and focuses on the project completed during the internship. The first part illustrates the development of the automated data flow, dedicating a subsection to each component of the process. The subsequent chapter includes a list of significant prompts that demonstrate the evolution of commands through cycles of trial and error. The final chapter presents the resulting messages and their evaluations—both human and automatic—while simultaneously comparing the performance of the models used. Ultimately, it is highlighted that LLMs can be quite effective in completing the task, even though they are not perfect. Notably, they sometimes overlook critical details, which can be crucial in crafting a message aimed at capturing another company's interest.

L'intelligenza artificiale sta trasformando molti settori del lavoro, e quello delle vendite non fa eccezione. Le tecnologie che impiegano l'IA offrono nuove opportunità, permettendo di automatizzare operazioni ripetitive e dispendiose in termini di tempo ed energie. In particolare, i “Large Language Model” (LLM) sono in grado di generare riassunti, evidenziare i punti chiave di un progetto o creare messaggi su misura. Queste capacità sono di grande utilità per le aziende, che stanno iniziando a integrare i LLM nei loro processi di profilazione e comunicazione. Questa tesi rappresenta il risultato del mio tirocinio presso l’azienda Volcanic Minds, dove ho sviluppato un prompt per LLM con tecniche specifiche per la generazione di e-mail di contatto a freddo su misura. La personalizzazione si basa su dati aggregati riguardanti aziende e le loro figure chiave, ottenuti grazie a un workflow automatico che ho realizzato avvalendomi di strumenti “no code”. Da un punto di vista accademico, è interessante studiare quali tecniche si dimostrano più efficaci e misurare l’abilità dei LLM di generare i messaggi discussi servendosi di criteri di valutazione standard. L’elaborato è strutturato in due macro-sezioni. La prima comprende quattro capitoli che forniscono nozioni sui LLM e il prompting: Il primo capitolo esamina l’architettura del transformer, su cui si basano la maggioranza dei LLM; Il funzionamento e l’addestramento dei modelli vengono discussi nel secondo capitolo; Il terzo capitolo si dedica alla valutazione dei messaggi generati secondo criteri standard; infine, il quarto capitolo tratta i prompt, ovvero le istruzioni che si danno all’intelligenza artificiale per la realizzazione di un compito. La seconda sezione è composta da tre capitoli ed è focalizzata sul progetto realizzato durante lo stage. Nella prima parte, si mostra lo sviluppo del flusso dati automatico, dedicando un sottocapitolo ad ogni componente del processo. Il capitolo successivo contiene un elenco di prompt significativi che manifestano l’evoluzione del comando attraverso cicli di “trial & error”. L’ultimo capitolo comprende i messaggi finali e le loro valutazioni, e umane e automatiche, confrontando contemporaneamente tra loro le prestazioni dei modelli utilizzati. Si evidenzia infine che i LLM sono abbastanza efficaci nel portare a termine il compito, sebbene non siano perfetti. Nella fattispecie, a trascurare dettagli critici, che possono essere determinanti in un messaggio atto a stimolare l’interesse di un’altra azienda verso la propria.

Tecniche di prompt engineering con LLM per generare e-mail di contatto a freddo personalizzate

TAGLIAFERRO, FEDERICO
2023/2024

Abstract

L'intelligenza artificiale sta trasformando molti settori del lavoro, e quello delle vendite non fa eccezione. Le tecnologie che impiegano l'IA offrono nuove opportunità, permettendo di automatizzare operazioni ripetitive e dispendiose in termini di tempo ed energie. In particolare, i “Large Language Model” (LLM) sono in grado di generare riassunti, evidenziare i punti chiave di un progetto o creare messaggi su misura. Queste capacità sono di grande utilità per le aziende, che stanno iniziando a integrare i LLM nei loro processi di profilazione e comunicazione. Questa tesi rappresenta il risultato del mio tirocinio presso l’azienda Volcanic Minds, dove ho sviluppato un prompt per LLM con tecniche specifiche per la generazione di e-mail di contatto a freddo su misura. La personalizzazione si basa su dati aggregati riguardanti aziende e le loro figure chiave, ottenuti grazie a un workflow automatico che ho realizzato avvalendomi di strumenti “no code”. Da un punto di vista accademico, è interessante studiare quali tecniche si dimostrano più efficaci e misurare l’abilità dei LLM di generare i messaggi discussi servendosi di criteri di valutazione standard. L’elaborato è strutturato in due macro-sezioni. La prima comprende quattro capitoli che forniscono nozioni sui LLM e il prompting: Il primo capitolo esamina l’architettura del transformer, su cui si basano la maggioranza dei LLM; Il funzionamento e l’addestramento dei modelli vengono discussi nel secondo capitolo; Il terzo capitolo si dedica alla valutazione dei messaggi generati secondo criteri standard; infine, il quarto capitolo tratta i prompt, ovvero le istruzioni che si danno all’intelligenza artificiale per la realizzazione di un compito. La seconda sezione è composta da tre capitoli ed è focalizzata sul progetto realizzato durante lo stage. Nella prima parte, si mostra lo sviluppo del flusso dati automatico, dedicando un sottocapitolo ad ogni componente del processo. Il capitolo successivo contiene un elenco di prompt significativi che manifestano l’evoluzione del comando attraverso cicli di “trial & error”. L’ultimo capitolo comprende i messaggi finali e le loro valutazioni, e umane e automatiche, confrontando contemporaneamente tra loro le prestazioni dei modelli utilizzati. Si evidenzia infine che i LLM sono abbastanza efficaci nel portare a termine il compito, sebbene non siano perfetti. Nella fattispecie, a trascurare dettagli critici, che possono essere determinanti in un messaggio atto a stimolare l’interesse di un’altra azienda verso la propria.
Prompt engineering techniques with LLM for generating personalized cold outreach e-mails
Artificial intelligence is transforming many sectors, and sales is no exception. AI technologies are creating new opportunities by allowing the automation of repetitive and time-consuming tasks. Specifically, Large Language Models (LLMs) can generate summaries, highlight key points of a project, or create tailored messages. These capabilities are immensely useful for companies, which are increasingly integrating LLMs into their profiling and communication processes. This thesis represents the outcome of my internship at Volcanic Minds, where I developed a prompt for LLMs using specific techniques for generating customized cold contact emails. The personalization relies on aggregated data regarding companies and their key figures, obtained through an automated workflow that I created using "no code" tools. From an academic perspective, it’s interesting to study which techniques prove to be most effective and to measure the ability of LLMs to generate the discussed messages using standard evaluation criteria. The paper is structured into two main sections. The first consists of four chapters that provide insights into LLMs and prompting: the first chapter examines the architecture of the transformer, which underpins most LLMs; the second chapter discusses how models operate and are trained; the third chapter focuses on the evaluation of generated messages based on standard criteria; and the fourth chapter addresses prompts, or the instructions given to the AI to carry out a task. The second section comprises three chapters and focuses on the project completed during the internship. The first part illustrates the development of the automated data flow, dedicating a subsection to each component of the process. The subsequent chapter includes a list of significant prompts that demonstrate the evolution of commands through cycles of trial and error. The final chapter presents the resulting messages and their evaluations—both human and automatic—while simultaneously comparing the performance of the models used. Ultimately, it is highlighted that LLMs can be quite effective in completing the task, even though they are not perfect. Notably, they sometimes overlook critical details, which can be crucial in crafting a message aimed at capturing another company's interest.
Non autorizzo consultazione esterna dell'elaborato
File in questo prodotto:
File Dimensione Formato  
Tesi Tagliaferro.pdf

non disponibili

Dimensione 2.06 MB
Formato Adobe PDF
2.06 MB Adobe PDF

I documenti in UNITESI sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.14240/3911