Hidden Markov Model: concetti, modelli e applicazioni. ​

When using a probabilistic model, it might be necessary to consider some hidden states together with the observable signals emitted by the system. As a consequence of this, one witnessed the birth and rise of the Hidden Markov Models (HMM) from the early Seventies. HMM consist of two processes: the former which is hidden and has the Markov property, the latter which is observable and represents the signals emitted by the system. In the last thirty years these models has been widely appreciated and has been applied in various fields such as speech processing, DNA protein classification and e-commerce as well. The purpose of the thesis is to define the main concepts and methods of HMM with discrete time and states and to apply them to a real world problem. The structure is as follows: after the first chapter in which one recall the main properties of Markov chians, the second one focuses on defining HMM and presenting the fundamental three problems associated to these models: scoring, decoding and testing. The third chapter describes the algorithms used to solve the problems above mentioned: 1. the forward algorithm 2. the Viterbi algorithm 3. the Baum-Welch algorithm. Chapter 4 deals with the application of HMM to the handwritten digits classification problem. One can find all the algoritmhs, which are written in Pyhton, at: https://github.com/abordino/HMM_HWC. 

Quando si ricorre ad un modello probabilistico può essere necessario tenere in considerazione non solo i segnali emessi dal sistema ma anche una serie di stati nascosti, non direttamente osservabili. È su questa scia che a partire dagli anni Sessanta e Settanta del secolo scorso furono introdotti gli Hidden Markov Model (HMM). Gli HMM si possono considerare come un ampliamento dei Modelli di Markov e sono caratterizzati da due processi: uno nascosto che gode della proprietà di Markov, l'altro osservabile che rappresenta i segnali emessi dal processo sottostante. Negli ultimi trent'anni questi modelli hanno riscosso un notevole successo, in particolare nella speech processing, in biologia computazionale e, negli ultimi anni, nell' e-commerce. L'obiettivo che ci si propone in questo contesto è quello di definire i concetti e i metodi fondamentali degli Hidden Markov Model a stati discreti e di applicarli ad un problema reale. La tesi è stata sviluppata come segue: dopo un capitolo iniziale in cui vengono riprese le catene di Markov, il Capitolo 2 è dedicato alla definizione rigorosa degli HMM e alla presentazione dei tre problemi di interesse per questi modelli: il problema di scoring, quello di decoding e quello di training. Il Capitolo 3 è quindi dedicato alla soluzione di tali problemi e alla descrizione degli algoritmi risolutivi. In particolare: 1. l'algoritmo forward per il primo problema 2. l'algoritmo di Viterbi per il secondo 3. l'algoritmo di Baum-Welch per il terzo. Il Capitolo 4 è infine dedicato all'applicazione degli HMM al problema di classificazione delle immagini, in particolare alla classificazione di cifre scritte a mano. A questo proposito, si definiscono le versioni scalate degli algoritmi sopra citati per evitare problemi di underflow. I codici degli algoritmi sono stati scritti in Python e sono disponibili su Github nella seguente repository: https: //github.com/abordino/HMM_HWC.