Metodi di regressione lineare

Metodi di regressione lineare Il lavoro di tesi riguarda uno dei capisaldi alla base del machine learning: la regressione lineare. Il problema di fondo riguarda come riuscire, partendo da un set di “training data” affetto da rumore di misurazione, a ricostruire il reale andamento della funzione sottostante. Questo metodo comprende al suo interno diversi approcci, che vengono studiati dopo la formulazione del problema. Il primo approccio è quello della massima verosimiglianza. Scelta a priori la classe di funzioni più adatta al caso di studio (con relative parametrizzazioni), si può stimare il parametro migliore. In alcuni contesti tale metodo si è rivelato troppo efficace, portando all’ “overfitting”. Pertanto, si è introdotto l’approccio del massimo a posteriori e della regolarizzazione, che migliorano le stime precedenti riuscendo a risolvere questo problema. Come ultimo argomento si è affrontato l’approccio della regressione lineare bayesiana, più complesso dei precedenti in quanto non si focalizza su di un’unica stima ottimale, ma tenta di fornire una previsione mediando sull’intera distribuzione dei parametri.