Oltre la regressione lineare: il metodo Lasso ​

Nel campo dell'analisi statistica, i metodi di regressione svolgono un ruolo fondamentale nella modellizzazione delle relazioni tra variabili. Tra questi, il metodo di regressione Lasso (Least Absolute Shrinkage and Selection Operator) è emerso come una tecnica potente ed efficace per affrontare le sfide legate all’accuratezza e all’interpretabilità dei modelli prodotti. In questa tesi forniremo un’approfondita analisi del metodo di regressione Lasso e delle sue proprietà attraverso tre sezioni chiave. La prima sezione sarà incentrata sulla definizione del Lasso. Questo metodo è una variante della Regressione lineare e comprende due aspetti cruciali: la minimizzazione della somma residua dei quadrati e la penalizzazione della somma dei valori assoluti dei coefficienti di regressione. La penalità Lasso introduce un termine di regolarizzazione che tende a ridurre i coefficienti verso lo zero, favorendo così la selezione automatica delle variabili più rilevanti nel modello. Esploreremo l'espressione matematica del problema di ottimizzazione associato al Lasso. La seconda sezione si focalizzerà su una proprietà fondamentale del Lasso nota come "consistenza". Questa proprietà prevede che, in determinate condizioni, all'aumentare delle dimensioni del campione, i coefficienti stimati dal Lasso tendono ad avvicinarsi ai veri coefficienti del modello sottostante. Esamineremo le condizioni teoriche che garantiscono questa proprietà. La terza sezione si concentrerà sul confronto tra il metodo di regressione Lasso e altri approcci di regressione lineare. Ad esempio, esploreremo le differenze tra il Lasso e la Regressione lineare standard, la Selezione del miglior sottoinsieme e la Regressione Ridge che impiega la penalità L2 per la regolarizzazione. Evidenzieremo scenari in cui il Lasso eccelle rispetto ad altri metodi e casi in cui altri approcci potrebbero essere più adatti, ricordando che la scelta tra diverse tecniche di regressione lineare deve essere fatta considerando le specificità del problema. Attraverso queste tre sezioni, questa tesi mira a fornire una comprensione approfondita del metodo di regressione Lasso, delle sue proprietà e del suo ruolo nell'ampio ambito della regressione lineare. La comprensione delle complessità del Lasso e il confronto con altre tecniche permetterà agli analisti di scegliere l'approccio più adatto alle loro esigenze di modellizzazione e analisi dei dati.

In the realm of statistical analysis, regression methods play a fundamental role in modeling relationships between variables. Among these, the Lasso regression method (Least Absolute Shrinkage and Selection Operator) has emerged as a powerful and effective technique for addressing the challenges associated with the accuracy and interpretability of the produced models. In this thesis, we will provide an in-depth analysis of the Lasso regression method and its properties through three key sections. The first section will focus on defining the Lasso. This method is a variant of linear regression and encompasses two crucial aspects: minimizing the residual sum of squares and penalizing the sum of the absolute values of regression coefficients. The Lasso penalty introduces a regularization term that tends to shrink the coefficients towards zero, thus favoring the automatic selection of the most relevant variables in the model. We will explore the mathematical expression of the optimization problem associated with Lasso. The second section will delve into a fundamental property of Lasso known as "consistency." This property states that, under certain conditions, as the sample size increases, the coefficients estimated by Lasso tend to approach the true coefficients of the underlying model. We will examine the theoretical conditions that guarantee this property. The third section will focus on comparing the Lasso regression method with other linear regression approaches. For instance, we will explore the differences between Lasso and Standard linear regression, Best Subset Selection, and Ridge Regression which employs L2 penalty for regularization. We will highlight scenarios where Lasso excels compared to other methods and cases in which other approaches might be more suitable, remembering that the choice between different linear regression techniques must be done considering the specifics of the problem. Through these three sections, this thesis aims to provide a comprehensive understanding of the Lasso regression method, its properties, and its role within the broader realm of linear regression. Grasping the intricacies of Lasso and comparing it with other techniques will empower analysts to choose the most fitting approach for their modeling and data analysis needs. ​