Due misure di informazione: Entropy ed Extropy

La teoria dell'informazione nasce ormai più di 70 anni fa, grazie a Shannon che definisce per la prima volta l'entropia, una misura di informazione con moltissime applicazioni. Alcune quantità, come entropia e mutua informazione, sono la risposta a domande fondamentali. Per esempio, l'entropia è la complessità descrittiva minima di una variabile aleatoria, e la mutua informazione è il tasso di comunicazione in presenza di rumore. Il campo della teoria dell'informazione è cresciuto considerevolmente dall'articolo originale di Shannon. La teoria dell'informazione, come già detto, risponde a due questioni fondamentali per la teoria della comunicazione: Qual è la massima compressione dei dati (risposta: l'entropia), e qual è il massimo tasso di informazione trasferibile in modo affidabile su un canale affetto da rumore (risposta: la capacità del canale). Perciò l'entropia è la misura dell'incertezza media di una variabile aleatoria ed è il numero di bits necessari in media per descrivere una variabile, fornisce così un limite superiore alla possibilità di comprimere dati. La teoria dell'informazione, e di conseguenza l'entropia, apporta contributi essenziali in fisica statistica, informatica, inferenza statistica, probabilità, statistica e ingegneria elettrica. Probabilmente tutti noi quando sentiamo la parola entropia pensiamo alla fisica, infatti la meccanica statistica è il ‘‘luogo di nascita’’ dell'entropia e della seconda legge della termodinamica. L'entropia in questo caso misura l'incertezza o la disorganizzazione di un sistema fisico. La seconda legge, inoltre, ci dice che l'entropia di un sistema chiuso non può decrescere. La parola extropy è stata usata per la prima volta nell'articolo F. Lad, G. Sanfilippo, G. Agrò: "Extropy: Complementary Dual Of Entropy". Statist. Sci. 30, 2015 e indica il complementare duale dell'entropia. Come l'entropia, l'extropy è interpretata come una misura della quantità di incertezza rappresentata dalla distribuzione di una variabile aleatoria. La rilevanza della dualità tra queste due misure di informazione, finora sconosciuta, giace in modo latente anche nelle applicazioni già studiate ma ora ha finalmente la possibilità di mostrare tutte le sue potenzialità. L'entropia è una misura che può essere considerata ‘‘interna’’ all'osservazione della variabile aleatoria, mentre l'extropy è una misura ‘‘esterna’’ all'osservazione. Utilizzando un'analogia possiamo dire che queste due misure si relazionano come le immagini positive e negative di una pellicola fotografica e contribuiscono insieme a caratterizzare l'informazione in una distribuzione più o meno allo stesso modo. Uno degli aspetti più interessanti dell'extropy è esaminato considerando la past extropy, che indica l'extropy del tempo di inattività. Nel primo capitolo di questo breve elaborato introduciamo i concetti preliminari di teoria dell'informazione, utili per le definizioni e il conseguente sviluppo. Parleremo dunque di entropia, entropia congiunta, entropia condizionata, entropia relativa, mutua informazione, entropia differenziale e delle loro relazioni algebriche. Nel secondo capitolo invece ci concentreremo su extropy, una nuova misura di informazione, e sulle proprietà che la legano all'entropia. Il terzo capitolo sarà dedicato alla past extropy, cioè un'applicazione, in cui potremo vedere la vera utilità dell'extropy. L'ultima sezione tratta invece delle statistiche d'ordine e del loro legame con la past extropy.