Capacità — 12. Punto di massima entropia

“Possiamo quindi concludere”.

“Lo studio dell'entropia di un sistema?”.

“O, almeno, di questa prima parte”.

“Ah”.

“Siamo finalmente arrivati alla formula H(p₁, …,p_n) = p₁log₂(1/p₁) + … + p_nlog₂(1/p_n)”.

“Eh, ricordo”.

“Ora prendiamo in considerazione un caso particolare, quello di una sola variabile aleatoria”.

“Eh?”.

“Prendiamo una moneta”.

“Meglio”.

“Non equa: diciamo che la probabilità che esca una faccia sia p”.

“E quindi la probabilità che esca l'altra faccia sarà 1 − p”.

“Esatto, e la formula relativa all'entropia diventa molto semplice: H = plog₂(1/p) + (1 − p)log₂(1/(1 − p))”.

“Ok”.

“Formula di cui possiamo disegnare un grafico”.

“Ah”.

“Eccolo qua”.

“Una parabola?”.

“Assolutamente no: ci sono dei logaritmi, non dei polinomi di secondo grado”.

“Però sembra una parabola”.

“Sembra. Ma non è prolungabile verso il basso come una parabola: questa curva finisce lì, ha un dominio limitato”.

“Ah. E cosa ci dice, questo grafico?”.

“Ci mostra una cosa che avevamo già intuito: l'entropia massima si ha quando p = 1/2”.

“L'avevamo già intuito?”.

“Eh, sì: la moneta più imprevedibile è quella equa, quella per la quale la probabilità di uscita delle due facce è la stessa. Se la moneta fosse sbilanciata, l'entropia sarebbe minore, perché una moneta non equa trasporta meno informazione di una moneta equa. Se 9 volte su 10 esce Testa, sai già cosa aspettarti quando lanci la moneta”.

“Ah, vedo: se la moneta avesse due Teste, l'entropia sarebbe uguale a zero perché non avremmo nemmeno bisogno di lanciarla per sapere quale faccia uscirà”.

“Esatto. La situazione più incerta, quella con maggiore entropia, è quella in cui p = 1/2. Tutte le altre sono più prevedibili”.

“E abbiamo fatto tutto questo per dimostrare una cosa che sapevamo già?”.

“Ehm, beh. Un conto è intuire, un conto è matematizzare”.

“Non ci posso credere”.