“Possiamo quindi concludere”.
“Lo studio dell'entropia di un sistema?”.
“O, almeno, di questa prima parte”.
“Ah”.
“Siamo finalmente arrivati alla formula H(p1, …,pn) = p1log2(1/p1) + … + pnlog2(1/pn)”.
“Eh, ricordo”.
“Ora prendiamo in considerazione un caso particolare, quello di una sola variabile aleatoria”.
“Eh?”.
“Prendiamo una moneta”.
“Meglio”.
“Non equa: diciamo che la probabilità che esca una faccia sia p”.
“E quindi la probabilità che esca l'altra faccia sarà 1 − p”.
“Esatto, e la formula relativa all'entropia diventa molto semplice: H = plog2(1/p) + (1 − p)log2(1/(1 − p))”.
“Ok”.
“Formula di cui possiamo disegnare un grafico”.
“Ah”.
“Eccolo qua”.
“Una parabola?”.
“Assolutamente no: ci sono dei logaritmi, non dei polinomi di secondo grado”.
“Però sembra una parabola”.
“Sembra. Ma non è prolungabile verso il basso come una parabola: questa curva finisce lì, ha un dominio limitato”.
“Ah. E cosa ci dice, questo grafico?”.
“Ci mostra una cosa che avevamo già intuito: l'entropia massima si ha quando p = 1/2”.
“L'avevamo già intuito?”.
“Eh, sì: la moneta più imprevedibile è quella equa, quella per la quale la probabilità di uscita delle due facce è la stessa. Se la moneta fosse sbilanciata, l'entropia sarebbe minore, perché una moneta non equa trasporta meno informazione di una moneta equa. Se 9 volte su 10 esce Testa, sai già cosa aspettarti quando lanci la moneta”.
“Ah, vedo: se la moneta avesse due Teste, l'entropia sarebbe uguale a zero perché non avremmo nemmeno bisogno di lanciarla per sapere quale faccia uscirà”.
“Esatto. La situazione più incerta, quella con maggiore entropia, è quella in cui p = 1/2. Tutte le altre sono più prevedibili”.
“E abbiamo fatto tutto questo per dimostrare una cosa che sapevamo già?”.
“Ehm, beh. Un conto è intuire, un conto è matematizzare”.
“Non ci posso credere”.