martedì 10 agosto 2021

Tokyo 2020

Come ormai di consueto, ecco la classifica olimpica che non dipende dal valore che vogliamo assegnare alle tre medaglie, purché naturalmente si considerino le medaglie d'oro superiori a quelle d'argento, e queste ultime superiori a quelle di bronzo.

Qui le altre classifiche che ho fatto in passato.






lunedì 7 giugno 2021

Capacità — 14. L'algoritmo di Shannon-Fano

L'altra volta avevo detto che sappiamo quale sia il massimo teorico che possiamo raggiungere comprimendo dei dati, ma non sappiamo come raggiungerlo”.

“Sì”.

“Beh, non è proprio così”.

“Ma come?”.

“Eh, bisogna capire bene di cosa stiamo parlando”.

“Come al solito”.

“Esatto. C'è un teorema che dice quale sarà la massima entropia che puoi ottenere, ma non ti dice quale codifica devi usare per ottenerla”.

“Ok”.

“Poi esistono dei metodi, degli algoritmi, che ti permettono di analizzare un flusso di dati e creare una codifica che possa cercare di avvicinarsi il più possibile a quel punto”.

“Quando un Vero Matematico comincia a usare frasi del genere, c'è da preoccuparsi”.

“Eh, lo so. Bisogna vedere il contesto: stiamo approssimando un flusso di dati in tempo reale, o possiamo dare un'occhiata a tutti i dati in anticipo? Dobbiamo tenere conto del fatto che ci possono essere errori che vanno corretti, oppure no? Insomma, come al solito ci sono tante sottigliezze che fanno la differenza”.

“Sgrunt”.

“Quindi, prendiamo un caso molto semplice, presentato anche da Shannon in due modi leggermente diversi. Uno ideato da lui, il secondo ideato indipendentemente da Fano (Shannon ha gentilmente specificato quell'indipendentemente, rendendo onore a Fano)”.

“Fair Play Matematico”.

“Già. Questo metodo ha bisogno di conoscere in anticipo le probabilità di ogni simbolo trasmesso”.

“E non è sempre così?”.

“Beh, no. Immagina di dover comprimere la Divina Commedia: possiedi il testo, lo analizzi, vedi le frequenze delle singole lettere. Immagina invece di dover comprimere un discorso trascritto in tempo reale: non puoi analizzare il testo, perché non è ancora stato scritto. Puoi però utilizzare le tabelle di frequenza relative alla lingua in cui è pronunciato quel discorso. Immagina infine di dover comprimere le cifre di pi greco che ti vengono calcolate al volo da un computer: come si fa a fare delle previsioni?”.

“Eh, mi sa che in quel caso sia un problema non da poco”.

“Infatti. Parliamo quindi del caso semplice: conosciamo le frequenze dei vari caratteri. Ti faccio un esempio super facile che abbiamo già visto tempo fa”.

“Benissimo”.

“Supponiamo che ci siano quattro caratteri, A, B, C e D. Supponiamo che le probabilità, cioè le frequenze relative, siano le seguenti:”.

A: 1/2
B: 1/4
C: 1/8
D: 1/8

“Ok, finora è chiaro, pare semplice”.

“Bene. I caratteri devono essere ordinati dal più probabile al meno probabile, come ho fatto”.

“Ok, lo sono”.

“Ora bisogna dividerli in due gruppi, in modo tale che la somma delle probabilità del primo gruppo sia uguale a quella del secondo”.

“Beh, qui è facile: i due gruppi sono {A} e {B, C, D}”.

“Esatto. Associamo il numero 0 al primo gruppo e il numero 1 al secondo”.

A:       0
B, C, D: 1

“Fin qui ci sono”.

“Bene, l'algoritmo è questo: si ripete di nuovo lo stesso procedimento per tutti i gruppi che non siano composti da un unico elemento”.

“Ah. Allora dovrei spezzare il secondo gruppo”.

“Sì”.

“Direi che si debba spezzare dopo B, dato che B ha probabilità 1/4 e {C, D} ha la stessa probabilità. Ora come faccio con l'associazione con 0 e 1?”.

“Aggiungi il nuovo numero al vecchio, così:”.

A:    0
B:    10
C, D: 11

“Ah, ecco. Ora devo spezzare il gruppo {C, D} e aggiungere un'altra cifra?”.

“Esatto. Vedi che le codifiche più lunghe sono associate ai simboli meno probabili, e le codifiche più corte a quelli più probabili”.

“Concludo, allora. Dovrei avere una tabella del genere:”.

A: 0
B: 10
C: 110
D: 111

“Ottimo”.

“E quindi è finito? Mi basta sostituire ai simboli quelle codifiche?”.

“Esatto”.

“Ma così risulta una codifica più lunga di quella precedente, come facciamo a dire che abbiamo compresso i dati?”.

“No, in realtà no, quella codifica che abbiamo creato è in bit, in cifre binarie, mentre i simboli A, B, C e D vanno pure loro codificati in questo modo”.

“Uhm, non mi è ben chiaro”.

“Immagina di voler codificare la stringa AAAABBCD in binario, come fai?”.

“Ah, devo usare il codice ASCII?”.

“Se usi quello, allora è evidente che stiamo comprimendo: quella stringa è formata da 8 caratteri, ogni carattere sta in un byte, totale 64 bit. Con l'algoritmo di Shannon-Fano invece diventa 00001010110111, solo 14 bit”.

“Uh, comincio a capire. Beh, la codifica ASCII è esagerata per solo quattro simboli, in effetti”.

“Esattamente. Ma se usi una codifica a lunghezza costante, analoga alla codifica ASCII, per quei quattro simboli, potresti fare una cosa del genere:”.

A: 00
B: 01
C: 10
D: 11

“Giusto, fammi fare i conti: la stringa AAAABBCD diventerebbe 0000000001011011, 16 bit”.

“Esatto: di 2 bit più lunga”.

“E non si può fare di meglio della codifica di Shannon-Fano?”.

“Facciamo i conti: quanto è la sua entropia?”.

“Oh, uhm. Per ogni lettera devo moltiplicare la probabilità per il logaritmo del suo reciproco, e sommare tutto”.

“Sì, la formula dice quello. Ecco il conto:”.

(1/2) log2(2) + (1/4) log2(4) + (1/8) log2(8) + (1/8) log2(8) = 1/2 + 2/4 + 3/8 + 3/8 = 7/4

“E questo risultato come lo interpreto?”.

“Ci dice che hai bisogno di 7/4 di bit per ogni carattere, e dato che tu hai trasmesso 8 caratteri…”.

“Ho bisogno di 14 bit! E in effetti ne ho usati proprio 14, bello. Non potevo fare di meglio”.

“Sì, questo era un esempio facile facile, con dei numeri belli, senza approssimazioni, ma ci fa capire come funziona l'idea”.

“Molto bene. Però, ho un dubbio”.

“Quale?”.

“Nella codifica simil-ASCII con due bit per carattere, io so dove finisce la codifica di un carattere e dove inizia quella del successivo, ma nella codifica di Shannon-Fano, che è a lunghezza variabile, come faccio?”.

“Ottima domanda. L'idea geniale di quel tipo di codifica è che essa è un codice prefisso, come dicono gli esperti”.

“Cosa significa?”.

“Significa che nessuna stringa di bit è anche prefisso di qualche altra stringa”.

“Ripeto la domanda: cosa significa?”.

“Guarda la tabella: A è associata a 0. C'è qualche altra lettera che ha un codice che incomincia con 0?”.

“No”.

“Quindi se in una stringa incontri uno 0, sai che hai trovato una A e che da quel punto comincia un altro simbolo”.

“Ah”.

“Invece, se trovi un 1 sai che devi andare avanti. Se trovi 10, sai che lì finisce il simbolo, perché 10 non compare da nessuna parte se non nella codifica di B”.

“Ma è davvero geniale! Se trovo 11, so che devo andare avanti e vedere se ho 110 oppure 111”.

“Proprio così. Questa codifica non è solo un'idea teorica usata per dimostrare qualcosa, ma viene usata davvero nella realtà. Nel metodo IMPLODE della compressione ZIP, per la precisione”.

“Ah, ma guarda, una parte di matematica che serve davvero a qualcosa”.

“Incredibile, eh?”.

sabato 22 maggio 2021

La nonna Giulia

Cento anni fa, il 22 maggio 1921, giorno di Santa Rita, come lei amava sempre ricordare, nasceva mia nonna, la persona nota a tutti come la nonna Giulia.

Ha vissuto la guerra, è stata sfollata, ha visto l'aeroplano Pippo sganciare bombe, una delle quali è caduta, inesplosa, nel cortile del gruppo di case in cui abitavano lei e alcuni fratelli. Suo marito, mio nonno, ha fatto la campagna di Russia, le ha raccontato come è sopravvissuto e come è riuscito a tornare a casa, concludendo: Giulia, se non sono morto là, non muoio più. Purtroppo non è stato così: pochi anni dopo, quando mia mamma faceva la terza media, forse il giorno prima dell'esame, non ricordo bene, il nonno è morto sul lavoro. Faceva il ferroviere, lavorava sui binari, conosceva gli orari dei treni a memoria, ha sentito il rumore del treno che doveva arrivare e si è spostato su un altro binario: purtroppo non ha sentito il rumore dell'altro treno che, fuori orario, stava passando su quel binario dove lui si era appena messo.

Dunque mia nonna non ha avuto una vita facile. Gliel'hanno resa meno pesante i nipoti, e io sono stato il primo, e per lei avevo un ruolo speciale. Mi ha fatto da mamma quando mia mamma non poteva esserci, perché aveva trovato da lavorare in un'altra città (alla banca d'Italia, quanto era orgogliosa mia nonna del fatto che sua figlia avesse vinto il concorso in un posto così prestigioso).

Mi salutava sempre allo stesso modo, anche quando ero ormai un distinto e rispettabile adulto al quale non si addiceva un saluto del genere: ciao, bella creatura! Nonna, dai, davanti a tutti. Beh, cosa c'è?

Andava tutte le domeniche in cimitero, a trovare suo marito. Una volta l'ho accompagnata (non mi piaceva molto visitare i cimiteri, quindi quella prima volta è stato un evento un po' speciale) e lei si è fermata davanti alla tomba e gli ha parlato, come se fosse lì. Guarda chi t'ho portato, ha detto.

Quando è diventata bisnonna è rinata. Quando è nato il mio primo figlio ha chiesto insistentemente di avere una foto con lei che lo teneva in braccio. Poi si è scusata della sua insistenza, e ci ha raccontato che voleva una foto che testimoniasse al primo bisnipote che lei c'era e l'aveva tenuto in braccio, dato che pensava che non sarebbe rimasta viva a lungo per poterlo vedere crescere e sentirlo parlare. E invece l'ha visto crescere per ventiquattro anni, e ne ha visti molti altri.

Si muoveva in bicicletta, sempre. Intorno ai novantaquattro anni è caduta, e mia mamma voleva impedirle di usarla ancora: lei l'ha presa malissimo, sembrava una condanna a morte. Allora è andata dal meccanico, gli ha detto oh, io devo andare in bicicletta ma qua non ci riesco più, è troppo alta e rischio di cadere, cum'a fàmia? Il meccanico ha capito, ha detto ci penso io, ha preso il flessibile e ha tagliato un pezzo di telaio, in modo da abbassare il seggiolino. Lei è tornata a casa ridendo come una bambina, e pedalando.

Spesso comandava, e per questo spesso litigava con mia mamma. Era una donna che ha vissuto da sola per la maggior parte della sua vita, la più grande di dodici fratelli, e che aveva la responsabilità di una figlia da educare e mantenere: non aveva un carattere facile, si doveva fare come diceva lei. Ma mi adorava.

Il regalo più grande che potevo farle era andarla a trovare e stare un po' con lei, e naturalmente ora penso che avrei potuto fare di più. Perché adesso la nonna non c'è più, è morta l'anno scorso poco prima di compiere novantanove anni, in piena pandemia, il cinque maggio. Ha avuto una polmonite, batterica, da cui si era ripresa, ma che l'aveva lasciata molto debilitata. Tanto che, una notte, ancora in ospedale, si è addormentata e non si è più svegliata.

Non è stato possibile celebrare il funerale: c'è stata solo una breve benedizione nel cortile davanti all'ospedale, con i nipoti e i bisnipoti. Il pomeriggio prima ero stato in visita alle camere ardenti: era tutto deserto, poteva entrare una sola persona alla volta, e mi sono trovato davanti all'ingresso assieme a un altro, evidentemente anche lui in visita. In attesa, ci siamo messi a leggere i mille cartelli che erano appesi all'entrata: uno di questi parlava delle "visite ai pazienti", e ci siamo messi a ridere di fronte alla definizione di "pazienti".

Qualche giorno fa l'ho finalmente sognata. Tutto, in quel sogno, era un simbolo che per me aveva un significato. Era a casa sua, seduta per terra tra la sala e la camera da letto. Questo mi ha ricordato quella volta in cui si è seduta per terra in mezzo ai bisnipotini, e noi le abbiamo detto nonna, cosa fai, adesso come fai a rialzarti? E lei, con un sorrisone, ha detto guarda, faccio così: ha piegato una gamba, appoggiato una mano, e si è alzata in un attimo. Me l'hanno insegnato a ginnastica, ha detto.

Era quindi tra la sala, dove stava sempre e dove tante volte ha fatto da mangiare per me, e la camera da letto, dove teneva la foto di suo marito. Tra le due stanze c'era un telo, un velo semitrasparente, e se vi viene in mente la scena della morte di Sirius Black, beh, era quel velo lì. Al di là del velo si vedeva in trasparenza il televisore, che era sempre acceso. Mi fa compagnia, diceva sempre.

Mi guardava, lì seduta per terra, e sorrideva. Mi sono svegliato, e sorridevo anche io.

domenica 9 maggio 2021

Capacità — 13. Compressione

La volta scorsa abbiamo visto cosa significa raggiungere il punto di massima entropia”.

“Sì, è quando tutto è inaspettato, equiprobabile, non puoi scommettere su niente”.

“Esatto, sì. Ma nei sistemi reali non sempre si raggiunge la massima entropia, a volte c'è qualche informazione più probabile”.

“Certo”.

“Per esempio, quando lanci due dadi e ne fai la somma”.

“Vero: non tutti i risultati sono equiprobabili. È più difficile fare 2 o 12 che non 7”.

“E quindi l'informazione sull'uscita del 7 porta con sé meno informazione rispetto a quella che ti dice che è uscito 12”.

“Se vogliamo metterla in questi termini, sì. Ma ancora non mi è del tutto chiaro il significato di questa affermazione”.

“Questo perché il concetto di entropia è difficile da digerire. Ma analizziamo l'esempio dei dadi: lanciando una coppia di dadi si possono avere 36 possibili risultati”.

“Questo se distingui il primo dal secondo, però”.

“Certo. Per ora distinguiamo tutto, poi mettiamo insieme. Per esempio, la somma 2 la puoi ottenere in un solo modo”.

“Quando il primo dado mi dà 1 e il secondo dado anche”.

“Sì. Invece 7 lo puoi ottenere in molti modi”.

“Già. Faccio uno schema:”.

 2: (1,1)
 3: (1,2), (2,1)
 4: (1,3), (2,2), (3,1)
 5: (1,4), (2,3), (3,2), (4,1)
 6: (1,5), (2,4), (3,3), (4,2), (5,1)
 7: (1,6), (2,5), (3,4), (4,3), (5,2), (6,1)
 8: (2,6), (3,5), (4,4), (5,3), (6,2)
 9: (3,6), (4,5), (5,4), (6,3)
10: (4,6), (5,5), (6,4)
11: (5,6), (6,5)
12: (6,6)

“Ottimo, guarda come si vede bene la struttura”.

“Vedo. Una volta su 36 ottengo 2, 6 volte su 36 ottengo 7”.

“E quindi l'uscita di un 7 ti stupirebbe di meno dell'uscita di un 2”.

“Sì, il 7 me l'aspetto di più.”.

“Questa è la tabella delle frequenze, e delle probabilità di uscita di ogni valore”.

 2: 1 — 0.028
 3: 2 — 0.056
 4: 3 — 0.083
 5: 4 — 0.111
 6: 5 — 0.139
 7: 6 — 0.167
 8: 5 — 0.139
 9: 4 — 0.111
10: 3 — 0.083
11: 2 — 0.056
12: 1 — 0.028

“Molto bene. E adesso?”.

“Adesso calcoliamo l'entropia: ricordi che per ogni valore bisogna calcolare il prodotto tra la probabilità di uscita e il logaritmo in base 2 del reciproco”.

plog2(1/p), ricordo. Faccio la tabella:”.

 2: 0.144
 3: 0.232
 4: 0.299
 5: 0.352
 6: 0.396
 7: 0.431
 8: 0.396
 9: 0.352
10: 0.299
11: 0.232
12: 0.144

“Bene, ora somma tutto”.

“Risulta 3.274. Cosa significa?”.

“Significa che, alla lunga, ti bastano 23.274 domande per sapere quale valore è uscito. O, in alternativa, la somma di due dadi può rappresentare 23.274 = 9.676 valori equiprobabili”.

“Uhm, vabbé”.

“Mettiamola così: i possibili valori che può assumere la somma di due dadi sono 11, ma sono troppi. Possiamo usarne meno, ma non per indovinare che valore è uscito una volta. Immagina di avere una sequenza molto lunga di lanci, diciamo un milione, e di doverla trasmettere. Come potresti fare?”.

“Beh, faccio un elenco e li trasmetto, no?”.

“Vorrei una descrizione più precisa: come è fatto l'elenco?”.

“Una roba del genere: 2, 5, 6, 12, 9, eccetera”.

“Così c'è un gran spreco di roba, però”.

“In che senso?”.

“Hai usato una virgola per separare ogni numero, e anche uno spazio”.

“Ah”.

“Puoi risparmiare spazio, poi la codifica decimale è esagerata”.

“Mh. Ho undici simboli, in qualche modo li devo scrivere”.

“Già, ma te ne bastano 11, non ne servono di più. Per esempio, potresti usare la base 11, e usare questi simboli: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, A”.

“Risparmio un carattere per il 10, l'11 e il 12”.

“Non solo, risparmi anche le virgole e gli spazi. Se scrivi una cosa tipo questa, 71264A03191A26A, non hai bisogno di separare le cifre”.

“Giusto. Ma allora potrei fare di meglio: questi caratteri vengono memorizzati dal computer in modo da sprecare spazio, perché uso un byte per ognuno di essi”.

“Forse anche di più, dipende dalla codifica. Una volta si usava la codifica ASCII a 7 bit, poi siamo passati a 8, poi con l'UNICODE possiamo arrivare a 32 bit”.

“Che spreco. Potrei allora creare una codifica apposta, e rimanere sui 7 bit”.

“Ma sono ancora tanti, no? Con 7 bit si possono codificare 128 simboli, a te ne bastano molti meno”.

“Fino a quanto posso scendere, quindi?”.

“Fino a una codifica di massima entropia”.

“Ah”.

“Qui sta il bello: la codifica migliore è quella che usa soltanto 9.676 simboli, e la puoi ottenere con 3.274 bit. Ovviamente questo è un valore teorico, ma più lunga è la sequenza che vuoi codificare, più vicino puoi arrivare a questo numero”.

“Oh, bello. Ma questo discorso c'entra forse qualcosa con la compressione dei dati?”.

“Certo: ti dice qual è il massimo teorico che puoi raggiungere comprimendo quei dati”.

“Ah. E come si fa a raggiungerlo, in generale? Prendendo una sequenza qualsiasi, voglio dire, non solo la sequenza dei lanci di due dadi”.

“Ah, boh. Il teorema di Shannon ti dice solo che si può fare, non ti dice mica come”.

domenica 11 aprile 2021

Capacità — 12. Punto di massima entropia

“Possiamo quindi concludere”.

“Lo studio dell'entropia di un sistema?”.

“O, almeno, di questa prima parte”.

“Ah”.

“Siamo finalmente arrivati alla formula H(p1, …,pn) = p1log2(1/p1) + … + pnlog2(1/pn)”.

“Eh, ricordo”.

“Ora prendiamo in considerazione un caso particolare, quello di una sola variabile aleatoria”.

“Eh?”.

“Prendiamo una moneta”.

“Meglio”.

“Non equa: diciamo che la probabilità che esca una faccia sia p”.

“E quindi la probabilità che esca l'altra faccia sarà 1 − p”.

“Esatto, e la formula relativa all'entropia diventa molto semplice: H = plog2(1/p) + (1 − p)log2(1/(1 − p))”.

“Ok”.

“Formula di cui possiamo disegnare un grafico”.

“Ah”.

“Eccolo qua”.


“Una parabola?”.

“Assolutamente no: ci sono dei logaritmi, non dei polinomi di secondo grado”.

“Però sembra una parabola”.

“Sembra. Ma non è prolungabile verso il basso come una parabola: questa curva finisce lì, ha un dominio limitato”.

“Ah. E cosa ci dice, questo grafico?”.

“Ci mostra una cosa che avevamo già intuito: l'entropia massima si ha quando p = 1/2”.

“L'avevamo già intuito?”.

“Eh, sì: la moneta più imprevedibile è quella equa, quella per la quale la probabilità di uscita delle due facce è la stessa. Se la moneta fosse sbilanciata, l'entropia sarebbe minore, perché una moneta non equa trasporta meno informazione di una moneta equa. Se 9 volte su 10 esce Testa, sai già cosa aspettarti quando lanci la moneta”.

“Ah, vedo: se la moneta avesse due Teste, l'entropia sarebbe uguale a zero perché non avremmo nemmeno bisogno di lanciarla per sapere quale faccia uscirà”.

“Esatto. La situazione più incerta, quella con maggiore entropia, è quella in cui p = 1/2. Tutte le altre sono più prevedibili”.

“E abbiamo fatto tutto questo per dimostrare una cosa che sapevamo già?”.

“Ehm, beh. Un conto è intuire, un conto è matematizzare”.

“Non ci posso credere”.

martedì 9 marzo 2021

Capacità — 11. Entropia

“Abbiamo visto un esempio che aveva lo scopo di calcolare quanta informazione può contenere una moneta truccata”.

“Ricordo: il trucco è stato quello di trasformare il problema della moneta truccata nel problema di un'urna contenente un certo numero di palline, alcune con la scritta Testa e altre con la scritta Croce, in modo da rispettare le probabilità di uscita delle due facce della moneta”.

“Esatto. E ci siamo detti che avremmo potuto generalizzare il discorso”.

“Capirai”.

“Mettiamo in ordine le cose, via. Abbiamo n messaggi diversi, che indichiamo con s1, s2, …, sn, ognuno dei quali ha probabilità p1, p2, … pn”.

“E va bene”.

“Approssimiamo le varie probabilità con delle frazioni: pk1/N, pk2/N, e così via”.

“Ok. Usiamo le frazioni per ricondurci all'esempio dell'urna con le palline, vero?”.

“Esatto. Costruiamo un'urna che contenga N palline, in modo tale che l'estrazione di una di esse rispetti le probabilità dei singoli messaggi”.

“Perfetto”.

“Ora abbiamo due modi per calcolare il numero di domande che ci servono per individuare una singola pallina. Il primo è quello di dire che ci serve un numero di domande pari al log2N”.

“E questo era facile. L'altro modo suppongo che sia la generalizzazione di quello che abbiamo visto l'ultima volta”.

“Già. L'altro modo consiste prima di tutto nel calcolare il numero medio di domande per sapere se abbiamo estratto una pallina contenente il messaggio s1, oppure s2, eccetera; questo numero lo indichiamo con H(k1/N, …, kn/N). A questo valore dobbiamo aggiungere il numero medio di domande per capire quale tra le palline etichettate con s1 è uscita, quale tra quelle etichettate con s2, e così via. Questi numeri sono uguali a (k1/N) log2k1, (k2/N) log2k2, eccetera”.

“Fammi provare a scrivere l'uguaglianza”.

“Prego”.

“Allora, ecco:”.

log2N = H(k1/N, …,kn/N) + (k1/N) log2k1 + … + (kn/N) log2kn.

“Ottimo. Ora, spezzando il logaritmo in base 2 di N che hai sinistra, come abbiamo fatto l'altra volta, e ridistribuendolo nei logaritmi di destra, puoi arrivare a questa bella formula:”.

H(k1/N) = (k1/N) log2(N/k1) + … + (kn/N) log2(N/kn).

“Bella, insomma”.

“E se, al posto di quelle frazioni, rimettiamo le probabilità, ecco questa bellissima formula:”.

H(p1, …,pn) = p1log2(1/p1) + … + pnlog2(1/pn).

“Che roba”.

“Per esempio, supponiamo che le statistiche di un certo esame ci dicano che metà degli studenti ha come giudizio Non sai niente torna più avanti, un quarto degli studenti ha come giudizio Te la sei cavata perché non posso bocciare tutti, un ottavo degli studenti ha Forse hai capito qualcosa, e l'ultimo ottavo ha Bene, hai capito, allora l'entropia di informazione di questo sistema-esame che può emettere quattro diversi messaggi è uguale a:”.

H(1/2, 1/4, 1/8, 1/8) = 1/2 log22 + 1/4 log24 + 1/8 log28 + 1/8 log28 = 7/4 = 1.75 bit.

“Quindi alla lunga mi servono 1.75 domande per sapere che voto ho preso”.

“Esatto, ma per sapere se l'esame è stato superato te ne basta una sola”.

“Meglio abbreviare le sofferenze”.

“Già”.