Bayes in uno spazio finito

Regola

Se P(B)>0, P(A|B)=P(B|A)P(A)/P(B), con P(B)=P(B|A)P(A)+P(B|¬A)P(¬A) per due ipotesi complementari.

Approfondimento e limiti del modello

Un risultato osservato seleziona i percorsi compatibili, ma non rende equiprobabili le ipotesi di partenza. Nel problema delle scatole, un rosso può arrivare da A con peso (1/2)·1 e da B con peso (1/2)·(1/2). I pesi sono 1/2 e 1/4; normalizzarli dividendo per 3/4 produce 2/3 e 1/3.

La formula è un modo compatto di leggere un albero o una tabella di frequenze. La probabilità P(A|rosso) non va confusa con P(rosso|A): la prima domanda parte dal colore osservato, la seconda dalla scatola già scelta. Se P(rosso)=0, il condizionamento non è definito.

Ipotesi, dato e domanda inversa

Chiama A l'ipotesi «è stata scelta la scatola A» e R il dato «è uscito un disco rosso». P(R|A) domanda quanto è probabile il dato se l'ipotesi è nota; P(A|R) domanda quanto è credibile l'ipotesi dopo aver visto il dato. Sono domande diverse. Nell'esempio, P(R|A)=1 perché A contiene solo rossi, mentre P(A|R)=2/3 perché anche B può produrre un rosso.

La probabilità iniziale P(A) deve entrare nel calcolo. Se una scatola è scelta raramente, un rosso quasi certo da essa potrebbe ancora essere meno frequente dei rossi prodotti da una scatola scelta spesso. Un dato non azzera automaticamente la frequenza iniziale. Formulare la domanda inversa in una frase prima di applicare la formula aiuta a riconoscere quale evento va a sinistra della barra verticale.

Contare percorsi equiprobabili nel caso semplice

Nel caso delle due scatole equiprobabili con due dischi ciascuna, puoi distinguere fisicamente i dischi pur se hanno lo stesso colore. Quattro percorsi scelta-scatola-estrazione hanno lo stesso peso 1/4: due passano per A e sono rossi, uno passa per B ed è rosso, uno passa per B ed è blu. Dopo aver osservato rosso, rimangono tre percorsi compatibili, due dei quali provengono da A: 2/3.

Questo conteggio funziona perché le scatole sono scelte con probabilità uguali e contengono lo stesso numero di dischi equiprobabili. Se P(A) cambia o le scatole hanno quantità diverse, i percorsi disegnati non sono necessariamente equiprobabili. In tal caso occorre usare pesi di ramo e sommarli: il disegno dell'albero organizza i casi ma non rende uguali pesi differenti.

Dalla tabella dei pesi alla formula

Il ramo A e rosso pesa P(A)P(R|A)=1/2·1=1/2. Il ramo B e rosso pesa P(B)P(R|B)=1/2·1/2=1/4. Il dato rosso può arrivare da entrambi, quindi P(R)=1/2+1/4=3/4. La quota dei rossi provenienti da A è (1/2)/(3/4)=2/3. Numeratore e denominatore contano lo stesso dato; il numeratore aggiunge la condizione A.

Questa è la formula di Bayes scritta come rapporto fra peso del ramo favorevole e peso di tutti i rami compatibili con il dato. In un problema con più di due ipotesi, il denominatore somma tutti i rami che producono R. La formula breve non elimina la necessità di definire ipotesi mutuamente esclusive e complete rispetto al modello considerato.

Frequenze naturali come controllo

Immagina 1000 scelte indipendenti secondo il modello, solo come frequenze attese. Circa 500 scelte userebbero A e produrrebbero 500 rossi; circa 500 userebbero B e, in media, 250 darebbero rosso. Fra circa 750 rossi, circa 500 provengono da A: 500/750=2/3. Le frequenze attese rendono visibile il denominatore del condizionamento senza cambiare la probabilità esatta del modello.

In un campione reale di 1000 prove non è garantito ottenere precisamente 500, 250 e 750. Il conteggio qui traduce proporzioni teoriche, non afferma un risultato sperimentale inevitabile. Se il procedimento di scelta o di estrazione non è casuale come dichiarato, neppure le frequenze attese del modello sono giustificate. Dichiarare questa differenza evita di scambiare un esempio numerico per un'osservazione storica.

Tre controlli prima di accettare il risultato

Il primo controllo è il dominio: P(R) deve essere maggiore di zero per poter calcolare P(A|R). Il secondo è la normalizzazione: P(A|R)+P(B|R)=2/3+1/3=1 quando A e B esauriscono le possibilità. Il terzo è il verso dell'informazione: vedere rosso rende A più probabile di prima, perché A produce rossi più spesso di B; passare da 1/2 a 2/3 è coerente con questa evidenza.

Nessuno dei tre controlli prova da solo che ogni passaggio sia corretto. Un valore fra zero e uno può comunque derivare da un numeratore sbagliato. Per esempio, dividere P(R|A)=1 per P(R)=3/4 darebbe 4/3, subito impossibile; dividere 1/2 per 1 potrebbe dare un valore plausibile ma senza fondamento. Conviene tenere distinti prior, probabilità del dato dato A, probabilità totale del dato e posterior.

Quando cambia la probabilità iniziale

Supponi ora P(A)=1/3 e P(B)=2/3, con P(R|A)=2/3 e P(R|B)=1/3. I pesi dei due rami rossi sono entrambi 2/9: (1/3)(2/3)=2/9 e (2/3)(1/3)=2/9. Il dato rosso ha probabilità 4/9; dopo averlo osservato, P(A|R)=1/2. L'evidenza più favorevole ad A compensa esattamente la minore probabilità iniziale di A in questo esempio.

Se invece P(R|A)=P(R|B), osservare R non distingue le due ipotesi: il posterior P(A|R) coincide con il prior P(A), purché P(R)>0. Questo caso limite è un controllo concettuale utile. La qualità informativa di un dato dipende da quanto diversa è la sua probabilità sotto le ipotesi, non soltanto da quanto sorprendente appare il dato isolatamente.