L8. Moda, Quantili e Boxplot
L8. Moda, Quantili e Boxplot
Moda e Quantili
Quantili di vc e quantili di variabili statistiche, Mediana e Moda, Boxplot
• Perciò esistono misure basate sulla posizione dei dati ordinati, come la
mediana e i quantili oppure sul confronto tra le frequenze (la moda).
Memo: Media come decisione ottima nel senso dei minimi quadrati
Tizio deve indovinare il valore di una modalità 𝑥 scelta a caso da un collettivo, pagando una
somma pari all’errore quadratico 𝑥 − 𝑑 2 , ove 𝑑 è il valore scelto dal tizio (la decisione).
Allora il valore atteso della perdita del tizio è 𝑀 𝑋 − 𝑑 2 e la decisione che minimizza la
perdita attesa è 𝑑 = 𝑀(𝑋).
Infatti
2 2 2 2
𝑀 𝑋−𝑑 = 𝑀 𝑋 − 𝑀(𝑋) + 𝑀(𝑋) − 𝑑 ≥ 𝑀 𝑋 − 𝑀(𝑋) .
𝑉𝑎𝑟 𝑋 = 𝑀 𝑋 − 𝑀(𝑋) 2
La Moda
Anche la moda ha la proprietà di essere la decisione che minimizza la perdita attesa secondo una
particolare funzione di perdita. Ora Tizio deve indovinare il valore di una modalità 𝑥 scelta a caso
sapendo che pagherà 1 se sbaglia oppure 0 se ci azzecca.
Def. Quando la decisione è 𝑑 ed è vero 𝑥, la perdita 0/1 (o della roulette) è
1 𝑠𝑒 𝑑 ≠ 𝑥 o tutto
𝐿 𝑥, 𝑑 = ቊ
0 𝑠𝑒 𝑑 = 𝑥 o niente
La perdita attesa
1 1
𝑀 𝐿 𝑥, 𝑑 = 𝐿(𝑥𝑗 , 𝑑) 𝑛𝑗 = 𝑛𝑗
𝑛 𝑛
𝑗:𝑥𝑗 ≠𝑑
sarà minima quando 𝑑 è uguale alla modalità più frequente, cioè 𝑑 = 𝑥ℎ : 𝑛ℎ = max(𝑛𝑗 ).
E la minima perdita attesa è
𝑛 − max(𝑛𝑗 )
𝐸= = 1 − max(𝑓𝑗 )
𝑛
Misura di Eterogeneità associata alla Moda
Come già per media e mediana, la minima perdita attesa può essere assunta come misura di
variabilità del carattere. Nel nostro caso:
𝐸 = 1 − max 𝑓𝑗
NB. La moda è l’unica media valida per caratteri sconnessi.
NB. Non è detto che la moda sia unica, ma anche quando esiste un’unica frequenza massima
si parla comunque di distribuzione plurimodale se vi sono ulteriori picchi di frequenza (mode
secondarie) .
𝐹 𝑥𝑝 ≡ 𝑃(𝑋 ≤ 𝑥𝑝 ) = 𝑝. (1)
nel punto 𝑝:
𝑥𝑝 = 𝐹 −1 (𝑝) . 𝑝=
0 𝑥<0
2 1 2
E ripartizione 𝐹 𝑥 = ൞3 𝑥 − 𝑥 0≤𝑥≤3
9
1 𝑥>3 0 3
1° caso.
𝐹 −1 (𝑝) identifica un punto di salto: il quantile è unico
Consideriamo l’esempio in figura, se cerchiamo la 𝐹(𝑥)
0,75
0,25
𝒙𝟎,𝟔
0,35 0,40
0,25
𝒙𝟎,𝟔
• (𝑎, 𝑏) = (0,5 , 1) ha probabilità 75%. Di questa: il 35% = 60% − 25% dovrà cadere a
sinistra di 𝑥0,6
• Poiché la probabiltà in (𝑎, 𝑏) è distribuita uniformemente, la distanza tra 𝑎 e 𝑥0,6 sarà pari alla
frazione 0,35/0,75 dell’ampiezza di (𝑎, 𝑏), quindi:
𝟎, 𝟑𝟓
𝑥0,6 =𝑎+ 𝒃 − 𝒂 = 0,5 + 0,467 × 0,5 = 0,733
𝟎, 𝟕𝟓
NB. Questo metodo servirà nel caso delle distribuzioni statistiche raggruppate in classi, ove per semplicità
si useranno direttamente le frequenze assolute.
3° metodo (anch’esso comodo quando non si dispone dell’espressione della fr)
Calcolo delle aree
𝒙𝟎,𝟔
Poiché l’area del rettangolo delimitato dalle linee tratteggiate dev’essere pari a 0,35, allora :
𝑥0,6 − 𝑎 × 1,5 = 𝟎, 𝟑𝟓
Per es. l’osservazione più piccola: 𝑥(1) ha rango 1. La più grande, 𝑥(𝑛) , ha rango 𝑛.
Esercizio.
Sono dati
𝑥1 , 𝑥2 , 𝑥3 , 𝑥4 , 𝑥5 = 1, 0, 4, 2, 4 .
Dunque
x(i) 0 1 2 4 4
Ni 1 2 3 4 5
Fi 0,2 0,4 0,6 1 1
𝐹 0,8
0,6
0,4
0,2
0
0 1 2 3 4
𝑥
𝐹 1
Sol.c) Si vogliono calcolare 𝑥0.2 , 𝑥0.25 e 𝑥0.8 .
𝑥0.8 0,8
x(i) 0 1 2 4 4 0,6
Ni 1 2 3 4 5 𝑥0.25
0,4
0
0 1 2 3 𝑥 4
𝑥(1) +𝑥(2)
Per 𝑝 = 0,2 : 𝐹 = 0,2 nell’intervallo tra 𝑥(1) = 0 e 𝑥(2) = 1, quindi 𝑥0.2 = 2
= 0,5.
Per 𝑝 = 0,25 : in 𝑥(2) = 1 la 𝐹 «salta» da 0,2 a 0,4, intervallo che comprende 0,25, quindi 𝑥0.25 = 1.
Per 𝑝 = 0,8 : in 𝑥(4) = 𝑥(5) = 4 la 𝐹 «salta» da 0,6 a 1, intervallo che comprende 0,8, allora 𝑥0.8 = 4.
𝑥 𝑛𝑝 +1 se 𝑛𝑝 non è intero
𝑥𝑝 = ቐ 1
𝑥 𝑛𝑝 +𝑥 𝑛𝑝 +1 𝑛𝑝 è intero
2
.
Es. Se 𝑛 = 20:
• la mediana 𝑚 ≡ 𝑥0,5 è il punto di mezzo tra le osservazioni di rango 10 e 11.
20
• Il primo terzile 𝑥1 è l’osservazione di rango + 1 = 7, cioè la 7-ma osservazione
3 3
nella graduatoria crescente: 𝑥(7) .
𝑁𝑗
• se 𝑛𝑝 non coincide con uno dei valori cumulati,
𝑛𝑝
allora il quantile corrisponde a un punto di salto
ed è uguale alla modalità 𝑥𝑗 della cumulata 𝑁𝑗−1
immediatamente più grande di 𝑛𝑝.
𝑥𝑝 = 𝑥𝑗
𝑥𝑗−1 𝑥𝑝 𝑥𝑗
Regola per il caso della distribuzione di frequenza
• si calcolano le frequenze cumulate 𝑁1 , 𝑁2 , … , 𝑁𝑘 ,
• si trova la prima frequenza cumulata 𝑁𝑗 strettamente maggiore di 𝑛𝑝.
• Si pone
𝑥𝑗 se 𝑁𝑗−1 < 𝑛𝑝 (a)
𝑥𝑝 = ቐ 1 (b)
𝑥𝑗−1 + 𝑥𝑗 se 𝑁𝑗−1 = 𝑛𝑝
2
(a) (b)
𝑁𝑗 𝑁𝑗
𝑛𝑝
𝑁𝑗−1 𝑛𝑝 = 𝑁𝑗−1
.... ....
𝑥𝑝 = 𝑥𝑗 𝑥𝑗−1 𝑥𝑝 𝑥𝑗
Nel caso di carattere quantitativo raggruppato in classi
Assumendo l’ipotesi di equidistribuzione interna alle classi:
• Si individua la prima cumulata 𝑁𝑗 ≥ 𝑛𝑝 , corrispondente alla classe
(𝑎, 𝑏) ove 𝑎 e 𝑏 sono i valori reali della classe.
𝑁𝑗
• Si pone 𝑁𝑗−1 𝑛𝑗
𝑛𝑝 − 𝑁𝑗−1
𝑥𝑝 = 𝑎 + (𝑏 − 𝑎) 𝑛𝑝
𝑛𝑗
𝑎 𝑥𝑝 𝑏
Esempi
Es.1. Date le osservazioni 1, −5, 0, 3, 7, 12.
a) Calcolare il primo terzile.
b) Calcolare il 99-mo percentile.
Es.2. Calcolare il 95-mo percentile delle tre distribuzioni seguenti:
(a) 𝑥 Frequenza
0 120
1 30
2 60
𝑥(1) ≤ 𝑥 2 ≤ … ≤ 𝑥(𝑛)
(a) (b)
x x
48 90
48 90
48 48
20 48
90 20
90 30
30 30
30 30
30
Soluzione
(a): 𝑛 = 9 è dispari, dunque il rango di 𝒎 è 10/2 = 5. La quinta osservazione nella graduatoria
crescente è 𝑚 = 48.
8
(b): 𝑛 = 8 è pari, 𝑚 è la semisomma delle osservazione di rango = 4 e la successiva
2
30+48
Queste osservazioni sono 30 e 48, dunque è 𝑚 = = 39.
2
a) x b) x
48 90
48 90
48 48
20 48
90 20
90 30
30 30
30 30
30
La Mediana nel caso di distribuzioni di frequenza
𝑛
Se la precedente cumulata 𝑁𝑗−1 < , 𝑚 = 𝑥𝑗
2
Altrimenti,
𝑛 1
cioè se 𝑁𝑗−1 = , 𝑚= 𝑥𝑗−1 + 𝑥𝑗
2 2
Esempio. Consideriamo la distribuzione unitaria del precendente esercizio (a), in cui s’è
trovato 𝑚 = 48. Scriviamola come distribuzione di frequenze. Si ottiene la tabella a
destra.
La prima cumulata che supera 𝑛/2 = 4,5 è 𝑁3 = 7,
x x j n N
j
corrispondente alla modalità 48 e 𝑁2 = 4 < 4,5.
j
30
30 4
30
𝑥 𝑥
Esercizio
Consideriamo il caso b del precedente esercizio, in cui s’è trovato 𝑚 = 39.
Si esprimano i dati in forma di distribuzione di frequenza e si calcoli la mediana con
la formula corrispondente, verificando che la regole di calcolo coincidono.
x
90
90
48
48
20
30
30
30
𝑥
𝑛
La prima cumulata maggiore di = 4 è la terza e la precedente è uguale a 4,
2
quindi
30+48
𝑚= = 39.
2
Le regole coincidono anche in questo caso.
xj nj Nj 𝑁(𝑥)
20 1 1
30 3 4
48 2 6
90 2 8
Totale 8 ///
𝑥
La Mediana di un carattere quantitativo raggruppato in classi
𝑛
NB. Nel caso 𝑁𝑗 = la formula fornisce 𝑚 = 𝑏.
2
Esercizio. Data la seguente distribuzione di un carattere continuo raggruppato in
classi, si calcoli la mediana.
𝒙𝒋 (cm) 𝒏𝒋
41 – 43 11
44 – 46 36
47 – 49 52
50 – 54 41
Totale 140
Soluzione. 𝑛/2 = 70, la classe reale mediana è 46,5 − 49,5.
Dunque:
70−47
𝑚 = 46,5 + 49,5 − 46,5 = 47,827
52
𝑚
𝑥
Mediana come decisione ottima
Problema: indovinare una modalità 𝑥 di 𝑋 scelta a caso, quando la perdita è il
valore assoluto dell’errore:
|𝑥 − 𝑑|.
1
Allora il valore atteso della perdita del tizio è 𝑀 |𝑥 − 𝑑| = σ |𝑥 − 𝑑| e la
𝑛
decisione che minimizza la perdita attesa è la mediana
𝑑 = 𝑚.
Riordiniamo la somma partendo dai due più estremi e poi via via verso il centro:
σ |𝑥 − 𝑑| = 𝑥 1 −𝑑 + 𝑥 6 −𝑑 (1
+ 𝑥 2 − 𝑑 + |𝑥 5 − 𝑑| (2
+ 𝑥 3 − 𝑑 + |𝑥 4 − 𝑑| (3
• per minimizzare la somma dei primi due errori (riga 1) basta che 𝑑 ∈ (𝑥 1 ,𝑥 6 )
• per minimizzare la somma dei due errori di riga 2 basta che 𝑑 ∈ (𝑥 2 ,𝑥 5 );
• per minimizzare la somma dei due errori di riga 3 basta che 𝑑 ∈ (𝑥 3 ,𝑥 4 ).
• Linearità Omogeneità
Traslatività
𝑚 𝑎𝑋 + 𝑏 = 𝑎 𝑚 𝑋 + 𝑏
In realtà la mediana gode di una proprietà ancora più generale della linearità:
• Equinvarianza rispetto a trasformazioni monotòne
Se g è una funzione crescente (o decrescente) qualsiasi, allora 𝑚 𝑔(𝑋) = 𝑔(𝑚 𝑋 ) .
Es. della Equivarianza per trasformazioni monotone
𝑦 𝑌=𝑔 𝑋
(crescente)
𝑚 𝑌 = 𝑔(𝑚 𝑋 )
𝑥
𝑚(𝑋)
NB. Se 𝑔 cresce il più piccolo 𝑥 si trasforma nel più piccolo 𝑦, il 2° più piccolo 𝑥 nel 2° più piccolo 𝑦 ecc.
NB. Se 𝑔 decresce il 1° diventa ultimo, il 2° diventa penultimo ecc.
Quindi al valore mediano corrisponde il valore mediano
L’equivarianza vale anche in caso di trasformazione decrescente.
NB. La mediana è equivariante sia per trasformazioni crescenti che
decrescenti perché corrisponde a 𝑝 = 0,5. In generale la trasformazione
decrescente trasforma il quantile di ordine 𝑝 nel quantile di ordine 1 − 𝑝.
Esercizio. I quartili del carattere 𝑋 sono 3.5, 8 e 12.
Cosa si può dire riguardo ai tre quartili della trasformata 𝑌 = 𝑔 𝑋 quando:
a) 𝑔 𝑥 = 3 + 2𝑥
b) 𝑔 𝑥 = −2 + 3𝑥
c) 𝑔 𝑥 = 3 − 2𝑥
d) 𝑔 𝑥 = ln 𝑥 (𝑥 > 0)
1
e) 𝑔 𝑥 = (𝑥 > 0)
𝑥
f) 𝑔 𝑥 = 𝑥 2 − 10𝑥
Quindi, dati i quartili 3,5, 8 e 12 della variabile originaria, i quartili delle trasformate sono:
𝑄1 𝑄2 𝑄3
𝑔 𝑥 = 3 + 2𝑥 3 + 2 × 3,5 3+2×8 3 + 2 × 12
𝑔 𝑥 = −2 + 3𝑥 −3 + 2 × 3,5 −3 + 2 × 8 −3 + 2 × 12
𝑔 𝑥 = 3 − 2𝑥 3 − 2 × 12 3−2×8 3 − 2 × 3,5
𝑔 𝑥 = ln 𝑥 ln 3,5 ln 8 ln 12
1 1 1 1
𝑔 𝑥 =
𝑥 12 8 3,5
Ricapitoliamo le tre formule del quantile di ordine p
Distr. disaggregata:
𝑥 𝑛𝑝 +1 se 𝑛𝑝 non è intero
𝑥𝑝 = ቐ 1
𝑥 𝑛𝑝 +𝑥 𝑛𝑝 +1 altrimenti
2
Distr. di frequenze:
Si trova la prima 𝑵𝒋 > 𝒏𝒑
𝑥𝑗 se 𝑁𝑗−1 < 𝑛𝑝
𝑥𝑝 = ቐ 1
𝑥𝑗−1 + 𝑥𝑗 se 𝑁𝑗−1 = 𝑛𝑝
2
Distr. in classi:
Si trova la prima 𝑵𝒋 ≥ 𝒏𝒑
𝑛𝑝 − 𝑁𝑗−1
𝑥𝑝 = 𝑎 + (𝑏 − 𝑎)
𝑛𝑗
(𝑎, 𝑏)=classe del quantile (estremi reali)
Esercizio
Date le nove osservazioni:
4, 2, 8, 9, 12, 20, 40, 41, 50,
calcolare
(a) i quantili di ordine p=0,1 , 0,3 , 0,5 , 0,75 e 0,9.
(b) I due terzili, ie i quantili di ordine 1/3 e 2/3.
Soluzione
Le statistiche d’ordine 𝑥(𝑖) sono:
𝒙𝒋 (cm) 𝒏𝒋
41 – 43 11
44 – 46 36
47 – 49 52
50 – 54 41
Totale 140
Soluzione
𝑛/4 = 35, la classe del primo quartile è 43,5 − 46,5.
𝑛/2 = 70, la classe mediana è 46,5 − 49,5.
3
𝑛 = 105, la classe del terzo quartile è 49,5 − 54,5.
4
35−11
𝒙𝒋 (cm) 𝒏𝒋 𝑁𝒋 𝑞1 = 43,5 + 46,5 − 43,5 = 45,5
36
41 – 43 11 11 70−47
𝑞2 = 𝑚 = 46,5 + 49,5 − 46,5 = 47,827
44 – 46 36 47
52
105−99
47 – 49 52 99 𝑞3 = 49,5 + 54,5 − 49,5 = 50,232
41
50 – 54 41 140
Totale 140
𝑥
Differenza Interquartile e Boxplot
Primo e terzo quartile individuano la metà centrale dei dati.
• Perciò una interessante misura di variabilità dei dati
è la differenza interquartile:
∆𝑞 = 𝑞3 − 𝑞1
Fonte: Multiple comparisons with PairViz, by Catherine B. Hurley and R.W. Oldford
[Link]
Esercizi
Esercizio1. Il boxplot è un ottimo strumento grafico perché essendo estremamente sintetico
permette di confrontare distribuzioni diverse nel medesimo diagramma. Ovviamente, l’estrema
sinteticità introduce un prezzo da pagare, cioè un elemento di criticità. Quale?
Esercizio 2. Data la seguente tabella delle frequenze del carattere discreto 𝑋, calcolare i tre quartili.
𝑥 𝑛𝑥
0 30
1 45
2 57
3 18
Totale 150
Esercizio 3. La vc discreta 𝑋 ha la distribuzione di probabilità seguente. Calcolare i tre quartili.
𝑥 𝑓(𝑥)
0 0,2
1 0,3
2 0,38
3 0,12
Totale 1
Esercizio 4. Data la seguente tabella delle frequenze di classe del carattere continuo 𝑋, si calcolino il
primo e il nono decile (ie 𝑥0,1 e 𝑥0,9 ).
𝑥 𝑛𝑥
0 – 0,5 30
0,5 – 1 90
Totale 120
Esercizio 9. Calcolare la classe modale e il terzo quartile nei due seguenti casi di carattere
quantitativo 𝑋 > 0 raggruppato in classi.
a) 𝑥 𝑛𝑥 b) 𝑥 𝑛𝑥
0 − 10 12 0 − 10 9
11 − 20 12 10 − 20 9
21 − 40 7 20 − 40 27
41 − 80 6 40 − 80 4
Totale 37 Totale 49