Statistica 2
Statistica 2
È una disciplina che ha come fine lo studio quantitativo e qualitativo di un particolare fenomeno, in
condizioni di incertezza.
Obiettivi: - progettare - descrivere - inferire
La raccolta dei dati è una fase fondamentale perché permette di reperire le osservazioni che saranno
poi impiegate nell’analisi statistica.
Due tipi di indagine
Totale o censuaria Campionaria
con cui tutte le unità della popolazione viene osservato un sottoinsieme della
vengono osservate e si descrive il fenomeno popolazione (campione)
oggetto di studio
• Quantitativo le sue modalità sono numeri che esprimono una misura o una quantità.
- Discreto se le modalità del carattere sono dei numeri interi frutto di un conteggio
n°figli,prodotti o addetti
continuo se le modalità includono anche valori decimali temperatura 3,5°, altezza o peso
(rientrano le classi)
- Trasferibile se un’unità statistica può cedere tutto parte del carattere ad un’altra unità
reddito, n° azioni
non trasferibile se non possono essere trasferiti senza trasferire l’unità stessa età, altezza o peso
- Con scala intervalli per le modalità non esiste lo 0 assoluto, ed è formata da valori numerici
come un’origine aritmetica temperatura
con scala di rapporti le modalità sono valori numerici che hanno un’origine fissa
età, altezza, peso, reddito
La suddivisione in classi di un carattere quantitativo, consiste nel suddividere, i valori che una
modalità può assumere in intervalli tra loro disgiunti.
Le classi possono avere uguali o diversa ampiezza e si intende la differenza tra estremo superiore ed
inferiore della classe.
Chiusa a destra
Chiusa a sinistra Chiusa ambo i lati
1
DISTRIBUZIONE DI FREQUENZA
È una tabella che mostra come sono distribuiti i dati in base alla loro frequenza, cioè quante volte
un certo valore compare in un insieme di dati.
Proprietà:
- Internalità la media è compresa tra il minimo minimo e il massimo del carattere
- Associativa è possibile esprimere la media delle variabili come una media ponderata dei 2
gruppi
2
- Linearità la media di una trasformazione lineare corrisponde alla trasformazione lineare della
media
- Traslativa sommando una costante alle modalità, si avrà una media aumentata per quella costante
Il difetto della media aritmetica è che ne risente di valori anomali, che sono diversi dai dati perché
ho molto più grandi o molto più piccoli.
- Media aritmetica ponderata si usa quando si vuole dare importanza diversa alle osservazioni
del carattere, attribuendo a ciascuna un peso specifico
- Media geometrica
- Trimmed mean per evitare l’influenza dei valori anomali, consideriamo solo i valori centrali,
escludendo il 25% dei valori piccoli e il 25% dei valori grandi.
•
Medie di posizione non richiedono operazioni matematiche ma si basano sulla
posizione dei valori ordinati sia per caratteri quantitativi che qualitativi
Consideriamo la Moda, la Mediana e i Percentili.
- Moda è il valore X in corrispondenza della frequenza maggiore, mentre per un carattere
continuo suddiviso in classi la moda sarà la classe in corrispondenza della maggiore densità di
frequenza. Se invece le classi hanno stessa ampiezza, la classe modale sarà quella in
corrispondenza della frequenza più alta.
- Mediana è la modalità che divide il collettivo in 2 parti uguali e non risente di valori a anomali.
1º modo per calcolarla: occorre ordinare i valori in senso crescente.
Nº dispari
Nº pari
- Percentili dividono un insieme di dati ordinati in 100 parti uguali, i percentili maggiormente
utilizzati sono i Quartili:
Q1 (1º quartile) il 25% dei dati è ≤ a questo valore
Q2 il 50% dei dati ≤ a questo valore (=alla mediana)
Q3 il 75%
3
INDICI DI VARIABILITÀ’ E DI FORMA
Gli indici di variabilità forniscono informazioni sul livello di dispersione dei dati per caratteri
quantitativi ma anche per caratteri qualitativi (mutabilità).
La varianza si basa sul confronto tra le modalità osservate del carattere e la media della
distribuzione.
La deviazione standard o scarto quadratico medio misura quanto i valori si allontanano dalla
media.
L’indice di omogeneità si ha quando tutte le unità del collettivo hanno la stessa modalità.
L’indice di eterogeneità sia quando tutte le modalità del carattere sono presenti con la stessa
frequenza.
4
L’indice di Gini misura l’eterogeneità dei caratteri qualitativi ed è compreso tra 0 e 1.
Normalizzato
Gli indici di forma sono utili per descrivere la forma della distribuzione solo per caratteri
quantitativi. Qui consideriamo l’indice di asimmetria.
Una distribuzione si dice asimmetrica se non si può individuare un asse verticale che divide la
distribuzione in 2 parti uguali.
Mostra simmetria + o -, in base alla frequenza delle modalità più piccole o più grandi.
L’indice di asimmetria
Elevando gli scarti della media al cubo, questo indice può assumere valori + o - in base alla
predominanza degli scarti positivi o negativi.
3 situazioni:
- Simmetria M3=0
- Asimmetria + M3>0
- Asimmetria - M3<0
LA CONCENTRAZIONE
Ci fornisce la misura di come un carattere quantitativo trasferibile si divide fra le unità statistiche
del collettivo quindi, quando risulta equamente suddiviso tra le unità o è concentrato in poche unità.
Concentrazione Fi > Qi
Equidistribuzione Fi = Qi
Qui la concentrazione è nulla perché ogni unità statistica possiede la frazione 1/n dell’ammontare
complessivo del carattere.
Massima concentrazione Qi= 0
Fi = frequenza relativa cumulata
Qi = cumulata del carattere
totale del carattere
Fi - Qi =0 -> equidistribuzione
Fi – Qi >0 -> concentrazione
Fi - Qi = Fi -> massima concentrazione
5
Una misura relativa della concentrazione è l’indice di Gini, compreso tra 0 e 1.
Curva di Lorenz si ottiene tracciando dei punti su un piano cartesiano, unendoli con dei segmenti
si otterrà la spezzata.
es. Se la curva è lontana dalla retta di equidistribuzione significa che poche persone possiedono la
maggior parte della ricchezza.
Con la distribuzione bivariata semplice ogni unità fornisce un numero di coppie di modalità.
Con la distribuzione di 2 caratteri può essere sintetizzata attraverso la tabella a doppia entrata.
Associazione tra caratteri: analizzare le relazioni tra caratteri statistici è utile per fare “ previsioni”
sul valore di una variabile, sulla base dei dati dell’altra.
Tra 2 caratteri sussiste indipendenza statistica quando la conoscenza della modalità di un carattere
non migliora la conoscenza dell’altro. È il caso in cui ogni distribuzione condizionata di un carattere
resta la stessa al variare delle modalità del carattere condizionante.
Se tra 2 caratteri non sussiste indipendenza allora i caratteri sono dipendenti o interdipendenti.
Indice Chi-Quadrato
Misura il grado di interdipendenza tra 2 caratteri e sono riassunti in una tabella doppia di frequenza.
X2 ≥0 dipendenza statistica
X2=0 indipendenza tra i caratteri.
6
Più l’indice è lontano dallo 0 più avremo una forte relazione.
Maggiore è la distanza tra la tabella teorica è osservata, maggiore sarà l’interdipendenza.
Minore è la distanza tra le tabelle, minore sarà l’interdipendenza tra i 2 caratteri.
Se le 2 tabelle coincidono allora si ha l’indipendenza tra i caratteri.
Per iniziare bisogna suddividere in gruppi (G) in base alle modalità del carattere.
La numerosità totale è
Andremo a vedere il numero medio, considerando il totale e calcoliamo le medie di ciascun gruppo
Se le medie sono diverse e la variabile incide su quella quantitativa, c’è dipendenza in media.
La Devianza -> La media generale è uguale alla media delle medie dei gruppi
nel J-esimo gruppo -> misura la dispersione delle osservazioni del j-esimo gruppo dalla media di
quel gruppo
Tra i gruppi -> definisce la differenza tra le medie dei gruppi dalla media generale
Devianza totale -> Dtot = Den + Dtr -> Scomposizione della devianza, sappiamo che il valore
massimo che la varianza delle medie di gruppo è la devianza totale.
7
La dipendenza in media misura come la media del carattere quantitativo varia quando viene
calcolata all’interno dei gruppi G.
I 2 caratteri sono indipendenti in media se le medie dei gruppi sono uguali
in questo caso la varianza delle medie di gruppo Dtr=0
C’è interdipendenza tra 2 caratteri quantitativi se al variare di uno varia anche l’altro.
Su un numero di unità si ottengono una sequenza di coppie di modalità, quest’associazione si può
interpretare attraverso il grafico a dispersione/ scatter plot.
Le unità statistiche sono rappresentate da punti sparsi sull’asse cartesiano, in cui possiamo intuire
una relazione lineare e con il coefficiente di correlazione capiremo l’intensità di questa relazione.
I criteri si dicono:
- CONCORDI, se al variare di uno varia mediamente anche l’altro allo stesso modo
- DISCORDI, se al variare di uno, l’altro varia mediamente in senso opposto.
- INDIFFERENTI, al variare di un carattere l’altro è indifferente.
La covarianza ha dei limiti, infatti non ha valori min e max e si introduce il coefficiente di
correlazione lineare (detto anche indice di interdipendenza relativo) che non risente l’influenza
dell’unità di misura.
8
MODELLO STATISTICO
È una rappresentazione semplificata, analogica e necessaria della realtà e ha lo scopo di descrivere
un fenomeno.
Nel modello è presente, oltre alla componente descrittiva, anche una casuale per cui bisogna
considerare una variabile di errore ε (e).
Regressione lineare
è usato per capire la relazione tra 2 variabili. l’idea è di trovare una linea retta che descriva meglio,
come una variabile (y) cambia in base ad un’altra variabile (x).
La retta migliore che ci rappresenta i dati si sceglie con il metodo dei minimi quadrati che ci
minimizza la somma degli scarti della retta di regressione.
Indice di determinazione
è un valore che misura quanto bene un modello di regressione lineare sia adatta ai dati, è un indice
che varia tra 1 e 0.
R2=1 i punti sono perfettamente allineati sulla retta, interpreta bene la relazione.
R2=0 i punti sono sparsi, la retta non interpreta bene la relazione
Deviazione Spiegata -> differenza tra ciascun valore stimato e la media dei valori stimati
[Link] -> è la devianza dei residui di regressione
[Link] -> somma delle differenze tra i valori osservati e la media dei valori osservati al quadrato
9
PROBABILITÀ
La probabilità è un numero che misura quanto è probabile che un evento accada.
La probabilità varia tra 0 e 1 → + è vicino a 1 → più è probabile che l’evento accada.
Usiamo il Diagramma di Venn per studiare gli eventi. L’evento certo è il rettangolo S mentre i
singoli cerchi rappresentano un’insieme di eventi.
Negazione Ā -> dato un evento A contenuto in S, la sua negazione è l’evento che si verifica quando
A non si verifica.
Es. partita di calcio. A (vittoria) Ā (pareggio o sconfitta).
10
Incompatibilità A ⋂ B =0
A e B non hanno esiti in comune e la loro intersezione è vuota. Se si verifica uno, l’altro non può
accadere
Partizione la partizione dii S (quando tutti gli eventi in S sono incompatibili 2 a 2 ma insieme
danno tutto S), è costituita dall’insieme di eventi necessari e incompatibili.
Impostazione assiomatica della probabilità –> si definisce probabilità una funzione P(A) che
associa ad ogni evento A di S un nº reale e che soddisfa i postulati.
La Probabilità condizionata
È → dati 2 eventi A e B, sottoinsiemi di S se P(B)>0
ci possiamo chiedere qual è la probabilità di A sapendo che si è verificato B.
11
Il condizionamento riduce sia i casi favorevoli che possibili. Al contrario l’evento indipendente,
dove il verificarsi di A non modifica la probabilità del verificarsi di B.
A e B sono indipendenti se P(A|B) = P(A) P(B|A) = P(B)
Le probabilità congiunte (in una tabella di frequenze) si ha quando ciascun evento Ai può
verificarsi congiuntamente a ciascun evento Bj.
LE VARIABILI CASUALI
Sono uno strumento per rappresentare in modo numerico i risultati di esperimenti casuali e
calcolarne la probabilità.
- Continue possono assumere qualsiasi valore in un intervallo della retta reale es. peso,
altezza, durata di una batteria
La funzione di densità di probabilità è una funzione continua che associa una probabilità non
nulla ad intervalli di valori di x.
Il valore atteso è il valore medio che ci si aspetta di ottenere ripetendo un esperimento, un numero
elevato di volte.
12
La covarianza misura la relazione lineare tra 2 variabili casuali x e y.
Cov (X,Y) = E(X,Y) – E(X) E(Y)
• Modelli per variabili c. continue quando la variabile può assumere qualsiasi valore
in un intervallo.
- Distribuzione Normale è la più importante perché descrive tanti fenomeni casuali e fa
un’approssimazione attendibile per fare stime (inferenza)
La curva di Gauss è il grafico della distribuzione normale ed ha un intervallo illimitato, definita
sull’asse reale tra - ∞ e +∞.
13
INFERENZA STATISTICA
Si occupa di usare i dati raccolti da un campione per trarre conclusioni su un’intera popolazione.
L’inferenza si occupa di ridurre l’ignoranza sulla popolazione attraverso l’evidenza campionaria.
CAMPIONE CASUALE E
STATISTICA CAMPIONARIA
Nell’inferenza statistica, la statistica campionaria rappresenta lo stimatore puntuale che serve per
stimare il parametro θ della popolazione (ignoto).
Tutti i valori possibili che una statistica campionaria può assumere e rispettivamente le loro
probabilità prende il nome di distribuzione campionaria.
La distribuzione della statistica media campionaria è la variabile casuale che descrive le medie
di tutti i possibili campioni.
Dimostra che:
- Il valore atteso della media campionaria resta invariato all’aumentare del numero dei campioni
14
Lo stimatore T è una statistica campionaria che ha l’obiettivo di stimare θ. Essendo una variabile
casuale il suo valore dipenderà dal campione estratto.
Per costruire un intervallo di confidenza ci affidiamo alla quantità pivotale, funzione del parametro
del campione la cui distribuzione è nota.
Verifica d’ipotesi
Si compone di 3 passaggi:
1- Ipotesi statistica è una congettura numerica sul parametro θ.
L’ipotesi statistica può essere semplice (assegna un valore numerico a θ) H: ϑ=ϑ0 o
composita (può essere bidirezionale o unidirezionale) H: ϑ ∈ θ
15
Il test ha 2 risultati:
- H0 = ipotesi nulla ritenuta vera fino a prova contraria
- H1 = ipotesi alternativa c’è evidenza a sufficienza per sostenerla?
Se questa può essere spiegata allora scegliamo l’ipotesi nulla, se i valori sotto l’ipotesi nulla sono
lontani da ciò che abbiamo ipotizzato, va a favore di H1.
2- Statistica test è una statistica campionaria che assume l’ipotesi nulla come vera
Procedimento:
1) Si definiscono le ipotesi statistiche
2) Si fissa α (e quindi 1- α)
3) Si sceglie la statistica test e la distribuzione campionaria sotto l’ipotesi nulla.
4) Si determina il p-valore
5) Si confronta il p-valore con il livello di significatività e si prende la decisione di rifiutare
oppure no l’ipotesi nulla.
Errore di tipo 2 -> si commette se non si rifiuta l’ipotesi nulla ma è falsa.
La probabilità di commettere un errore di tipo 2 si indica con β.
16