5 Generalizing from Data

How to generalize the results of analysis of your data and how to assess the validity and the limits of
such generalizations

Motivazione

Quanto è probabile che subirai una grossa perdita sul tuo portafoglio di investimenti di azioni aziendali? Per
rispondere a questa domanda, hai raccolto dati sui rendimenti passati del tuo portafoglio e hai calcolato la
frequenza di grosse perdite. Sulla base di questa frequenza, come puoi dire quale probabilità aspettarti
nel prossimo anno solare? E puoi quantificare l'incertezza su tale aspettativa in modo significativo?
In che modo la qualità della gestione tra le aziende manifatturiere è correlata a quanto esportano nei mercati
esteri? Hai dati su un campione di aziende manifatturiere e puoi calcolare varie misure di associazione nei
tuoi dati. Ma sei interessato a tale associazione tra tutte le aziende, non solo a questo campione, e sei
interessato a come potrebbe apparire nel prossimo futuro.
Puoi generalizzare i risultati nel campione a tutte le aziende e al futuro? E puoi valutare la qualità e
l'incertezza di tale generalizzazione?

Molto spesso, analizziamo i dati che abbiamo per aiutare una decisione in una situazione che non è inclusa
nei dati. Per farlo, dobbiamo generalizzare i risultati della nostra analisi dai dati che abbiamo alla situazione
che ci interessa. Le domande più importanti sono se possiamo generalizzare i risultati e se possiamo
quantificare l'incertezza causata da tale generalizzazione.
Iniziamo questo capitolo discutendo i due passaggi del processo di generalizzazione: generalizzare dai dati a
un modello generale che rappresentano, come una popolazione, e valutare come la situazione che ci
interessa si relaziona al modello generale che i nostri dati rappresentano. Il primo compito è l'inferenza
statistica. Introduciamo il framework concettuale dei campioni ripetuti. Introduciamo l'errore standard e
l'intervallo di confidenza che quantificano l'incertezza di questo passaggio di generalizzazione.
Introduciamo due metodi per stimare l'errore standard, il bootstrap e la formula dell'errore standard. Quindi
discutiamo la validità esterna dei risultati di un'analisi, che è il secondo passaggio della generalizzazione: dal
modello generale che i nostri dati rappresentano al modello generale dietro la situazione che ci interessa.
Sebbene non vi siano metodi prontamente disponibili per quantificare l'incertezza che questo passaggio
apporta ai risultati, discutiamo di come possiamo pensarci e di come possiamo utilizzare i risultati di analisi
di dati aggiuntive per valutarla.
Il caso di studio Quale probabilità di perdita aspettarsi da un portafoglio azionario? esamina la probabilità
di grandi rendimenti negativi su attività finanziarie e come dedurre tale probabilità in situazioni di
investimento future utilizzando i dati a disposizione. Utilizza il set di dati sp500. Questo caso di studio illustra
non solo come funziona l'inferenza statistica, ma anche i suoi limiti.

Risultati di apprendimento
Dopo aver lavorato su questo capitolo, dovresti essere in grado di:
• pensare alla generalizzazione oltre i dati effettivi;
• comprendere il concetto e la logica dell'inferenza statistica e della validità esterna;
• comprendere i concetti di campioni ripetuti e bootstrap;
• calcolare e utilizzare gli errori standard per creare intervalli di confidenza e utilizzarli per l'inferenza
statistica;
• comprendere se e come un'analisi dei dati aggiuntiva può aiutare a valutare la validità esterna.

1
5.1 When to Generalize and to What?
A volte analizziamo i nostri dati con l'obiettivo di apprendere modelli in quei dati stessi, tra le osservazioni
che contengono. Quando cerchiamo un buon affare tra le offerte di hotel o auto usate, tutto ciò che ci
interessa sono gli hotel o le auto nei nostri dati. In questi casi non c'è bisogno di generalizzare le nostre
scoperte a nessun'altra situazione. Più spesso, però, analizziamo un set di dati per apprendere modelli che
hanno probabilità di essere veri in altre situazioni.
Gli esempi della necessità di generalizzare sono numerosi. Possiamo analizzare i dati sulle auto usate per
determinare quale prezzo potremmo ottenere per un'auto simile a quella che possediamo. Oppure, possiamo
usare i dati su un campione di lavoratori di un paese in determinate occupazioni per valutare quale stipendio
possono aspettarsi gli studenti che studiano per tali occupazioni. Oppure, possiamo analizzare i dati sulla
cronologia dei rendimenti di un portafoglio di investimenti per valutare la probabilità di perdite di una certa
entità in futuro.
In tutti questi ultimi casi, vogliamo dedurre qualcosa dai dati a portata di mano per una situazione che ci
interessa, ma che non è contenuta nei dati. I dati sulle auto usate non includono la nostra auto.
Il campione di lavoratori include solo un sottoinsieme di tutti i lavoratori del paese e riguarda il passato, non
il futuro che ci interessa. I dati sulla cronologia dei rendimenti del portafoglio riguardano il passato, mentre
noi siamo interessati alla probabilità di perdite in futuro. Questo capitolo si concentra su come generalizzare
i risultati da un set di dati ad altre situazioni. L'atto di generalizzazione è chiamato inferenza: deduciamo
qualcosa dai nostri dati su un fenomeno più generale perché vogliamo usare quella conoscenza in un'altra
situazione. L'inferenza è meglio suddivisa in due passaggi: generalizzazione dai dati al modello generale che
rappresentano e generalizzazione da quel modello generale al modello generale che sta dietro alla situazione
che ci interessa veramente.
Questi possono sembrare un po' criptici all'inizio, quindi discutiamoli in dettaglio.
Il primo passaggio è l'inferenza statistica, che mira a generalizzare alla situazione che i nostri dati
rappresentano, utilizzando metodi statistici. I nostri dati possono rappresentare una popolazione se si tratta
di un campione rappresentativo (vedere Capitolo 1, Sezione 1.8). Più in generale, può rappresentare un
modello generale. Per poterlo generalizzare, quel modello generale deve esistere e deve essere stabile nel
tempo e nello spazio.
Il caso più semplice qui è un campione casuale che rappresenta una popolazione ben definita. Come abbiamo
definito in precedenza (vedere Capitolo 1, Sezione 1.8), un campione è rappresentativo di una popolazione
se la distribuzione di tutte le variabili è molto simile in entrambe. Avendo imparato di più sulle distribuzioni
di molte variabili nel Capitolo 4, ora possiamo essere più specifici: la distribuzione congiunta di tutte le
variabili deve essere simile.
Ciò include anche distribuzioni e correlazioni condizionali. Ad esempio, un set di dati sugli analisti di mercato
nel tuo paese dell'anno scorso con variabili età, sesso e stipendio rappresenta la popolazione di tutti gli
analisti di mercato nel tuo paese dell'anno scorso se la distribuzione di sesso, età e stipendio è molto simile
nei dati e nella popolazione, comprese le statistiche condizionali come lo stipendio medio per età e sesso.
Il modello generale è un concetto più astratto, ma spesso può anche essere qualcosa di piuttosto specifico.
Esempi includono la probabilità di una grande perdita sul nostro portafoglio, o quanto è più probabile che le
aziende meglio gestite nei paesi di medie dimensioni e a medio reddito esportino verso i mercati esteri.
Affinché i nostri dati rappresentino questo modello generale, non è necessario che tutte le variabili abbiano
la stessa distribuzione. Invece, richiediamo che il modello specifico (una verosimiglianza, una probabilità
condizionata, una media condizionata) sia lo stesso. Ma vogliamo che quella somiglianza non sia puramente
per una popolazione ben definita, ma che rifletta qualcosa di più generale che sta dietro ai nostri dati. Esempi
includono ciò che ha determinato la cronologia dei rendimenti patrimoniali, o tutte le cose che hanno
influenzato la relazione tra qualità della gestione ed esportazione in economie di medie dimensioni e a medio
reddito durante il periodo in cui sono stati raccolti i nostri dati. Generalizzare a un modello generale che i
nostri dati rappresentano può avere senso anche quando i nostri dati coprono un'intera popolazione. Ad
esempio, i nostri dati potrebbero includere tutte le aziende in India che erano in attività nel 2016. Quindi,

2
l'associazione qualità di gestione-esportazione nei dati è quella che è nella popolazione delle aziende nel
2016. Tuttavia, raramente eseguiamo analisi dei dati per conoscere una popolazione specifica in un momento
specifico del passato. Invece, vogliamo conoscere qualcosa di più generale: in India in altri momenti o in altri
paesi come l'India.
Quando facciamo inferenze statistiche, possiamo usare strumenti prontamente disponibili per conoscere il
modello generale rappresentato dai nostri dati. Tali strumenti possono quantificare l'incertezza su questo
passaggio di generalizzazione.
Introdurremo gli strumenti dell'inferenza statistica nelle sezioni successive di questo capitolo.
Il secondo passaggio è la valutazione della validità esterna dei risultati. La validità esterna riguarda se il
modello generale rappresentato dai nostri dati è lo stesso del modello generale che sarebbe rilevante per la
situazione che ci interessa veramente. Qualunque cosa si nasconda dietro le differenze di genere nei
guadagni nella popolazione rappresentata dai nostri dati potrebbe o meno essere simile a ciò che
determinerà le differenze di genere tra cinque anni nel nostro Paese o in un Paese diverso. Qualunque cosa
abbia causato grandi perdite probabili nel periodo in cui provengono i nostri dati potrebbe o meno essere
simile a ciò che renderebbe possibili grandi perdite nel futuro che ci interessa. Se il modello generale alla
base della situazione che ci interessa e i dati che abbiamo sono gli stessi, ciò che scopriamo dai nostri dati ha
un'elevata validità esterna per la situazione che ci interessa. Se, d'altro canto, il modello generale alla base
della situazione che ci interessa è diverso dal modello generale rappresentato dai nostri dati, qualsiasi cosa
scopriamo dai nostri dati avrebbe una bassa validità esterna. La validità esterna è meglio concepita come un
continuum, da molto alta (i nostri dati rappresentano lo stesso modello generale a cui siamo interessati) a
media (i due modelli generali sono simili ma non uguali) a molto bassa (i due modelli generali sono molto
diversi). La valutazione della validità esterna richiede riflessione e conoscenza delle situazioni; i metodi
statistici possono aiutare solo in modo indiretto. Torneremo sulla validità esterna e sulle sfide che la
riguardano più avanti in questo capitolo.
Contrariamente all'inferenza statistica, non abbiamo metodi statistici che forniscano risposte dirette al grado
di validità esterna. E non ci sono metodi che possano quantificare il grado extra di incertezza (sebbene un
ramo della statistica avanzata, chiamato statistica bayesiana, ci provi, ma questo va oltre lo scopo del nostro
libro di testo). Invece, valutare la validità esterna è un esercizio di pensiero che richiede la conoscenza degli
schemi stessi e di solito si traduce in affermazioni qualitative su quanto sia alta o bassa la validità esterna nel
nostro caso.
In pratica, l'obiettivo della maggior parte delle analisi è un riepilogo quantitativo degli schemi: nel caso più
semplice, è una statistica. Una statistica, come abbiamo discusso, è un numero che possiamo calcolare dai
dati. Esempi includono la scoperta di una probabilità, un coefficiente di correlazione o una differenza tra due
gruppi. Utilizzando una terminologia un po' semplicistica ma utile, vogliamo dedurre il valore reale della
statistica dopo aver calcolato il suo valore stimato dai dati effettivi. Il valore reale è una scorciatoia per il
valore in una popolazione o in un modello generale. Utilizzando questa terminologia, la validità esterna
riguarda la misura in cui il valore reale della statistica è simile nel modello generale rappresentato dai nostri
dati e nel modello generale che sta dietro alla situazione che ci interessa. L'obiettivo dell'inferenza statistica
è scoprire il valore reale della statistica nel modello generale, o popolazione, che i nostri dati rappresentano.
Il punto di partenza dell'inferenza statistica è il valore stimato della statistica che calcoliamo dai nostri dati.
È chiamato valore stimato perché il motivo per cui viene calcolato è scoprire (stimare) il valore reale.

Riquadro di revisione 5.1 Generalizzazione da un set di dati

• L'inferenza è l'atto di generalizzare dai dati a un modello più generale.

• In pratica equivale a congetturare il vero valore di una statistica dato il suo valore stimato.

• Il vero valore della statistica è il suo valore in una popolazione o modello generale.

• È buona norma dividere il processo di inferenza in due parti:

3
◦ Utilizzare l'inferenza statistica per scoprire quale potrebbe essere il vero valore nella popolazione o modello
generale rappresentato dai dati.

◦ Valutare la validità esterna: definire la popolazione o modello generale a cui si è interessati; definire la
popolazione o modello generale rappresentato dai dati; confrontare i due.

5.A1 CASE STUDY – What Likelihood of Loss to Expect on a Stock Portfolio?

Domanda e dati

Il caso di studio in questo capitolo mira a valutare la probabilità di subire una perdita di una certa entità su
un portafoglio di investimenti da un giorno all'altro. L'obiettivo è di indovinare la frequenza di tale perdita
per l'anno solare successivo. Questo è un problema di inferenza: utilizziamo dati del passato per apprendere
qualcosa su una situazione diversa, il futuro. Per prima cosa, pensiamo alla validità esterna. Il modello
generale che ci interessa è il modello che determina la probabilità di grandi perdite nell'anno successivo.
Potrebbe o meno essere lo stesso modello generale che ha determinato la frequenza di grandi perdite nei
nostri dati, che coprono gli anni passati. Per ora, procediamo supponendo che il modello generale rimanga
lo stesso e torniamo a questa domanda alla fine del nostro caso di studio.
La parte principale dell'analisi sarà l'inferenza statistica: valutare la probabilità di una grande perdita nel
modello generale rappresentato dai nostri dati. Il portafoglio di investimenti in questo caso di studio è
l'S&P500, un indice di borsa basato sulle azioni di società quotate alla Borsa di New York e al Nasdaq. È la
media ponderata del prezzo di 500 azioni di società e quindi è un portafoglio di investimenti con 500 azioni
di società, ciascuna con la sua proporzione appropriata.
I dati includono i rendimenti giornalieri sull'S&P500, definiti come variazioni percentuali nel prezzo di
chiusura dell'indice tra due giorni consecutivi. Copre 11 anni a partire dal 25 agosto 2006 e terminando con
il 26 agosto 2016. Include 2519 giorni. Si tratta di dati di serie temporali a frequenza giornaliera. I dati originali
presentano lacune in quanto non ci sono osservazioni per i giorni in cui i mercati sono chiusi, come i fine
settimana e le festività. I dati utilizzati in questo caso di studio ignorano tali lacune e prendono
semplicemente i rendimenti tra due giorni consecutivi in cui i mercati erano aperti. La Figura 5.1 mostra
l'istogramma dei rendimenti giornalieri. Per definire una grande perdita, prendiamo una perdita giornaliera
superiore al 5%. Si tratta di un evento raro, ma non estremamente raro. L'istogramma mostra quel limite di
-5% con una linea verticale. Definiamo una grande perdita come una variabile binaria, assumendo il valore
uno quando la perdita giornaliera supera il 5% e zero altrimenti.
La statistica nei dati è la percentuale di giorni con tali perdite. È dello 0,5% in questi dati: il portafoglio S&P500
ha perso più del 5% del suo valore in 13 dei 2519 giorni di mercato tra il 25 agosto 2006 e il 26 agosto 2016.
Cosa possiamo dedurre da questa probabilità dello 0,5% per il prossimo anno solare?
Nota una limitazione alla nostra domanda: riguarda la probabilità di una perdita del 5% o superiore. Non
riguarda la probabilità di una perdita molto grande, ad esempio del 20%. Né riguarda il valore atteso delle
perdite. Non perché queste altre domande siano meno interessanti. È perché i nostri dati non consentono di
rispondere. La perdita maggiore sullo S&P500 è del 9% nei nostri dati, quindi la probabilità di perdite maggiori
è impossibile da dedurre dai nostri dati, anche se non sono impossibili, ovviamente.

4
5.2 Repeated Samples, Sampling Distribution, Standard Error
Il background concettuale dell'inferenza statistica è costituito da campioni ripetuti. L'idea di base è che i dati
che osserviamo sono un esempio di molti set di dati che avrebbero potuto essere osservati. Ognuno di questi
set di dati potenzialmente osservati può essere visto come un campione tratto dalla popolazione, o il modello
generale più astratto. Quando i nostri dati sono in effetti un campione da una popolazione ben definita, è
facile vedere che molti altri campioni avrebbero potuto essere ottenuti al posto di ciò che abbiamo.
Questo sarebbe il caso dei dati sugli utili degli analisti di mercato. Abbiamo dati da un campione tratto dalla
popolazione di tutti gli analisti di mercato degli Stati Uniti dell'anno scorso; un'altra estrazione casuale
avrebbe prodotto un campione diverso di individui.
Quando i dati sono rappresentativi di un modello generale più astratto, anche il concetto di campioni ripetuti
è più astratto. I dati sui rendimenti di un portafoglio di investimenti sono un esempio: i nostri dati sono meglio
pensati come una particolare realizzazione della cronologia dei rendimenti che avrebbero potuto essere
ottenuti in modo diverso. Un altro esempio è quando i nostri dati sono costituiti da una popolazione, come
tutte le aziende in India che erano in attività nel 2016. Qui le pratiche di gestione e le prestazioni di quelle
aziende sono solo una realizzazione di ciò che sarebbe potuto accadere in un paese come l'India in un anno
come il 2016.
L'obiettivo dell'inferenza statistica è apprendere il valore di una statistica nella popolazione, o modello
generale, rappresentato dai nostri dati. Con campioni ripetuti, la statistica ha una distribuzione: il suo valore
può variare da campione a campione. All'interno di ogni campione il valore calcolato della statistica è
chiamato stima della statistica. La distribuzione della statistica è chiamata distribuzione campionaria. La
differenza tra analisti di mercato donne e uomini avrebbe potuto rivelarsi diversa in un campione diverso. La
distribuzione della qualità della gestione potrebbe essere stata diversa se avessimo scelto un campione
diverso di aziende. La percentuale di giorni con una perdita del 5% o superiore su un portafoglio di
investimenti potrebbe essere risultata diversa se avessimo potuto rieseguire la cronologia.
La distribuzione campionaria di una statistica mostra i valori che la statistica stimata assume su campioni
ripetuti. L'aspetto più importante di questa distribuzione campionaria è la sua deviazione standard:
quanto è diffusa tra campioni ripetuti. La deviazione standard della distribuzione campionaria ha un nome
specifico: è l'errore standard, abbreviato in SE, della statistica. Il nome deriva dal fatto che qualsiasi stima
particolare è probabile che sia una stima errata del valore reale. L'entità di quell'errore tipico è un SE.

5
Riquadro di revisione 5.2 Distribuzione campionaria

• La distribuzione campionaria è la distribuzione delle stime della statistica su molti campioni ripetuti della
stessa dimensione.

• La deviazione standard della distribuzione campionaria è chiamata errore standard (SE) della statistica
stimata.

5.A2 CASE STUDY – What Likelihood of Loss to Expect on a Stock Portfolio?

Repeated samples, standard error

La situazione che ci interessa nel nostro caso di studio sono i rendimenti del portafoglio S&P500 dell'anno
prossimo. I dati che abbiamo sono i rendimenti del portafoglio S&P500 per un periodo di 11 anni. La statistica
di interesse per noi è la percentuale di giorni con perdite pari o superiori al 5%. Questo è un singolo numero
nei nostri dati ed è pari a 0.5%. L'inferenza statistica risponde alla domanda su quale potrebbe essere la
percentuale di tali giorni nel modello generale che ha governato la cronologia osservata dei rendimenti. La
frazione di perdite pari o superiori al 5% avrebbe potuto rivelarsi diversa in quegli 11 anni se la cronologia si
fosse svolta diversamente. Che la cronologia avrebbe potuto rivelarsi diversa è un'ipotesi, ma che sembra
ragionevole, e manterremo tale ipotesi per tutto questo caso di studio. Questa è l'idea principale alla base
del concetto di campioni ripetuti. Idealmente, vorremmo analizzare molti campioni ripetuti di quella
cronologia di 11 anni: serie alternative di rendimenti giornalieri che avrebbero potuto verificarsi al posto di
quella che si è verificata. Non possiamo rieseguire la cronologia, ovviamente. Nelle sezioni seguenti
impareremo metodi che aiutano a fare una stima ragionata di cosa sarebbe potuto accadere se fossimo stati
in grado di rieseguire la cronologia. Per ora, prendiamo in considerazione un esempio artificiale ma
educativo.
In questo esempio artificiale eseguiamo un esercizio di simulazione per illustrare il concetto di distribuzione
campionaria. Gli esercizi di simulazione sono spesso utilizzati in statistica. L'idea principale alla base degli
esercizi di simulazione è quella di creare un mondo artificiale in cui conosciamo il vero valore della statistica
e vediamo se e come un particolare metodo può scoprirlo. Nel nostro caso, ciò significa conoscere la vera
frazione di perdite del 5%+ nel modello generale che sta dietro a ciò che osserviamo nei dati che abbiamo, e
vedere come appare il suo valore stimato attraverso campioni ripetuti da quel modello generale.
Ovviamente non conosciamo il vero valore del modello generale dietro la cronologia di 11 anni che
osserviamo. Invece, in questo esercizio sostituiamo la domanda con una di cui conosciamo la risposta.
Supponiamo, per il bene di questo esempio artificiale, che i dati di 11 anni siano tutto ciò che c'è. È la
popolazione, con lo schema generale: la frazione di giorni con perdite del 5%+ è lo 0,5% nell'intero periodo
di 11 anni. Questo è il valore reale. La domanda è come potremmo scoprire questo valore reale se non
avessimo dati su tutti gli 11 anni, ma solo su una parte di essi. Quindi, nel passaggio successivo dell'esercizio
di simulazione dimentichiamo di conoscere questo valore reale. Supponiamo, invece, di avere solo quattro
anni di rendimenti giornalieri nei nostri dati. Il nostro compito è quindi stimare il valore reale (nell'intero
periodo di 11 anni) dai dati che abbiamo (4 anni). Nel corso di questo esercizio possiamo esaminare
direttamente i campioni ripetuti perché possiamo estrarre molti campioni casuali di serie temporali di 4 anni
dalle serie temporali di 11 anni che abbiamo. Tali serie temporali di 4 anni possono essere diverse tra loro,
quindi la frazione di giorni con perdite del 5%+ può variare al loro interno.
Ci sono molti modi per estrarre un campione di quattro anni. Per semplicità definiamo quattro anni di dati di
borsa come 1000 giorni di dati (ci sono circa 250 giorni lavorativi in un anno). Potremmo iniziare con i primi
1000 giorni, poi i successivi 1000 giorni e così via, ma ciò produrrebbe solo due campioni interi. In alternativa,
potremmo iniziare con i primi 1000 giorni, poi i 1000 giorni a partire dal secondo giorno e così via. Invece,
optiamo per un terzo approccio: campionamento casuale semplice. Iniziamo con i dati di 11 anni,
6
consideriamo ogni giorno in esso, uno dopo l'altro, e selezioniamo o non selezioniamo ogni giorno in modo
casuale indipendente. (Si noti che questo tipo di campionamento distrugge la natura di serie temporale dei
nostri dati originali, poiché le osservazioni nei campioni non sono necessariamente giorni adiacenti. Ciò va
bene se la variabile di interesse, i rendimenti giornalieri, è indipendente tra i giorni nei dati originali:
qualunque sia il rendimento di un giorno non ha nulla a che fare con qualsiasi altro giorno, incluso il giorno
precedente o il giorno successivo. Si scopre che c'è una certa dipendenza tra i rendimenti giornalieri, ma è
molto debole e la ignoreremo in questo esercizio.)
Quindi è quello che abbiamo fatto, abbiamo preso molti campioni casuali di 1000 giorni e calcolato la quota
percentuale di giorni con una perdita del 5%+ in ogni campione. La potenza di questo esercizio sta nel fatto
che possiamo farlo molte volte, creando molti campioni ripetuti dalla stessa popolazione.
La figura 5.2 mostra l'istogramma creato dai 10.000 campioni casuali, ciascuno con 1000 osservazioni, estratti
dall'intero dataset. Per ciascuno di questi 10.000 campioni, abbiamo calcolato la percentuale di giorni con
perdite pari o superiori al 5%; queste sono le stime delle statistiche. L'istogramma mostra la frequenza
assoluta (su 10.000) dei vari valori delle stime nei campioni ripetuti.

L'istogramma mostra una distribuzione che ha una certa dispersione: in alcuni campioni nessuno dei giorni
ha subito tali perdite (0%); in altri campioni fino al 2% dei giorni. La maggior parte dei valori è più vicina allo
0.5%. Infatti, la media di questi valori nei campioni ripetuti è dello 0.5%, molto vicina al valore reale nell'intero
set di dati di 11 anni che intendiamo stimare (la differenza è nella seconda cifra decimale).
La deviazione standard di questa distribuzione campionaria è 0.2. Ciò significa che in un campione particolare,
possiamo aspettarci di essere dello 0,2% fuori dalla media nei campioni che come abbiamo visto, è anche
uguale al valore reale. Questo è l'errore standard della statistica di interesse (la frazione di 5%+perdite).
La terza cosa da notare su questa distribuzione campionaria è la sua forma. L'istogramma mostra una
distribuzione a campana, o approssimativamente normale (vedere Capitolo 3, Sotto il cofano, sezione 3.U1.)

5.3 Properties of the Sampling Distribution

Come abbiamo introdotto nella sezione precedente, la distribuzione campionaria di una statistica è la
distribuzione di questa statistica su campioni ripetuti. La distribuzione campionaria ha tre importanti
proprietà che sono vere in generale. (Per essere più precisi, sono vere ogni volta che la statistica è una
media.) Queste proprietà sono:
7
1. La media dei valori nei campioni ripetuti è approssimativamente uguale al suo valore reale (il valore
nell'intera popolazione, o modello generale, rappresentato dai nostri dati).
2. La distribuzione campionaria è approssimativamente normale.
3. L'errore standard (la deviazione standard della distribuzione campionaria) è più piccolo quanto più
grande è il campione, con un fattore di proporzionalità della radice quadrata della dimensione del
campione.

La prima proprietà è chiamata imparzialità: la media calcolata da un campione rappresentativo è una stima
imparziale della media nell'intera popolazione.

La seconda proprietà è chiamata normalità asintotica, o normalità approssimativa. L'aggettivo

"approssimativo" significa che la distribuzione è vicina alla normalità. L'aggettivo "asintotico" significa che
più grande è il campione, più la distribuzione è vicina alla normalità. Osservando campioni sempre più grandi,
più la distribuzione campionaria è vicina alla normalità.

La terza proprietà è chiamata convergenza radice-n: l'errore standard (la deviazione standard della
distribuzione campionaria) è inversamente proporzionale alla radice quadrata della dimensione del
campione. Osservando campioni sempre più grandi, la deviazione standard è sempre più piccola della radice
quadrata della dimensione del campione.

Una conseguenza della convergenza radice-n è che la deviazione standard è molto piccola in campioni molto
grandi. Portando questo al suo estremo matematico, osservando campioni infinitamente grandi, la
deviazione standard si riduce a zero. In quel caso estremo ipotetico, la distribuzione campionaria non è
realmente una distribuzione, ma produce lo stesso valore in praticamente tutti i campioni ripetuti.

Poiché la distribuzione campionaria è approssimativamente normale, sappiamo che i valori misurati

rientrano in più o meno due errori standard (SE) della verità circa il 95% delle volte. Allo stesso modo,
sappiamo che rientrano in più o meno 1,6 SE della verità con una probabilità del 90% e in 2,6 SE con una
probabilità del 99%.
In realtà, non possiamo osservare la distribuzione campionaria. Se lo facessimo, sapremmo qual è il valore
reale: sarebbe solo il suo centro, la media della distribuzione campionaria. Invece, osserviamo dati che sono
uno dei tanti potenziali campioni che avrebbero potuto essere estratti dalla popolazione o dal modello
generale. Tuttavia, si scopre che possiamo avere un'idea molto buona di come apparirebbe la distribuzione
campionaria anche da un singolo campione. Non saremo in grado di individuare il suo centro. Ma con
strumenti appropriati, otterremo una stima abbastanza buona dell'errore standard. E con questo, saremo in
grado di elaborare un intervallo di dove potrebbe essere il valore reale, utilizzando la nostra conoscenza che
la distribuzione campionaria è approssimativamente normale.

Riquadro di revisione 5.3 Proprietà della distribuzione campionaria

• La distribuzione campionaria di una statistica che può essere espressa come media ha tre proprietà:

1. La sua media è approssimativamente uguale al valore vero.

2. È approssimativamente normale.

3. La sua deviazione standard è inversamente proporzionale alla radice quadrata della dimensione del
campione.

• Queste proprietà sono approssimative; l'approssimazione è migliore quanto più grande è il campione.

8
5.A3 CASE STUDY – What Likelihood of Loss to Expect on a Stock
Portfolio?
Sampling distribution with different sample sizes

Possiamo svolgere esercizi di simulazione simili con diverse dimensioni del campione. Ad esempio, diamo
un'occhiata a campioni di 500 giorni, la metà di quelli che avevamo in precedenza. La distribuzione della
frazione di giorni con perdite pari o superiori al 5% è riassunta dai due istogrammi mostrati insieme nella
Figura 5.3. Gli istogrammi hanno gli stessi bin; all'interno di ciascun bin, mostrano il numero di estrazioni (su
10.000) per cui la stima (la proporzione di giorni con grandi perdite) rientra nel bin. Ad esempio, nel bin (0.8,
1), abbiamo 512 casi per l'esercizio N = 1000 e 1250 casi per l'esercizio N = 500 con valori di 0.8 o 1.

Le figure mostrano che, con 500 osservazioni, la maggior parte delle stime si trova nei bin più piccoli e più
grandi, e meno stime si trovano nei bini intermedi, rispetto a 1000 osservazioni.
La media delle due distribuzioni campionarie è molto simile, circa lo 0.5%, ma la distribuzione che corrisponde
al campione più piccolo è più distribuita. La deviazione standard delle stime delle frazioni tra i campioni
ripetuti è 0.3 per 500 osservazioni, ed è 0.2 per 1000 osservazioni.
Entrambe le distribuzioni sono approssimativamente a forma di campana, con una certa asimmetria con una
coda destra più lunga. La distribuzione del campione più piccolo (500 osservazioni) è più asimmetrica.
Ricorda che le principali proprietà della distribuzione campionaria sono l'imparzialità, la normalità
approssimativa (asintotica) e la convergenza radice-n. I risultati in questo esercizio di simulazione sono in
linea con tali proprietà. Ricorda inoltre che le proprietà sono valide se la statistica è una media. La nostra
statistica risulta adattarsi a quel criterio. La percentuale di giorni con una perdita del 5%+ è la media di una
variabile indicatrice binaria con un valore di uno in tutti i giorni con una perdita del 5%+ e un valore di zero
in tutti gli altri giorni (la media è 0.5% o 0.005 nei nostri dati).
Una nota a margine: come può allora la frazione di perdite del 5%+ essere distribuita normalmente su
campioni ripetuti quando non può mai essere negativa? La risposta è che la distribuzione normale non è mai
letteralmente vera. Invece, è sempre un'approssimazione. Presa alla lettera, la distribuzione normale
consentirebbe non solo valori negativi ma anche valori irrazionali come pi greco o la radice quadrata di due.
I rendimenti sui portafogli non assumono nemmeno questi valori, almeno non nel modo in cui li definiamo.
La domanda è quanto la distribuzione sia vicina a questa distribuzione normale ideale. Tornando
all'istogramma della distribuzione campionaria con N = 1000, possiamo vedere che è abbastanza vicina.
9
Quindi dire che la distribuzione è approssimativamente normale può avere senso anche se non può essere
letteralmente normale.

5.4 The Confidence Interval

L'intervallo di confidenza (CI) è la misura più importante dell'inferenza statistica. Ricorda che utilizziamo
l'inferenza statistica quando analizziamo un set di dati per dedurre il valore reale di una statistica: il suo valore
nella popolazione, o modello generale, rappresentato dai nostri dati. L'idea di un CI è di indicarci un intervallo
in cui possiamo aspettarci che rientri il valore reale nella popolazione, o modello generale. Ancora di più:
l'idea del CI è di fornirci un intervallo in cui possiamo aspettarci che rientri il valore reale con una certa
probabilità. Tale probabilità è qualcosa che gli analisti di dati devono scegliere. Le scelte di probabilità tipiche
sono il 95% o il 90%. Il "95% CI" fornisce l'intervallo di valori in cui pensiamo che il valore reale rientri con una
probabilità del 95%. Dice anche che pensiamo che con una probabilità del 5%, il valore reale rientrerà
all'esterno dell'intervallo di confidenza.
Bene, questo è almeno ciò che vorremmo che il CI ci dicesse. Le cose sono un po' più complicate, ma
discuteremo di queste complicazioni nella Sezione 5.5. L'intervallo di confidenza è costruito come un
intervallo simmetrico attorno al valore stimato della statistica nei nostri dati. Calcoliamo prima il valore
stimato della statistica nei nostri dati. Quindi specifichiamo la lunghezza del CI sui due lati del valore stimato.
Ma come facciamo a sapere la lunghezza del CI appropriato? Si scopre che la chiave è l'errore standard (SE):
l’SE è l'unità di misura generale quando si costruiscono intervalli di confidenza. Il CI al 95% appropriato è
l'intervallo SE ±2 o più precisamente, 1.96 SE attorno alla stima dai dati. Il CI al 90% appropriato è l'intervallo
SE ±1.6 attorno alla stima dai dati; e il CI al 99% appropriato è l'intervallo SE ±2,6 attorno ad esso.
In pratica non conosciamo la distribuzione campionaria, quindi non conosciamo l'errore standard
appropriato. Quindi dobbiamo stimarlo in qualche modo: arrivare a una buona ipotesi usando i dati che
abbiamo.
Le due sezioni successive descrivono due approcci che forniscono buone stime del SE. Prima di discuterne,
dedichiamo un po' di tempo a capire perché il CI costruito in questo modo può dirci dove aspettarci il valore
reale.
Ecco un argomento intuitivo. Supponiamo di conoscere la distribuzione campionaria. L'istogramma della
distribuzione campionaria mostra la frequenza di valori particolari delle stime su campioni ripetuti dalla
stessa popolazione (o modello generale). Il novantacinque percento di tutte le stime rientra in due errori
standard dal suo centro (±2 SE). Ora prendi qualsiasi valore all'interno di quell'intervallo. Misura l'intervallo
di confidenza del 95% attorno a questo valore: è ±2 SE. Il centro della distribuzione campionaria sarà
all'interno di questo intervallo. Ricorda che il centro della distribuzione campionaria è il valore reale. Quindi,
il valore reale sarà all'interno dell'intervallo finché lo misuriamo attorno a un punto entro ±2 SE dal centro.
Se dovessimo misurare lo stesso intervallo attorno a punti al di fuori di quell'intervallo, il valore reale non
sarebbe contenuto in esso. La frazione dei campioni per cui questo intervallo contiene il valore reale è il 95%;
la frazione dei campioni per cui questo intervallo non contiene il valore vero è del 5%. Ecco perché questo è
il CI al 95% che stiamo cercando: questo intervallo contiene la verità nel 95% delle volte tra i campioni ripetuti.
Visto dalla prospettiva di un singolo campione, la probabilità che la verità sia all'interno del CI misurato
attorno al valore stimato da quel singolo campione è del 95%.

5.A4 CASE STUDY – What Likelihood of Loss to Expect on a Stock

Portfolio?
Repeated samples and confidence interval

Torniamo al nostro esempio di simulazione di campioni ripetuti di 1000 giorni in cui la statistica è la
proporzione di giorni con perdite del 5% o più. Se conosciamo la distribuzione campionaria di questa
proporzione, conosciamo la sua deviazione standard. Questo è l'errore standard (SE) e il suo valore è 0.2 qui.
10
La media della distribuzione campionaria è 0.5. Quindi, la frazione di giorni con perdite del 5% o più è
compresa tra 0.1 e 0.9% nel 95% dei campioni (0.5 ± 2 × 0.2).
Ricordiamo che questa distribuzione campionaria è da campioni di 1000 giorni. Se, invece di 1000 giorni,
misurassimo la frazione di giorni di perdita del 5%+ in campioni di 500 giorni, l'SE sarebbe 0.3; la frazione di
giorni con perdite pari o superiori al 5% sarebbe compresa tra 0 e 1.1% nel 95% dei campioni (0.5 ± 2×0.3 e
riconoscendo che la frazione non può essere negativa, quindi il limite inferiore è zero).

5.5 Discussion of the CI: Confidence or Probability?

Dopo aver introdotto l'intervallo di confidenza e come possiamo calcolarlo se conosciamo l'SE, discutiamo un
po' di più su cosa intendiamo esattamente per CI. Si scopre che ci sono due grandi balzi nel ragionamento
intuitivo che abbiamo presentato nella sezione precedente. Il primo è concettuale. La probabilità del 95%
che una statistica sia compresa in un intervallo in un campione particolare è la frequenza del 95% che si
verificherebbe in campioni ripetuti. Questa probabilità è quindi una frequenza relativa. Al contrario, la nostra
"fiducia del 95%" che il valore reale sia compreso in un intervallo non ha una frequenza corrispondente da
considerare. La popolazione, o modello generale, non si ripete. Piuttosto, questa fiducia del 95% caratterizza
il nostro personale sentimento di incertezza. Ecco perché la chiamiamo "fiducia" e non probabilità. Ma
affinché l'argomentazione funzioni, quella fiducia deve essere una probabilità, anche se non può essere
definita attraverso le frequenze. È una "probabilità soggettiva", un concetto che abbiamo menzionato
quando abbiamo discusso per la prima volta le probabilità nel Capitolo 3, Sezione 3.2. Il secondo salto si basa
sul primo e assume la confidenza del 95% come probabilità. In tal caso, si tratta di una probabilità
condizionata: la probabilità che il valore reale sia compreso in un intervallo condizionato al valore stimato.
Questa probabilità condizionata è l'inverso della probabilità che il valore stimato rientri in un intervallo
condizionato al valore reale. È quest'ultima probabilità che possiamo ricavare dalla distribuzione di
campionamento approssimativamente normale. E come abbiamo discusso nella sezione 4.U1 di Sotto il
cofano del Capitolo 4, le probabilità condizionali inverse non sono uguali in generale. Qui, affinché le due
siano uguali, dobbiamo supporre che senza i dati non avremmo idea di quale potrebbe essere il valore reale.
In particolare, non abbiamo alcuna conoscenza pregressa, o anche solo un'ipotesi, del valore reale. Nota che,
il più delle volte, abbiamo qualche idea del valore reale: il prezzo medio di auto come la nostra non può
essere nulla, la frazione di giorni con grandi perdite è improbabile che sia molto alta e così via. Tuttavia, di
solito andiamo avanti e interpretiamo l'intervallo di confidenza come se non ne avessimo idea in anticipo.
La statistica bayesiana, un ramo della statistica che abbiamo menzionato in precedenza nella Sezione 5.1,
prende sul serio queste questioni. Si basa sul presupposto che gli analisti possano quantificare le loro idee
precedenti e ne tengano conto per l'inferenza. In questo libro non trattiamo la statistica bayesiana. Invece,
costruiamo e interpretiamo gli intervalli di confidenza come fanno la maggior parte degli analisti di dati,
mantenendo il presupposto dell'inferenza statistica classica: come analisti affrontiamo ogni problema di
inferenza con una mente completamente aperta su quale possa essere il valore reale. Finora tutto questo è
solo teoria. Non possiamo elaborare un CI in pratica a meno che non conosciamo l'errore standard, ma non
possiamo conoscerlo esaminando la distribuzione di campioni ripetuti poiché osserviamo solo uno di quei
campioni ripetuti. Tuttavia, la statistica offre non una ma due soluzioni per fare una buona ipotesi dell'errore
standard da quel singolo campione. Entrambe le soluzioni sono piuttosto ingegnose, ma nessuna delle due è
semplice da capire. Alcuni di noi sosterrebbero che queste soluzioni sono tra le cose che rendono la statistica
entusiasmante, potremmo dire, bella.

5.6 Estimating the Standard Error with the Bootstrap Method

Ricorda il nostro studio di simulazione: abbiamo preso molti campioni della stessa dimensione dai dati
originali per costruire la distribuzione campionaria della statistica che stavamo cercando. Abbiamo introdotto
tre importanti proprietà della distribuzione campionaria: imparzialità, convergenza radice-n e normalità
approssimativa (asintotica). Abbiamo illustrato come ottenere una distribuzione campionaria con l'aiuto di
11
un esempio artificiale: il vero valore di una statistica da scoprire era in realtà il suo valore nell'intero set di
dati. Volevamo vedere la distribuzione campionaria delle stime di questo vero valore da dati con meno
osservazioni. Ma quella era una situazione artificiale. In pratica esaminiamo tutti i dati che abbiamo e
vorremmo scoprire la distribuzione campionaria di una statistica in campioni simili a quei dati. In particolare,
vogliamo la distribuzione campionaria di campioni della stessa dimensione dei dati originali, che
rappresentano tutti la stessa popolazione o, più in generale, lo stesso schema generale. Il bootstrap è un
metodo per ottenere proprio questo: crea la distribuzione campionaria su campioni ripetuti che sono
rappresentativi della stessa popolazione, o modello generale, dei dati originali e hanno anche la stessa
dimensione. Il metodo bootstrap estende la logica dell'esercizio di simulazione per estrarre campioni usando
i dati che abbiamo, e quei campioni hanno la stessa dimensione dei dati originali ma sono diversi da essi.
Potremmo pensare che questo dovrebbe essere impossibile, proprio come è impossibile tirarsi fuori dalla
palude con i bootstrap. Da qui il nome del metodo. Si scopre, tuttavia, che il trucco è possibile qui. Il metodo
bootstrap prende i dati originali ed estrae molti campioni ripetuti della dimensione di quei dati. Il trucco è
che i campioni vengono estratti con sostituzione. Le osservazioni vengono estratte casualmente una alla volta
dai dati originali; una volta che un'osservazione viene estratta, viene "sostituita" nel pool in modo che possa
essere estratta di nuovo, con la stessa probabilità di qualsiasi altra osservazione. L'estrazione si interrompe
quando il campione raggiunge la dimensione dei dati originali. Il risultato è un campione della stessa
dimensione dei dati originali, che produce un singolo campione bootstrap. Questo campione bootstrap
include alcune delle osservazioni originali più volte e non include alcune delle altre osservazioni originali.
Forse sorprendentemente, in dati moderatamente grandi, più di un terzo delle osservazioni originali nei dati
non finisce in un tipico campione bootstrap. Ripetendo questo campionamento molte volte, il metodo
bootstrap crea molti campioni ripetuti che sono diversi l'uno dall'altro, ma ognuno ha le stesse dimensioni
dei dati originali. Il miracolo del bootstrap è che la distribuzione di una statistica su questi campioni bootstrap
ripetuti è una buona approssimazione della distribuzione campionaria che stiamo cercando: come
apparirebbe la distribuzione su campioni simili ai dati originali.

Il metodo bootstrap funziona se la variabile che consideriamo è indipendente tra le osservazioni: il suo valore
non è correlato ai suoi valori precedenti o successivi. Campionando le osservazioni una alla volta e quindi
12
sostituendole nel pool per essere eventualmente estratte di nuovo, distruggiamo le relazioni prima-dopo nei
dati originali. Ciò non è un problema se non c'è alcuna relazione tra le osservazioni, il che è vero nella maggior
parte dei dati trasversali. Se c'è una relazione importante, come in molti tipi di dati di serie temporali, questo
metodo bootstrap non funziona. (Alcune variabili di serie temporali possono essere indipendenti tra le
osservazioni, come nel nostro caso di studio.) Si noti che ci sono metodi bootstrap più sofisticati che
funzionano con i dati di serie temporali preservando le relazioni tra le osservazioni, ma non li consideriamo
in questo libro di testo.
Poiché la distribuzione di una statistica tra i campioni bootstrap è una buona approssimazione della
distribuzione campionaria, fornisce anche una buona approssimazione dell'errore standard. La stima
bootstrap dell'errore standard è la deviazione standard dei valori stimati della statistica tra i campioni
bootstrap. Una volta ottenuto l'errore standard, abbiamo tutto ciò che ci serve per costruire l'intervallo di
confidenza di nostra scelta. Per prima cosa, prendiamo il valore della statistica stimato dai dati originali. In
secondo luogo, prendiamo l'errore standard calcolato con il bootstrap. Utilizzando questi due numeri,
calcoliamo l'intervallo di confidenza, ad esempio prendendo ±2 SE per il 95% CI.
Il bootstrap si basa su un'idea intelligente ma concettualmente semplice. È computazionalmente intensivo:
il computer deve effettuare molte estrazioni casuali, calcolare il valore stimato della statistica su molti
campioni, memorizzare tali risultati e quindi calcolare la deviazione standard. Tutto ciò viene fatto dalla
macchina, quindi potrebbe richiedere del tempo, ma non è il tempo dell'analista dei dati.
Se il bootstrap sembra un miracolo, qualcosa di troppo bello per essere vero, è perché c'è qualcosa di vero.
Il bootstrap ha effettivamente i suoi limiti, oltre all'indipendenza di cui abbiamo discusso sopra. Ad esempio,
tende a fornire stime di errore standard molto scarse in presenza di valori estremi. Infatti, se i dati hanno
valori molto estremi, come nella distribuzione power-law, le stime dell'errore standard sono decisamente
troppo piccole e molto fuorvianti. Inoltre, il bootstrap può produrre scarse stime dell'errore standard in
piccoli campioni se la statistica non è la media ma la mediana o qualche altro quantile. Allo stesso tempo, ci
sono molte estensioni del bootstrap che possono gestire alcuni dei suoi problemi. In questo libro di testo ci
concentriamo sulla media e sulle statistiche correlate di variabili che sono indipendenti tra le osservazioni:
situazioni che sono adatte per la stima dell'errore standard bootstrap.
Si scopre che il vantaggio più grande della stima SE con il metodo bootstrap è che, in grandi set di dati, ci
consente di stimare intervalli di confidenza per statistiche diverse dalle medie. Ciò include quantili o funzioni
non lineari delle medie. Questo è un grande vantaggio poiché l'altro metodo, di cui parleremo nella prossima
sezione, non è disponibile per molte di quelle statistiche.

Riquadro di revisione 5.4 Il metodo bootstrap

• Il bootstrap è un metodo per generare campioni che rappresentano la stessa popolazione, o modello
generale, dei nostri dati originali e hanno anche la stessa dimensione.
• Ogni campione bootstrap è un campione casuale dai dati originali con sostituzione. La procedura
bootstrap genera molti di questi campioni, approssimando la distribuzione campionaria di una statistica.
• Utilizziamo il metodo bootstrap per ottenere l'errore standard (SE) della stima di una statistica: è la
deviazione standard del valore stimato della statistica nei campioni bootstrap.

5.A5 CASE STUDY – What Likelihood of Loss to Expect on a Stock

Portfolio?
Bootstrap standard error estimation

Tornando al nostro esempio, il compito è stimare l'intervallo di confidenza per la proporzione di giorni con
grandi rendimenti negativi. Innanzitutto, stimiamo quella proporzione dai dati: l'abbiamo già fatto, è dello
0.5%. Il secondo passaggio è stimare il suo errore standard. Il terzo passaggio è misurare più e meno due
errori standard attorno a quel valore dello 0.5%. Il risultato sarà l'IC del 95% che ci dice dove aspettarci la
13
maggior parte dei giorni con grandi rendimenti negativi nel modello generale rappresentato dai nostri dati.
Stimiamo l'errore standard tramite bootstrap. Applichiamo la procedura bootstrap che abbiamo studiato che
è applicabile per variabili che sono indipendenti tra le osservazioni. Come abbiamo notato in precedenza,
sembra esserci una certa dipendenza in questi dati ma è debole e la ignoriamo. Quindi la procedura è la
seguente. Prendi i dati originali e estrai un campione bootstrap. Calcola le proporzioni di giorni con una
perdita del 5%+ in quel campione. Salva quel valore. Quindi torna ai dati originali e prendi un altro campione
bootstrap. Calcola la proporzione di giorni con una perdita del 5%+ e salva anche quel valore. E così via,
ripetuto più volte. Alla fine, ci ritroviamo con una nuova tabella dati, in cui un'osservazione rappresenta un
campione bootstrap e l'unica variabile in essa contenuta è la proporzione stimata per ogni campione
bootstrap. L'errore standard che stiamo cercando è semplicemente la deviazione standard di quei valori
stimati in questi nuovi dati. Abbiamo creato 10.000 campioni bootstrap dai dati originali. Ogni campione
bootstrap aveva 2519 osservazioni proprio come i dati originali. Abbiamo calcolato la stima della statistica in
ognuno: la proporzione di giorni con una perdita del 5%+. Il suo valore variava nei campioni bootstrap, da un
minimo dello 0,1% a un massimo dell'1,2%. In media, il valore della statistica era 0.5, uguale al suo valore nei
dati originali. La mediana è uguale alla media, indicando una distribuzione simmetrica. La Figura 5.5 mostra
la distribuzione bootstrap: la distribuzione campionaria della frazione di giorni con perdite del 5%+ nei 10.000
campioni bootstrap. L'istogramma mostra una distribuzione a campana, come dovrebbe.

L'obiettivo di questo esercizio era di ottenere l'errore standard della statistica, che è la deviazione standard
tra i campioni bootstrap. Qui quel valore è 0.14: questa è la stima dell'errore standard bootstrap. Con la stima
dell'errore standard a portata di mano, siamo pronti a costruire l'intervallo di confidenza. L'intervallo di
confidenza del 95% è 0,5% ± 2 × 0,14%, che è [0,22%, 0,78%] utilizzando valori arrotondati alla seconda cifra
decimale. La sua interpretazione: nel modello generale rappresentato dalla cronologia di 11 anni dei
rendimenti nei nostri dati, possiamo essere sicuri al 95% che la probabilità di perdite giornaliere superiori al
5% sia compresa tra lo 0.22% e lo 0.78%.

5.7 The Standard Error Formula

Il metodo bootstrap ricostruisce l'intera distribuzione campionaria e calcola l'errore standard direttamente
da tale distribuzione. In questa sezione mostriamo un approccio alternativo: utilizzare una formula per
l'errore standard, senza la necessità di simulare l'intera distribuzione campionaria tramite bootstrap o

14
qualsiasi altro metodo. Il caso che consideriamo è una variabile il cui valore è indipendente tra le osservazioni
nei dati, proprio come per il bootstrap. La statistica che consideriamo è la media. In questo caso sappiamo
che la distribuzione campionaria è approssimativamente normale, con il valore vero come media. Abbiamo
visto che l'errore standard, che è la deviazione standard della distribuzione campionaria, dipende dalla
dimensione del campione.
Abbiamo chiamato questa dipendenza convergenza radice n, poiché l'errore standard diminuisce della radice
quadrata della dimensione del campione.
Esiste una formula relativamente semplice per l'errore standard (SE) della media (𝑥̅ ). La formula include il
fattore radice-n e solo un altro elemento. (𝑥̅ ) è il valore medio di x nel campione; è la stima del valore vero
medio di x nel modello generale (o nella popolazione).
La formula dell'errore standard per (𝑥̅ ) è
1
𝑆(𝐸) = 𝑆𝑡𝑑[𝑥]
√𝑛
(5.1)
dove Std[x] è la deviazione standard della variabile nei dati (la radice quadrata della sua varianza) e n è il
numero di osservazioni nei dati. Sottolineiamo ancora una volta che questa formula è valida se i valori di x
sono indipendenti tra le osservazioni nei dati. Esistono formule SE corrispondenti per variabili con dipendenza
tra le osservazioni. Ne prenderemo in considerazione alcune nei capitoli 9, 12 e 23 di questo libro di testo.
L'errore standard è maggiore quanto più piccolo è il campione e quanto maggiore è la deviazione standard
della variabile. La prima di queste la conosciamo già è la convergenza radice-n. La seconda è nuova. La
relazione tra SE(𝑥̅ ) e Std[𝑥̅ ] non è ovvia, ma ha un senso intuitivo. Ricorda che l'errore standard di 𝑥̅ è la
deviazione standard delle varie stime di ̅𝑥 tra campioni ripetuti. Maggiore è la deviazione standard di x
stessa, maggiore è la variazione che possiamo aspettarci in 𝑥̅ tra campioni ripetuti. All'estremo, se x è sempre
lo stesso in modo che Std[x] = 0, anche il suo valore medio stimato in vari campioni ripetuti dovrebbe essere
lo stesso, in modo che SE(¯x) = 0.
La formula dell'errore standard è integrata in tutti i pacchetti statistici. Pertanto, raramente la calcoliamo
usando la formula noi stessi. Tuttavia, pensiamo che sia istruttivo memorizzare questa semplice formula per
l'intuizione che contiene.
Riquadro di revisione 5.5 La formula dell'errore standard
• La formula dell'errore standard della stima di una media è
1
𝑆(𝐸) = 𝑆𝑡𝑑[𝑥]
√𝑛
(5.2)
• Questa formula fornisce una buona stima dell'errore standard se i valori di x sono indipendenti tra le
osservazioni nei dati.
̅̅̅̅ è maggiore se:
• SE(𝑥)
◦ il numero di osservazioni n è piccolo;
◦ la deviazione standard della variabile, Std[x], è maggiore.

5.A6 CASE STUDY – What Likelihood of Loss to Expect on a Stock

Portfolio?
The standard error formula

Consideriamo il nostro esempio di dati di 11 anni sui rendimenti giornalieri del portafoglio S&P500. La
dimensione del campione è n = 2519, quindi √(1/n) = 0.02. La deviazione standard della frazione di
5%+perdite è 0,07. Moltiplicando 0.07 per 0.02 si ottiene 0,0014, ovvero 0.14%. Questo è lo stesso numero
che abbiamo ottenuto dall'esercizio bootstrap. Con lo stesso SE del bootstrap, anche il CI e la sua
interpretazione sono gli stessi: il CI del 95% è [0.22, 0.78]. Ciò significa che nel modello generale

15
rappresentato dalla cronologia di 11 anni dei rendimenti nei nostri dati, possiamo essere sicuri al 95% che le
perdite giornaliere superiori al 5% si verifichino con una probabilità dallo 0.2% allo 0.8%.

5.8 External Validity

L'intervallo di confidenza riassume l'incertezza sul valore reale della statistica nella popolazione, o il modello
generale, che i nostri dati rappresentano. Una parte importante dell'inferenza è definire la popolazione, o
modello generale, che ci interessa, e valutare quanto sia vicina alla popolazione, o modello generale, che i
nostri dati rappresentano. Come abbiamo introdotto in precedenza nella Sezione 5.1, la validità esterna è il
concetto che cattura la somiglianza di quei due modelli generali. Diciamo che la validità esterna è alta quando
i due sono uguali. Quando i due modelli generali sono molto diversi, diciamo che la validità esterna è bassa.
Con un'elevata validità esterna, l'intervallo di confidenza cattura tutta l'incertezza sulla nostra stima.
Con una bassa validità esterna, non lo fa. Con una bassa validità esterna, è probabile che la nostra stima della
statistica sia sbagliata con una probabilità maggiore di quella suggerita dall'intervallo di confidenza. Quanto
più grande è molto difficile da quantificare. Pertanto, di solito descriviamo quell'incertezza extra solo in
termini qualitativi. Ad esempio, potremmo dire che l'IC cattura tutta o la maggior parte dell'incertezza
quando crediamo che la validità esterna sia alta. Al contrario, quando crediamo che la validità esterna sia
bassa, diciamo che il valore stimato potrebbe essere sbagliato con una probabilità maggiore di quanto
suggerito dal CI.
La validità esterna è importante quanto l'inferenza statistica. Tuttavia, non è una questione statistica.
Con ciò intendiamo che i metodi di analisi dei dati e le statistiche non possono essere utilizzati per valutarla
in modo diretto. Invece, abbiamo bisogno di una conoscenza sostanziale delle situazioni. Alcune analisi dei
dati possono aiutare in quella valutazione, come il benchmarking delle variabili per le quali abbiamo alcune
informazioni nella popolazione a cui teniamo (il benchmarking è stato introdotto nel Capitolo 1, Sezione 1.7).
Ma quei metodi non possono mai valutare completamente la validità esterna.
Le sfide più importanti alla validità esterna possono essere raccolte in tre gruppi: tempo, spazio e sottogruppi.
Visti da una prospettiva più astratta, tutti e tre riguardano la stabilità del modello generale, tra quello
rappresentato dai nostri dati e quello a cui teniamo.
Innanzitutto, la stabilità nel tempo. I dati che analizziamo provengono sempre dal passato, mentre la
situazione a cui teniamo è quasi sempre nel futuro. Pertanto, per generalizzare dai dati, dobbiamo supporre
che il modello generale che era rilevante in passato rimarrà rilevante per il futuro. In molte applicazioni, c'è
molta stabilità. L'impatto della pioggia e della temperatura sui raccolti è piuttosto stabile da un anno all'altro
(anche se i modelli meteorologici possono cambiare). Allo stesso tempo, qualsiasi cosa preveda il successo
delle aziende in un settore in passato può essere diversa da ciò che predice il loro successo in futuro
(regolamenti, relazioni commerciali, tecnologia e l'intero clima aziendale possono cambiare). Un problema
specifico con il tempo è il verificarsi di valori estremi. I nostri dati potrebbero essere privi di valori estremi
perché alcuni eventi estremi molto rari potrebbero non essersi verificati nel periodo storico che i nostri dati
rappresentano. Tuttavia, ciò non implica che un evento estremo così raro non possa verificarsi nel futuro a
cui teniamo.
In secondo luogo stabilità nello spazio. I dati che analizziamo possono provenire da un paese, una regione o
una città diversa dalla situazione che ci interessa. Il gusto e il comportamento delle persone possono variare,
così come il contesto storico o l'infrastruttura dei trasporti. Se ciò significhi che il modello generale di
interesse varia nello spazio è una questione importante. Ad esempio, le differenze di genere nei guadagni
possono differire da paese a paese; la misura in cui una migliore gestione è associata all'esportazione verso i
mercati esteri può essere più stabile tra i paesi. Terzo stabilità tra i sottogruppi. Un modello può essere forte
tra un gruppo di persone, ma potrebbe non esserlo per persone in gruppi professionali, di età, di genere,
culturali o di reddito diversi. Ad esempio, un esperimento può dimostrare che lavorare da casa rende i
dipendenti più produttivi e meno propensi a lasciare un'azienda nel settore dei servizi in Cina (questo sarà il

16
nostro caso di studio nel capitolo 20). Lavorare da casa avrebbe effetti simili su contabili o programmatori in
un'azienda IT cinese?

Riquadro di revisione 5.6 Validità esterna dei risultati dell'analisi dei dati

• La validità esterna dei risultati dell'analisi dei dati riguarda il modo in cui tali risultati si generalizzano alla
popolazione, o modello generale, che ci interessa, dalla popolazione o modello generale che i nostri dati
rappresentano.

• Quando i risultati sono vicini nel modello generale che i nostri dati rappresentano e nel modello generale
che ci interessa, diciamo che la validità esterna dell'analisi è alta. Quando i due sono lontani, diciamo che la
sua validità esterna è bassa.

5.A7 CASE STUDY – What Likelihood of Loss to Expect on a Stock

Portfolio?
External validity

L'intervallo di confidenza del 95% della probabilità di una perdita giornaliera superiore al 5% era [0.2, 0.8]
percento nel nostro esempio. È qui che è probabile che si trovi la probabilità di tali perdite nel modello
generale rappresentato dai nostri dati.
Il modello generale rappresentato dai nostri dati è come sono andate le cose negli 11 anni coperti dai nostri
dati; il modello generale che ci interessa rappresenta come andranno le cose nell'anno a venire.
La validità esterna dell'intervallo di confidenza del 95% è alta se l'anno futuro sarà come gli ultimi 11 anni in
termini di modello generale che determina i rendimenti del nostro portafoglio di investimenti. Con un'elevata
validità esterna, questo intervallo di confidenza ci direbbe dove aspettarci la probabilità di una perdita del
5%+ nell'anno a venire.
Tuttavia, la validità esterna potrebbe non essere così alta nel nostro caso. È difficile dire se l'anno prossimo
sarà come gli ultimi 11 anni. Anche se non abbiamo una ragione particolare per aspettarci che il futuro sia
sistematicamente diverso, non possiamo escluderlo. Ad esempio, i nostri dati del 2006-2016 includono la
crisi finanziaria e la grande recessione del 2008-2009. Non includono il boom e il crollo delle dotcom del 2000-
2001. Non abbiamo modo di sapere quale boom e quale crisi siano rappresentativi dei futuri boom e crisi a
venire.
Pertanto, ha senso considerare un intervallo più ampio per una perdita del 5%+ nel modello generale in
futuro. Quanto più ampio è impossibile da determinare tramite l'analisi dei dati. Ciò è abbastanza comune,
poiché non possiamo, in generale, mettere numeri sull'incertezza derivante da una bassa validità esterna.
Come minimo è buona norma considerare il 95% CI di [0.2, 0.8] troppo stretto. Le sane decisioni di
investimento basate sulla nostra analisi dovrebbero riconoscere che le perdite giornaliere superiori al 5%
possono avere una probabilità maggiore dello 0,8%, l'estremità superiore di questo intervallo.
Questo conclude il nostro caso di studio. La nostra domanda era la frequenza di una grande perdita che
possiamo aspettarci per il prossimo anno solare su un portafoglio di azioni aziendali rappresentato dall'indice
S&P500. Questo caso di studio ha illustrato come fare inferenza statistica in due modi, usando il bootstrap e
usando una formula per l'errore standard. I due metodi hanno dato lo stesso risultato, che è come dovrebbe
essere, ed è quasi sempre il caso quando la distribuzione della variabile non è molto distorta e non ha valori
estremi, la statistica è una media e il campione è sufficientemente ampio. Quindi abbiamo usato questo SE
per costruire un intervallo di confidenza del 95% per quantificare il grado di incertezza sul valore reale della
statistica: dove possiamo aspettarci la probabilità di una perdita del 5% o superiore potrebbe essere nel
modello generale che ha determinato la cronologia di 11 anni dei nostri dati. Prima di eseguire tale inferenza
statistica, abbiamo usato i dati di questo caso di studio per un esercizio di simulazione per illustrare il concetto
17
di campioni ripetuti. Infine, abbiamo illustrato il modo di pensare all'inferenza in generale: iniziare a pensare
alla validità esterna, procedere con l'inferenza statistica se c'è la possibilità che la validità esterna sia elevata,
e poi tornare alla domanda una volta completata l'analisi, per qualificarne i risultati nel caso in cui la validità
esterna non sia così elevata.
5.9 Big Data, Statistical Inference, External Validity
I Big Data e l'avanzare dell'informatica hanno cambiato il modo in cui conduciamo l'inferenza statistica in
diversi modi importanti. Ricordiamo che Big Data significa un gran numero di osservazioni o, meno spesso,
un gran numero di variabili. Il caso di molte variabili può rappresentare una sfida unica per l'inferenza e ne
parleremo nel Capitolo 6, Sezioni 6.8 e 6.10. Qui ci concentriamo sui Big Data con moltissime osservazioni.
Con moltissime osservazioni, gli intervalli di confidenza sono in genere molto stretti. Ciò dovrebbe essere
ovvio ormai, dal concetto più astratto di convergenza radice-n e dal ruolo più tangibile del numero di
osservazioni nella formula SE. Qualunque statistica stimiamo dai nostri Big Data, sarà molto vicina al suo vero
valore nella popolazione, o modello generale, che i nostri dati rappresentano. Pertanto, l'inferenza statistica
non è molto importante con tali Big Data. Nel caso in cui volessimo comunque eseguire l'inferenza statistica,
i progressi nell'informatica rendono molto più facile utilizzare metodi computazionalmente intensivi, come il
bootstrap, invece delle formule. In realtà, questo è più importante con i dati non così grandi. Con dati molto
grandi, il processo di bootstrap potrebbe richiedere molto tempo.
È importante tuttavia che i Big Data di per sé non cambino la necessità di valutare la validità esterna o il modo
di farlo. In particolare, la nostra analisi non ha una validità esterna più elevata solo perché abbiamo molte
osservazioni. La validità esterna non è influenzata dalle dimensioni del set di dati o dalla capacità di eseguire
una migliore inferenza statistica con metodi computazionalmente intensivi. Dal punto di vista della validità
esterna, avere moltissime osservazioni che rappresentano male il modello generale che stiamo cercando è
problematico tanto quanto avere poche osservazioni di questo tipo. In effetti, un set di dati rappresentativo
più piccolo potrebbe essere molto superiore a un enorme set di dati non rappresentativo.
Questo conclude il nostro capitolo che introduce le questioni concettuali della generalizzazione dai dati e i
metodi per eseguire l'inferenza statistica. Il capitolo successivo introduce la verifica delle ipotesi, un modo
per guardare la stessa questione da un'angolazione più specifica.

5.10 Main Takeaways

Generalizzare i risultati di un'analisi dai nostri dati di solito significa indovinare il valore di una statistica nella
popolazione o modello generale, che ci interessa.

• Il primo passo è calcolare l'intervallo di confidenza che può dire quale potrebbe essere il valore della
statistica nella popolazione o modello generale che i nostri dati rappresentano.

• Il secondo passo è valutare la validità esterna: quanto la popolazione o modello generale che ci interessa
è vicina alla popolazione o modello generale che i nostri dati rappresentano.

• Con i Big Data (N grande), l'inferenza statistica spesso non è interessante, ma la validità esterna rimane
importante.

DOMANDE DI PRATICA

1. Quando chiamiamo un rappresentante del campione ed è collegato al campionamento casuale?

2. Quali sono le due parti del processo di inferenza? Elencale, spiegale e fai un esempio con le due parti.

3. Quando diciamo che i risultati dell'analisi dei nostri dati hanno un'elevata validità esterna? Bassa validità
esterna? Fai un esempio per ciascuna.

18
4. Qual è la popolazione, o il modello generale, rappresentato dalle serie temporali mensili dei tassi di
disoccupazione in Cile tra il 2000 e il 2018?

5. Qual è la popolazione, o il modello generale, che rappresenta le serie temporali del PIL in Vietnam tra il
1990 e il 2020?

6. Ha senso creare un intervallo di confidenza per una statistica che hai calcolato utilizzando dati
transnazionali con tutti i paesi del mondo? In caso contrario, perché no? In caso affermativo, qual è
l'interpretazione di tale CI?

7. Cosa mostra l'intervallo di confidenza? Quali sono le probabilità tipiche utilizzate per loro? 8. La
percentuale di perdite giornaliere superiori al 2% su un portafoglio di investimenti è del 5% nei dati. Il suo
intervallo di confidenza è del [4,6] percento. Interpreta questi numeri.

9. Nei dati che sono un campione casuale della popolazione del tuo paese dell'anno scorso, gli analisti di
mercato trentenni guadagnano in media il 30% in più degli analisti di mercato venticinquenni. L'IC del 95% di
questa differenza è del [25,35] percento. Interpreta questi numeri.

10. Nell'esempio sopra, cosa puoi concludere sulla differenza salariale prevista tra analisti di mercato
trentenni e venticinquenni nel tuo paese tra cinque anni? In un paese diverso tra cinque anni?

11. Come stimeresti l'errore standard bootstrap della media di una variabile da dati trasversali?

12. Qual è la formula dell'errore standard per una media e cosa implica su ciò che rende l'SE più grande o più
piccolo? In base a quale ipotesi funziona questa formula? 13. Come si crea il CI del 95% di una statistica se si
conosce il suo SE? Come si crea il CI del 90%?

14. Indica due tipi di stabilità che sono sfide importanti per la validità esterna. Fornisci un esempio per
ciascuno quando è probabile che determinino una bassa validità esterna.

15. Hai scaricato i dati dal database World Development Indicators sul PIL pro capite e sulle emissioni di CO2
pro capite e hai scoperto che il loro coefficiente di correlazione è 0.7, con SE = 0.05. Crea un CI del 95% e
interpretalo.

ESERCIZI SUI DATI

Gli esercizi più facili e/o più brevi sono indicati con [*]; quelli più difficili e/o più lunghi sono indicati con [**].

1. Scarica dieci anni di dati giornalieri sul prezzo di un asset finanziario, come un singolo titolo azionario o un
altro indice del mercato azionario. Documenta le caratteristiche principali dei dati, crea rendimenti
percentuali giornalieri e crea una variabile binaria che indica grandi perdite scegliendo il tuo cutoff.
Stima l'errore standard della probabilità stimata di grandi perdite giornaliere tramite bootstrap e utilizzando
la formula SE; confronta i due e crea intervalli di confidenza del 95%. Concludi fornendo consigli su come
utilizzare questi risultati in future decisioni di investimento. [*]

2. Scarica dieci anni di dati giornalieri sul prezzo di un asset finanziario, come un singolo titolo azionario o un
altro indice del mercato azionario. Crea rendimenti percentuali giornalieri e crea una variabile binaria che
indica grandi perdite scegliendo il tuo cutoff. Esegui un esercizio di simulazione fingendo che la verità sia
contenuta in tutti i tuoi dati e che tu voglia dedurla da un campione di 300 giorni. Prendi campioni ripetuti,
visualizza la distribuzione di grandi perdite giornaliere e descrivi tale distribuzione. Ripeti la simulazione con
campioni di 900 giorni anziché 300 giorni e confronta i risultati. [**]

3. Utilizza il dataset hotels-europe e scegli due città e la stessa data. In ogni città, prendi gli hotel
19
con tre stelle e calcola il prezzo medio. Stima l'errore standard del prezzo medio stimato tramite bootstrap e
utilizzando la formula SE e crea intervalli di confidenza al 95%.
Confronta il prezzo medio e gli intervalli di confidenza tra le due città e spiega perché hai un CI più stretto
per una città rispetto all'altra. [*]

4. Utilizza il dataset wms-management-survey e scegli due paesi. Stima il punteggio medio di qualità della
gestione in ciascuno. Stima i loro errori standard tramite bootstrap e utilizzando la formula SE e crea intervalli
di confidenza al 95%. Confronta i prezzi medi e gli intervalli di confidenza tra i due paesi e spiega perché
potresti avere un CI più stretto per un paese rispetto all'altro. Discuti la validità esterna dei tuoi risultati per
la qualità della gestione nel tuo paese di origine nell'anno in corso. [*]

5. Scarica i dati più recenti dal sito web World Development Indicators su PIL pro capite ed emissioni di CO2
pro capite. Dividi i paesi in due gruppi in base al loro PIL pro capite e calcola la differenza media nelle emissioni
di CO2 pro capite tra i due gruppi. Usa bootstrap per stimare il suo errore standard, creare l'appropriato IC
al 95% e interpretarlo. [**]

20