4 Comparison and Correlation

Strumenti semplici per scoprire modelli di associazione confrontando i valori di y con i valori di x

Motivazione

Le aziende più grandi sono meglio gestite? Per rispondere a questa domanda, hai scaricato i dati dal
World Management Survey. Come descrivere la relazione tra le dimensioni dell'azienda e la qualità
della gestione? In particolare, puoi descriverla con l'aiuto di un singolo numero o di un grafico
informativo?
Per rispondere alla domanda precedente, devi usare le variabili nei dati per misurare la qualità della
gestione. In particolare, puoi usare la qualità dei molti tipi di pratiche di gestione separatamente,
oppure puoi usare una misura di sintesi. Quali sono i vantaggi e gli svantaggi di ciascun approccio?
Se vuoi usare una misura di sintesi, qual è il modo migliore per crearla e come dovresti interpretarne
l'entità?
Molte domande a cui l'analisi dei dati può rispondere si basano sul confronto dei valori di una
variabile y con i valori di un'altra variabile x e spesso altre variabili. Tali confronti sono la base per
scoprire l'effetto di x: se x influenza y, il valore di y dovrebbe essere diverso se dovessimo cambiare
il valore di x. Scoprire le differenze in y per diversi valori di una o più variabili x è anche essenziale
per la previsione: per arrivare a una buona stima del valore di y quando non lo conosciamo ma
conosciamo il valore di x.
Iniziamo sottolineando che dobbiamo misurare bene sia y che x per confronti significativi.
Introduciamo il condizionamento, che è il termine statistico per scoprire informazioni relative a una
variabile per diversi valori di un'altra variabile. Discutiamo confronti condizionali, o ulteriore
condizionamento, che tiene conto anche dei valori di altre variabili. Discutiamo probabilità
condizionali, distribuzioni condizionali e medie condizionali. Introduciamo i concetti correlati di
dipendenza, dipendenza dalla media e correlazione. Nel corso del capitolo, discutiamo
visualizzazioni informative dei vari tipi di confronti. In questo capitolo, utilizziamo il caso di studio
Management quality and firm size: describe patterns of association, che utilizza il dataset wms-
management-survey. La domanda è in quale misura la qualità della gestione tende a essere diversa
quando si confrontano aziende più grandi con aziende più piccole. Illustriamo probabilità
condizionali, medie condizionali e vari aspetti delle distribuzioni condizionali con questo caso di
studio.

Risultati di apprendimento

Dopo aver lavorato su questo capitolo, dovresti essere in grado di:

 definire le variabili y e x (o variabili x) e identificarle nei dati;
 comprendere i concetti di probabilità condizionata, distribuzione condizionata, media
condizionata;
 creare figure informative per visualizzare medie condizionali (bin scatter), altre statistiche
condizionali (box plot) e distribuzioni congiunte di variabili quantitative (scatterplot);
 comprendere i concetti di dipendenza, dipendenza dalla media e correlazione, e produrre e
interpretare coefficienti di correlazione.

1
The y and the x

Gran parte dell'analisi dei dati si basa sul confronto dei valori di una variabile y con i valori di una
variabile x o più variabili x. Tale confronto può scoprire i modelli di associazione tra le due variabili:
se e come le osservazioni con valori particolari di una variabile (x) tendono ad avere valori particolari
dell'altra variabile (y). La notazione y e x per queste variabili è comune nell'analisi dei dati come lo
è per gli assi del sistema di coordinate cartesiane nel calcolo.
Il ruolo di y è diverso dal ruolo di x. Sono i valori di y a cui siamo interessati e confrontiamo le
osservazioni che sono diverse nei loro valori x. Questa asimmetria deriva dall'obiettivo della nostra
analisi. Un obiettivo dell'analisi dei dati è prevedere il valore di una variabile y con l'aiuto di altre
variabili. La previsione stessa avviene quando conosciamo i valori di quelle altre variabili ma non la
variabile y.
Per prevedere y in base alle altre variabili abbiamo bisogno di una regola che ci dica qual è il valore
y previsto in funzione dei valori delle altre variabili. Una regola del genere può essere elaborata
analizzando i dati in cui conosciamo anche i valori y.
Queste altre variabili sono meglio considerate come tante variabili x, come x1, x2, ... Utilizziamo la
stessa lettera x per queste variabili e le distinguiamo solo tramite pedici perché il loro ruolo nella
previsione è simile. Ad esempio, per prevedere il prezzo degli affitti Airbnb, abbiamo bisogno di
variabili x che contano per quel prezzo, come il numero di stanze e letti e la posizione (esamineremo
questo aspetto nei capitoli 14 e 16). Per prevedere se i richiedenti di prestiti non garantiti
rimborseranno i loro prestiti, abbiamo bisogno di variabili che contano per quella probabilità di
rimborso, come il reddito, l'occupazione, l'età e lo stato di famiglia dei richiedenti.
L'altro obiettivo più frequente dell'analisi dei dati è quello di conoscere l'effetto di una variabile
causale x su una variabile di risultato y. Qui, in genere siamo interessati a quale sarebbe il valore di
y se potessimo cambiare x: come cambierebbero le vendite se aumentassimo i prezzi; se la
percentuale di persone che si ammalano in un gruppo diminuirebbe se ricevessero il vaccino
(esamineremo questo aspetto nel Capitolo 23); come aumenterebbero le possibilità di occupazione
delle persone disoccupate se partecipassero a un programma di formazione.
L'analisi dei dati può aiutare a scoprire tali effetti esaminando i dati sia con y che con x e
confrontando i valori di y tra osservazioni con diversi valori di x. Esempi di osservazioni con diversi
valori di x indicano settimane con prezzi diversi, gruppi con diversi tassi di vaccinazione o persone
che hanno partecipato a un programma di formazione rispetto a persone che non l'hanno fatto.
Spesso, quando cercano di scoprire l'effetto di x su y, gli analisti di dati considerano anche altre
variabili. Ad esempio, vogliono confrontare settimane in cui il prezzo del prodotto è diverso ma il
prezzo dei prodotti concorrenti è lo stesso; gruppi con diversi tassi di vaccinazione ma delle stesse
dimensioni e condizioni di vita; persone che partecipano e non partecipano al programma di
formazione ma hanno lo stesso livello di competenze e motivazione. Spesso denotiamo queste altre
variabili con un'altra lettera, z (o z1, z2, . . .), per sottolineare che il loro ruolo è diverso da quello
della variabile x.
In sintesi, decidere cosa è y e cosa è x nei dati è il primo passo prima di effettuare qualsiasi analisi
significativa. In questo capitolo discutiamo alcuni concetti generali di confronti e introduciamo
alcuni metodi semplici e intuitivi.

Riquadro di revisione 4.1 y e x nell'analisi dei dati

La maggior parte dell'analisi dei dati si basa sul confronto dei valori di una variabile y per diversi
valori di una variabile x (o più variabili).
2
  Per la previsione vogliamo sapere quale valore di y aspettarci per diversi valori di varie
variabili x, come x1, x2, ...
 Per l'analisi causale vogliamo sapere quale valore di y aspettarci se cambiassimo x, spesso
confrontando osservazioni simili in altre variabili (z1, z2, ...).

4.A1 CASE STUDY – Management Quality and Firm Size:

Describing Patterns of Association

Question and data

In questo caso di studio esploriamo se e in che misura le aziende più grandi sono gestite meglio.
Rispondere a questa domanda può aiutare a confrontare le pratiche di gestione in un'azienda
specifica.
Può anche aiutare a capire perché alcune aziende sono gestite meglio di altre. Le dimensioni
possono essere una causa in sé, poiché ottenere una migliore gestione può richiedere costi fissi
indipendenti dalle dimensioni dell'azienda con vantaggi maggiori per le aziende più grandi. Se le
dimensioni dell'azienda siano un fattore determinante importante per una migliore gestione può
aiutare a rispondere a domande come i potenziali vantaggi delle fusioni aziendali (le aziende fuse
sono più grandi delle aziende che le compongono) o quali tipi di aziende hanno maggiori probabilità
di implementare cambiamenti che richiedono una buona gestione.
Utilizziamo i dati del World Management Survey per indagare la nostra domanda. Abbiamo
introdotto il sondaggio nel Capitolo 1. In questo caso di studio analizziamo una sezione trasversale
di aziende messicane sull'ondata del sondaggio del 2013.
Il Messico è un'economia aperta a medio reddito e di medie dimensioni con una sostanziale
eterogeneità delle sue aziende lungo molte dimensioni. Pertanto, le aziende messicane forniscono
un buon esempio per studiare la qualità della gestione. Abbiamo escluso 33 aziende con meno di
100 dipendenti e 2 aziende con più di 5000 dipendenti. Ci sono 300 aziende nei dati, tutte
intervistate nel 2013.
(Tra gli esercizi sui dati, sarai invitato a svolgere un'analisi analoga di aziende di un paese diverso.)
La variabile y in questo caso di studio dovrebbe essere una misura della qualità della gestione. La
variabile x dovrebbe essere una misura delle dimensioni dell'azienda.
Ricorda che lo scopo principale di questa raccolta dati era misurare la qualità della gestione in ogni
azienda. Il sondaggio includeva 18 variabili "punteggio". Ogni punteggio è una valutazione da parte
degli intervistatori del sondaggio delle pratiche di gestione in un dominio particolare (monitoraggio
e revisione delle prestazioni o dell'orizzonte temporale e degli obiettivi) misurata su una scala da 1
(peggiore pratica) a 5 (migliore pratica).
La nostra misura della qualità della gestione è la media semplice di questi 18 punteggi. Noi,
seguendo i ricercatori che hanno raccolto i dati, lo chiamiamo "il" punteggio di gestione. Per
costruzione, l'intervallo del punteggio di gestione è compreso tra 1 e 5 perché è l'intervallo di tutti i
18 elementi all'interno della media. La media è 2.9, la mediana è anche 2.9 e la deviazione standard
è 0.6. L'istogramma (Figura 4.1) mostra una distribuzione più o meno simmetrica con la stragrande
maggioranza delle aziende che ha un punteggio medio compreso tra 2 e 4.

3
Misuriamo le dimensioni dell'azienda in base all'occupazione: il numero di lavoratori impiegati
dall'azienda. L'intervallo di occupazione che abbiamo mantenuto nei dati messicani è compreso tra
100 e 5000. La media è 760 e la mediana è 350, il che segnala una sostanziale asimmetria con una
lunga coda destra. L'istogramma (Figura 4.2a) mostra questa asimmetria. Mostra anche due valori
estremi: le quattro aziende più grandi hanno 5000 dipendenti, seguite da due aziende con circa 4500
dipendenti e tre con 4000 dipendenti. Ricordiamo dal Capitolo 3, Sezione 3.9 che le distribuzioni con
lunghe code destre possono essere ben approssimate dalla distribuzione lognormale. Per verificarlo,
mostriamo anche l'istogramma del logaritmo naturale dell'occupazione (Figura 4.2b). Tale
istogramma è ancora asimmetrico con una coda destra più lunga, ma è sostanzialmente più
simmetrico. Si noti inoltre che i valori estremi non sono più così estremi con il logaritmo
dell'occupazione. Possiamo quindi concludere che la distribuzione dell'occupazione in questi dati è
asimmetrica, più vicina alla distribuzione lognormale che a quella normale, ma anche la
distribuzione lognormale non è la migliore approssimazione.

4
4.2 Condizionamento

La parola che gli statistici usano per il confronto è condizionamento. Quando confrontiamo i valori
di y con i valori di x, condizioniamo y su x. Y è anche chiamata variabile di risultato; x è anche
chiamata variabile di condizionamento. La maggior parte delle volte, li chiameremo semplicemente
y e x.
Quando gli analisti di dati vogliono scoprire valori di y per osservazioni che sono diverse in x ma
simili in z, eseguono un ulteriore passaggio di condizionamento: confrontano y con x condizionato
da z. Questo è chiamato ulteriore condizionamento o confronto condizionale. Quindi la parola
condizionamento può essere fonte di confusione se usata senza ulteriore contesto. Può significare
un semplice confronto, ovvero scoprire valori di y per diversi valori di x, oppure può significare un
confronto condizionale, ovvero scoprire valori di y per osservazioni che sono diverse in x ma uguali
in z. Pertanto cercheremo di essere più specifici e aggiungeremo sempre il contesto necessario.
Il condizionamento è un concetto astratto. In pratica esploriamo probabilità condizionali, medie
condizionali e distribuzioni condizionali. Le sezioni successive ne parleranno in dettaglio.

Riquadro di revisione 4.2 Condizionamento

 Condizionamento è il termine statistico utilizzato per confrontare i valori, o statistiche, di y
con i valori di x.
 Facendo un ulteriore passo avanti, possiamo condizionare ulteriormente z: confrontare y
con i valori di x tra osservazioni con valore simile per z.

4.3 Conditional Probabilities

Nella Sezione 3.2 del capitolo precedente, abbiamo introdotto la probabilità come generalizzazione
della frequenza relativa. La probabilità di un valore di una variabile in un set di dati è la sua frequenza
relativa (percentuale).
In contesti più astratti, la probabilità di un evento è la probabilità che si verifichi. In questa sezione
discutiamo il confronto della probabilità di eventi, o della probabilità di valori di variabili, con un
altro evento, o con valori di un'altra variabile.
La probabilità condizionale è la probabilità di un evento se si verifica un altro evento. L'evento a cui
si riferisce la probabilità condizionale è chiamato evento condizionale; l'altro evento è chiamato
evento condizionante. Le probabilità condizionali sono indicate come P(evento 1 | evento2): la
probabilità di evento1 condizionata a evento2.
Nota che la probabilità condizionale non è simmetrica: P(evento1 | evento2) ≠ P(evento2 | evento1)
in generale. Le coppie di probabilità di questo tipo sono chiamate probabilità condizionali inverse.
Pertanto, le probabilità condizionali inverse non sono uguali in generale. In effetti, sono correlati tra
loro in un modo un po' complicato. Comprendere la loro relazione può essere importante per
comprendere molti problemi della vita reale, come comprendere la probabilità di avere una
condizione dopo aver ricevuto un risultato di un test. È anche utile comprendere la logica della
generalizzazione dei risultati dai dati che discuteremo nel Capitolo 5.

5
Discuteremo le probabilità condizionali inverse e la loro relazione in modo più dettagliato nella
sezione 4.U1 di Sotto il cofano.
Le probabilità congiunte sono correlate alle probabilità condizionali. La probabilità congiunta di due
eventi è la probabilità che entrambi si verifichino: P(evento 1 & evento2). Quando due eventi sono
mutuamente esclusivi, la loro probabilità congiunta è zero (i due non accadono mai insieme).
Un'altra probabilità correlata a due eventi denota la probabilità che si verifichi un evento o l'altro.
Questa è la somma delle due probabilità meno la loro probabilità congiunta: P(evento 1 OR evento2)
= P(evento1) +P(evento2)−P(evento1 & evento2). Se i due eventi sono reciprocamente esclusivi,
sottraiamo zero dalla somma delle due probabilità.
La probabilità condizionata può essere espressa come la corrispondente probabilità congiunta divisa
per la probabilità dell'evento condizionante:
P(evento1 & evento2 )
P(evento1 | evento2) =
𝑃(𝑒𝑣𝑒𝑛𝑡𝑜2 )

(4.1)
Due eventi sono indipendenti se la probabilità di uno degli eventi è la stessa indipendentemente dal
se l'altro evento si verifica o meno. Nel linguaggio delle probabilità condizionali questo significa che
le probabilità condizionali sono le stesse delle probabilità incondizionate:
P(evento1 | evento2) = P(evento1) e P(evento2 | evento1) = P(evento2).
Meno intuitivo, ma anche vero è che la probabilità congiunta di eventi indipendenti è uguale al
prodotto delle loro probabilità individuali: P(evento1 & evento2) = P(evento1) × P(evento2). (Puoi
vederlo dopo averlo inserito nella formula che collega probabilità condizionali e congiunte.)
Nei dati, gli eventi si riferiscono ai valori delle variabili. Spesso, la variabile condizionale, y, è una
variabile binaria: y = 0 o y = 1. Quindi la probabilità condizionale è la probabilità che y = 1 se x ha un
valore: P(y = 1|x = valore).
Poiché y è binario, conosciamo la probabilità di y = 0 se conosciamo la probabilità di y = 1, che sia
una probabilità condizionale o incondizionata; ad esempio, P(y = 0|x = valore) = 1 − P(y = 1|x =
valore). Quando anche x è binario, ci sono due probabilità condizionali:

P(y = 1|x = 1)
(4.2)
P(y = 1|x = 0)
(4.3)
Con più valori per una delle due variabili (y, x), abbiamo più numeri da confrontare: P(y = valore|x =
valore). Con relativamente pochi valori, la visualizzazione spesso aiuta. Ci sono molte opzioni per
usare grafici standard e anche per creare grafici personalizzati. Una buona soluzione è il grafico a
barre impilate. Presenta le frequenze relative all'interno di barre che sono una sopra l'altra e quindi
sommano sempre un'altezza del 100%. Per visualizzare le probabilità condizionali se sia y che x
hanno pochi valori, una buona visualizzazione è quella di mostrare grafici a barre impilate di y per i
valori di x.

6
Riquadro di revisione 4.3 Probabilità condizionale

 Probabilità condizionale di un evento: la probabilità di un evento se si verifica un altro evento

(l'evento condizionante):
P(evento1 | evento2)
 Due eventi sono indipendenti se la probabilità di uno degli eventi è la stessa
indipendentemente dal fatto che l'altro evento si verifichi o meno:
P(evento1 | evento2) = P(evento1) e P(evento2 | evento1) = P(evento2).
 La probabilità congiunta di due eventi è la probabilità che entrambi accadano
contemporaneamente:
P(evento1 &evento2)

4.A2 CASE STUDY – Management Quality and Firm Size:

Describing Patterns of Association
Conditional probabilities
Sia il punteggio di gestione che l'occupazione sono variabili quantitative con molti valori. Non si
prestano all'indagine sulle probabilità condizionali, almeno non senza trasformarle. Quindi, per
illustrare le probabilità condizionali, consideriamo le variabili di punteggio individuali come y
– ricorda che ce ne sono 18, ciascuna con cinque valori potenziali, da 1 a 5. Per x, abbiamo creato
una variabile qualitativa creando tre intervalli di occupazione: piccolo, medio, grande. Questi tre bin
sono ovviamente arbitrari. Li abbiamo scelti in modo che fossero delimitati da numeri tondi: 100–
199, 200–999 e 1000+ (rispettivamente con 72, 156 e 72 aziende). Quindi, per ogni variabile di
punteggio abbiamo 15 probabilità condizionali: la probabilità di ciascuno dei 5 valori di y per
ciascuno dei tre valori di x – ad esempio, P(y = 1|x = piccolo). Elencare 15 probabilità condizionali in
una tabella non è un buon modo per presentarle. Ma i grafici a barre sovrapposte sono un ottimo
modo per visualizzarle. La Figura 4.3 mostra due esempi, uno per il lean management e uno per il
monitoraggio delle prestazioni (ciascuno con valori 1,2,..,5), ciascuno separatamente per piccole,
medie e grandi dimensioni aziendali. Sia per il lean management che per il monitoraggio delle
prestazioni, le figure mostrano lo stesso schema di associazione tra la qualità della gestione e le
dimensioni aziendali. Le piccole aziende hanno maggiori probabilità di avere punteggi bassi e meno
probabilità di avere punteggi alti rispetto alle aziende di medie dimensioni e, a loro volta, le aziende
di medie dimensioni hanno maggiori probabilità di avere punteggi bassi e meno probabilità di avere
punteggi alti rispetto alle grandi aziende. Per il lean management, i punteggi 4 e 5 insieme occupano
l'11% delle piccole aziende (solo il punteggio 4, in realtà), il 27% di quelle di medie dimensioni e il
36% di quelle di grandi dimensioni. Per il monitoraggio delle prestazioni, le percentuali
corrispondenti sono 40%, 57% e 68%. Questi risultati suggeriscono che le aziende più grandi hanno
maggiori probabilità di essere gestite meglio. Come esercizio sui dati, sarai invitato a produrre grafici
a barre impilate simili per confermare che i modelli per altre variabili di gestione sono gli stessi.

7
4.4 Conditional Distribution, Conditional Expectation

Proprio come tutte le variabili hanno una distribuzione (Capitolo 3, Sezione 3.2), tutte le variabili y
hanno una distribuzione condizionale se condizionate su una variabile x. Questo è un concetto
semplice se la variabile x ha pochi valori. Il caso più semplice è una x binaria quando la distribuzione
condizionale di y è due distribuzioni, una per ciascuno dei due valori x.
Le distribuzioni condizionali con pochi valori x sono meglio presentate tramite visualizzazione: per
ogni valore x mostriamo grafici a barre impilate se y ha pochi valori o istogrammi se y è una variabile
quantitativa con molti valori. La sezione precedente ha trattato i grafici a barre impilate condizionali.
Qui discutiamo degli istogrammi condizionali. Tutto ciò che abbiamo detto sugli istogrammi nel
Capitolo 3, Sezione 3.3 si applica qui: l'aspetto degli istogrammi è influenzato dalla nostra scelta
della dimensione degli intervalli; i grafici di densità possono essere un'alternativa ma sono più
sensibili alle impostazioni dei parametri. Il nostro ulteriore consiglio qui è di assicurarci che gli
istogrammi siano completamente comparabili attraverso i valori x: cosa più importante, hanno gli
stessi bin di y e hanno la stessa scala sull'asse verticale.
Confrontare gli istogrammi può rivelare differenze qualitative nelle distribuzioni. Possiamo dire
quale distribuzione tende a essere a sinistra o a destra dell'altra, come si confrontano le loro
modalità, quale sembra più distribuita, quale sembra più distorta. Per fare confronti quantitativi,
tuttavia, dobbiamo confrontare statistiche che riassumono le caratteristiche importanti delle
distribuzioni.
La statistica condizionale più importante è la media condizionale, nota anche come aspettativa
condizionale, che mostra la media (valore medio, atteso) di y per ogni valore di x. La formula
astratta per la media condizionale è
E[y|x]
(4.4)

8
Da un punto di vista matematico questa è una funzione: se inseriamo un valore numerico per la
variabile x, l'aspettativa condizionale ci fornisce il numero che è la media di y per le osservazioni che
hanno quel particolare valore x. Si noti che mentre la media complessiva di y, E[y], è un singolo
numero in una tabella dati, la media condizionale E[y|x] varia nei dati, perché può essere diversa
per diversi valori di x. Analogamente, possiamo esaminare le mediane condizionali, altri quantili
condizionali, deviazioni standard condizionali e così via. Confrontare box plot e violin plot è un
ottimo modo per visualizzare le statistiche condizionali di y quando x ha pochi valori.

Riquadro di revisione 4.4 Distribuzione condizionale e media condizionale – y quantitativa, pochi

valori di x

 La distribuzione condizionale di y per x è la distribuzione di y tra osservazioni con valori

specifici di x.
 E[y|x] denota la media condizionale (aspettativa condizionale) di y per vari valori di x.
 Se x ha pochi valori, è semplice visualizzare le distribuzioni condizionali e calcolare le medie
condizionali e altre statistiche condizionali.

4.5 Distribuzione condizionale, aspettativa condizionale con x quantitativa

Quando x è quantitativa con molti valori, le cose sono più complicate. Di solito è impossibile o poco
pratico tracciare istogrammi o calcolare la media condizionale per ogni singolo valore di x.
Innanzitutto, ci sono troppi valori di x e, in genere, troppo poche osservazioni per ogni valore. In
secondo luogo, anche se avessimo abbastanza osservazioni, le statistiche o le immagini risultanti
sarebbero in genere troppo complesse per essere comprese.
Abbiamo due approcci per affrontare questi problemi. Il primo approccio aggira il problema di troppi
valori x riducendoli tramite la creazione di bin. Con pochi bin e quindi molte osservazioni all'interno
di ogni bin, possiamo calcolare medie condizionali, tracciare istogrammi, box plot e così via, in modi
facili da interpretare. Creare bin da x non è solo l'approccio più semplice, ma spesso produce risultati
potenti. Di solito con solo tre bin di x (piccolo, medio, grande) possiamo catturare i modelli più
importanti di associazione tra una y quantitativa e una x quantitativa. La visualizzazione delle medie
condizionali di y per i bin di x è chiamata dispersione di bin. Una dispersione di bin è una figura con
i valori di x nel bin sull'asse orizzontale e i corrispondenti valori medi condizionali di y sull'asse
verticale. È buona norma visualizzare le dispersioni di bin con valori x significativi per i bin x, come il
loro punto medio o il valore mediano delle osservazioni all'interno del bin.
Il secondo approccio mantiene x così com'è. Lo strumento più ampiamente utilizzato è lo
scatterplot, che è una visualizzazione della distribuzione congiunta di due variabili. La distribuzione
congiunta di due variabili è la frequenza di ogni combinazione di valori delle due variabili. Uno
scatterplot è un grafico bidimensionale con i valori x e y sui suoi due assi e punti o altri marcatori
inseriti per ogni osservazione nei dati con i corrispondenti valori x e y. Con set di dati piccoli o
moderatamente grandi, gli scatterplot possono rivelare cose interessanti. Con un numero molto
elevato di osservazioni, gli scatterplot possono apparire come una grande nuvola e consentirci di
dedurre meno informazioni. A partire dal Capitolo 7, prenderemo in considerazione il metodo più
ampiamente utilizzato per scoprire E[y|x]: l'analisi di regressione. Questa è una continuazione
naturale dei metodi considerati in questo capitolo. Ma non discuteremo di regressione qui perché

9
richiede più tempo e spazio. E, prima di passare all'analisi di regressione, prenderemo in
considerazione alcuni altri argomenti in questo capitolo e nei due capitoli successivi.

Riquadro di revisione 4.5 Distribuzioni congiunte e condizionali di due variabili quantitative

 La distribuzione congiunta di due variabili mostra la frequenza di ogni combinazione di

valori delle due variabili.
 Lo scatterplot è un buon modo per visualizzare le distribuzioni congiunte.
 Le aspettative condizionali possono essere calcolate e visualizzate in intervalli creati dalla
variabile di condizionamento.

4.A3 CASE STUDY – Management Quality and Firm Size: Describing Patterns of
Association
Conditional mean and joint distribution
Torniamo al nostro caso di studio sulla qualità della gestione e sulle dimensioni aziendali, utilizzando
i nostri dati sulle aziende messicane. y è il punteggio di gestione e x è l'occupazione. Ricorda che
questi dati contengono aziende con 100-5000 dipendenti e la distribuzione dell'occupazione è
distorta con una lunga coda destra (Figura 4.2a).
I due grafici successivi (Figure 4.4a e 4.4b) mostrano due scatter con media y condizionata a tre bin
x e dieci bin x. Abbiamo creato i tre bin nello stesso modo di prima, 100-199, 200-999 e 1000+
dipendenti, con 72, 156 e 72 aziende nei bin, rispettivamente. Il nostro approccio per creare i dieci
bin è stato diverso: invece di cercare numeri tondi per separarli, abbiamo semplicemente suddiviso
i dati in dieci sotto campioni di uguali dimensioni in base al numero di dipendenti. La maggior parte
dei software statistici può creare tali bin in modo semplice. In entrambi i grafici a dispersione di bin,
mostriamo il punteggio di gestione medio come un punto corrispondente al punto medio nel bin di
occupazione (ad esempio, 150 per il bin 100-199).
Il grafico a dispersione con tre intervalli implica una chiara associazione positiva: le aziende più
grandi sono meglio gestite, in media. In particolare, il punteggio di gestione medio è 2,68 per le
piccole aziende, 2.94 per quelle di medie dimensioni ed è 3,19 per le grandi aziende. La dispersione
con dieci bin mostra una relazione lineare meno dritta, con una media molto simile nei bin da 4 a 8.
Ma, nel complesso, anche quel quadro mostra medie più elevate nei bin di dimensioni aziendali più
grandi. L'entità della differenza nella qualità di gestione media tra aziende grandi e piccole è
moderata (circa 0.5 per la scala 1-5).
Infine, si noti che le dispersioni di bin riflettono la distribuzione molto distorta dell'occupazione
avendo distanze maggiori tra i punti medi dei bin a dimensioni maggiori. Avremmo potuto
presentare le dispersioni dei bin con gli stessi bin ma mostrando il log dell'occupazione sull'asse x
anziché l'occupazione; ciò avrebbe mostrato una distribuzione più uniforme dei bin e un modello
più lineare. Tali cifre mostrerebbero esattamente la stessa associazione: la gestione tende a essere
di qualità superiore per le aziende più grandi e tale differenza è minore, in termini di occupazione
assoluta, a livelli di occupazione più elevati. Sarai invitato a farlo come esercizio sui dati.

10
Le dispersioni dei bin mostrano in media un modello positivo di associazione. Ma questo significa
che tutte le aziende più grandi sono gestite meglio in questi dati? Assolutamente no. Per apprezzare
la distribuzione del punteggio di gestione attorno ai suoi valori medi condizionali, osserviamo il
diagramma di dispersione.
Nel pannello di sinistra (Figura 4.5a) vediamo le conseguenze della distribuzione dell'occupazione
molto distorta: la maggior parte delle osservazioni è raggruppata nella parte più a sinistra della
figura. Possiamo vedere una pendenza positiva su questo grafico tra le aziende più grandi, ma è
difficile vedere qualsiasi modello tra le aziende più piccole.
Per rendere i modelli più visibili, il pannello di destra (Figura 4.5b) mostra lo stesso diagramma di
dispersione con il logaritmo naturale dell'occupazione sull'asse x invece dell'occupazione stessa. Ciò
equivale ad allungare le differenze di occupazione tra le aziende a livelli di occupazione inferiori e
comprimere tali differenze a livelli più alti. (Più avanti, nel Capitolo 8, dedicheremo molto più tempo
a ciò che una tale trasformazione fa alle variabili e ai confronti delle variabili.) Questo diagramma di
dispersione porta a un quadro più sparso, che riflette la distribuzione più simmetrica della variabile
x. Qui l'associazione positiva tra il punteggio medio di gestione e l'occupazione (log) è più visibile.
In ogni caso, vediamo anche molta variazione del punteggio di gestione a ogni livello di occupazione.
Quindi, c'è molta dispersione del punteggio di gestione tra aziende con le stesse dimensioni. Per
quanto riguarda altre caratteristiche della distribuzione, il diagramma di dispersione non mostra un
modello chiaro tra l'occupazione (o l'occupazione log) e la dispersione o l'asimmetria delle
distribuzioni. Ma ciò potrebbe essere dovuto al fatto che tali caratteristiche non sono sempre facili
da leggere da un diagramma di dispersione.

11
Per comprendere meglio se e in quale misura la dispersione o l'asimmetria della distribuzione del
punteggio di gestione differisca a diversi livelli di occupazione, abbiamo prodotto grafici a scatola e
grafici a violino del punteggio di gestione per tre classi di occupazione (Figura 4.6).

Sia i box plot che i violin plot rivelano che il punteggio di gestione mediano è più alto nelle aziende
più grandi, riflettendo la stessa associazione positiva delle dispersioni bin e dello scatterplot. Questo
schema positivo è vero quando confrontiamo quasi tutte le statistiche del punteggio di gestione:
mediana, quartili superiore e inferiore, minimo e massimo. Queste cifre mostrano anche che la
dispersione del punteggio di gestione è un po' più piccola nelle aziende più piccole. Ciò significa che
le piccole aziende sono più simili tra loro nei loro punteggi di gestione, oltre ad avere punteggi più
bassi in media. Al contrario, le aziende più grandi differiscono di più tra loro in termini di punteggio
di gestione.

12
4.6 Dependence, Covariance, Correlation

Dopo aver discusso la media condizionale e la distribuzione condizionale e le loro visualizzazioni,

introduciamo alcuni concetti correlati che sono spesso utilizzati nell'analisi dei dati.
La dipendenza di due variabili, detta anche dipendenza statistica, significa che le distribuzioni
condizionali di una variabile (y) non sono le stesse quando sono condizionate a valori diversi
dell'altra variabile (x). Al contrario, l'indipendenza delle variabili significa che la distribuzione di una
condizionale sull'altra è la stessa, indipendentemente dal valore della variabile condizionante.
Questi concetti possono essere visti come generalizzazioni di eventi indipendenti (vedere Sezione
4.3). La dipendenza di y e x può assumere molte forme. Ad esempio, y può essere più distribuita o
più distorta per alcuni valori di x. Ma la forma più importante di dipendenza è la dipendenza dalla
media: la media di y è diversa quando il valore di x è diverso. In altre parole, l'aspettativa
condizionale E[y|x] non è sempre la stessa, ma varia con il valore di x.
La covarianza e il coefficiente di correlazione sono misure di questa dipendenza dalla media. Per
essere un po' più precisi, misurano la dipendenza media in senso medio. E[y|x] può avere alti e bassi
in base al valore di x, e la covarianza e il coefficiente di correlazione sono misure medie di quegli alti
e bassi. Quando y e x sono correlati positivamente, E[y|x] tende a essere più alto quando il valore
di x è più alto. Quando y e x sono correlati negativamente, E[y|x] tende a essere più basso quando
il valore di x è più alto.
Le due misure sono strettamente correlate: il coefficiente di correlazione è la versione
standardizzata della covarianza.
La formula per la covarianza tra due variabili x e y in un set di dati con n osservazioni è:
∑𝑖(𝑥𝑖 −𝑥̅ )(𝑦𝑖 −𝑦̅)
𝐶𝑜𝑣[𝑥, 𝑦] = 𝑛

(4.5)
Il coefficiente di correlazione divide questo per il prodotto delle due deviazioni standard:
𝐶𝑜𝑣[𝑥, 𝑦]
𝐶𝑜𝑟𝑟(𝑥, 𝑦) =
𝑆𝑡𝑑[𝑥] ∙ 𝑆𝑡𝑑[𝑦]
(4.6)
−1 ≤ 𝐶𝑜𝑟𝑟𝑟[𝑥, 𝑦] ≤ 1
(4.7)
La covarianza può essere qualsiasi numero positivo o negativo, mentre il coefficiente di correlazione
è destinato a essere compreso tra uno negativo e uno positivo. Ma il loro segno è sempre lo stesso:
la covarianza è zero quando il coefficiente di correlazione è zero; la covarianza è positiva quando il
coefficiente di correlazione è positivo; la covarianza è negativa quando il coefficiente di correlazione
è negativo.
Quando il coefficiente di correlazione è zero diciamo che y e x non sono correlati. Con correlazione
positiva, y e x sono correlati positivamente. Con covarianza e correlazione negative diciamo che y e
x sono correlati negativamente. L'entità del coefficiente di correlazione mostra la forza
dell'associazione: maggiore è l'entità, più forte è la dipendenza media tra le due variabili.

13
Gli analisti di dati tendono a considerare debole una correlazione di 0.2 o meno (in valore assoluto),
e una correlazione superiore a 0,7 in valore assoluto è solitamente considerata forte. Se due variabili
sono indipendenti, sono anche indipendenti dalla media e quindi le aspettative condizionali sono
tutte uguali: E[y|x] = E[y] per qualsiasi valore di x. La covarianza e il coefficiente di correlazione
sono entrambi zero in questo caso. In breve, diciamo che l'indipendenza implica l'indipendenza dalla
media e la correlazione zero. Ma il contrario non è vero. Possiamo avere correlazione zero ma
dipendenza dalla media (ad esempio, un'aspettativa condizionale simmetrica a forma di U ha una
media di zero), e possiamo avere correlazione zero e dipendenza dalla media zero senza
indipendenza completa (ad esempio, la diffusione di y può essere diversa per diversi valori di x).
Trascorrere un po' di tempo con la sua formula può aiutare a capire come la covarianza sia una
misura media della dipendenza dalla media. Il prodotto all'interno della somma al numeratore
moltiplica la deviazione di x dalla sua media (𝑥𝑖 − 𝑥̅ )per la deviazione di y dalla sua media
(𝑦𝑖 − 𝑦̅) per ogni osservazione i. L'intera formula è la media di questi prodotti in tutte le
osservazioni. Se una deviazione positiva di x dalla sua media va di pari passo con una deviazione
positiva di y dalla sua media, il prodotto è positivo. Quindi, la media di questo prodotto in tutte le
osservazioni è positiva. Più spesso un 𝑥𝑖 − 𝑥̅ positivo va di pari passo con un 𝑦𝑖 − 𝑦̅ positivo, più
positiva è la covarianza. Oppure, più grandi sono le deviazioni positive che vanno di pari passo,
maggiore è la covarianza. Se, d'altra parte, un 𝑥𝑖 − 𝑥̅ positivo va di pari passo con un 𝑦𝑖 − 𝑦̅ negativo,
il prodotto tende a essere negativo. Quindi la media di questo prodotto è negativa. Più spesso un
𝑥𝑖 − 𝑥̅ positivo va di pari passo con un 𝑦𝑖 − 𝑦̅ negativo, più negativa è la covarianza. Infine, se un
𝑥𝑖 − 𝑥̅ positivo va di pari passo con un 𝑦𝑖 − 𝑦̅ positivo a volte e un 𝑦𝑖 − 𝑦̅ negativo altre volte, e
questi due si bilanciano a vicenda, i valori positivi del prodotto e i valori negativi del prodotto si
annullano. In questo caso la media è zero. La covarianza zero esatta raramente si verifica nei dati
reali perché ciò richiederebbe un bilanciamento esatto. Più la deviazione positiva in xi e la deviazione
positiva in yi istanze sono bilanciate con la deviazione positiva in xi e la deviazione negativa in yi
istanze, più la covarianza è vicina a zero.
Nota inoltre che le formule della covarianza o del coefficiente di correlazione consentono tutti i tipi
di variabili, comprese le variabili binarie e le variabili qualitative ordinate, nonché le variabili
quantitative.
La covarianza e il coefficiente di correlazione saranno sempre zero se le due variabili sono
indipendenti dalla media, positive se dipendenti dalla media positivamente e negative se dipendenti
dalla media negativamente. Pertanto, forniscono un quadro rapido e non completamente privo di
significato sulla dipendenza dalla media tra variabili binarie e qualitative ordinate. Tuttavia, ci sono
misure più appropriate per le variabili qualitative. Questo perché le differenze 𝑦𝑖 − 𝑦̅ e 𝑥𝑖 −
𝑥̅ hanno meno senso quando y e x sono variabili qualitative. Per questo motivo, gli analisti di dati
utilizzano altre misure simili alla correlazione per le variabili qualitative, ma tali misure vanno oltre
lo scopo del nostro libro di testo.

Riquadro di revisione 4.6 Covarianza e correlazione

∑𝑖(𝑥𝑖 −𝑥̅ )(𝑦𝑖 −𝑦̅)
 La covarianza misura la dipendenza media di due variabili: 𝐶𝑜𝑣[𝑥, 𝑦] = 𝑛
 Il coefficiente di correlazione è una versione standardizzata della covarianza e varia tra -1 e
1:
𝐶𝑜𝑣[𝑥, 𝑦]
𝐶𝑜𝑟𝑟(𝑥, 𝑦) =
𝑆𝑡𝑑[𝑥] ∙ 𝑆𝑡𝑑[𝑦]

14
  La covarianza e la correlazione sono entrambe pari a zero se le variabili sono indipendenti,
positive se le variabili sono associate positivamente e negative se sono associate
negativamente.

4.7 From Latent Variables to Observed Variables

Prima di chiudere il capitolo, discutiamo brevemente altri due argomenti. Il primo è il concetto di
variabili latenti. Spesso, le variabili y o x che abbiamo in questione sono concetti astratti: la qualità
della gestione di un'azienda, le competenze di un dipendente, la tolleranza al rischio di un
investitore, la salute di una persona, la ricchezza di un paese. In genere, tali variabili non fanno parte
di un set di dati effettivo e non possono esserlo perché sono troppo astratte. Tali variabili sono
chiamate variabili latenti. L'analisi dei dati può aiutare a rispondere a domande che coinvolgono
variabili latenti solo sostituendole con variabili osservate. Tali variabili osservate sono chiamate
variabili proxy, dove "proxy" significa sostituto (la parola proxy è usata come sostantivo, aggettivo
e verbo). La qualità della gestione può essere proxy tramite risposte a domande di sondaggio sulle
pratiche di gestione, come nel nostro studio di caso; le competenze dei dipendenti possono essere
proxy tramite qualifiche o misure di performance passate; e così via. La cosa più importante da
tenere a mente qui è che l'analisi dei dati confronta i valori delle variabili misurate. Anche se si
suppone che queste variabili misurino concetti astratti, non sono mai i concetti astratti stessi che
abbiamo nei nostri dati. Quindi non possiamo mai esaminare cose come competenze, atteggiamenti
o salute; invece, esaminiamo proxy come misure di performance, risposte a domande di sondaggi o
risultati di diagnosi mediche. Questo è semplicemente ripetere il punto che abbiamo sollevato in
precedenza nel Capitolo 1, Sezione 1.3: il contenuto di una variabile è determinato da come viene
misurata, non dal nome che qualcuno le ha attribuito.
Un problema specifico sorge quando i nostri dati contengono non una ma più variabili che
potrebbero fungere da proxy per la variabile latente che vogliamo esaminare. La domanda qui è
come combinare più variabili osservate. Gli analisti di dati utilizzano uno dei tre approcci principali:

 Utilizzare una delle variabili osservate

 Prendere la media (o la somma) delle variabili osservate
 Utilizzare l'analisi delle componenti principali (PCA) per combinare le variabili osservate.
Utilizzare una variabile misurata ed escludere le altre ha il vantaggio di una facile interpretazione.
Ha lo svantaggio di scartare informazioni potenzialmente utili contenute nelle altre variabili
misurate. Facendo la media di tutte le variabili misurate si utilizzano tutte le informazioni in modo
semplice. Quando tutte queste variabili vengono misurate usando la stessa scala, questo approccio
produce una misura combinata con un'interpretazione naturale. Quando le variabili vengono
misurate a scale diverse, dobbiamo portare le variabili osservate alla stessa scala. Di solito, lo
facciamo standardizzandole: sottraendo la media e dividendo per la deviazione standard (vedere
Capitolo 3, Sezione 3.6). Questa misura standardizzata è anche chiamata punteggio z. Facendo una
media semplice di tutte queste variabili diamo loro lo stesso peso. Questo può essere uno
svantaggio se alcune delle variabili sono misure migliori della variabile latente rispetto ad altre.

15
Il terzo approccio risolve questo problema. L'analisi delle componenti principali (PCA) è un metodo
per dare pesi maggiori alle variabili osservabili che sono misure migliori. La PCA trova quei pesi
esaminando quanto sarebbero fortemente correlati con la media ponderata. La logica è un processo
iterativo: creare una media, esaminare come ogni variabile è correlata ad essa osservandone le
correlazioni, dare pesi maggiori a quelle con una correlazione più forte, ricominciare. La tecnica
effettiva adotta un approccio ingegnoso per fare tutto in un unico passaggio.
Dei tre approcci, consigliamo il secondo: fare una media semplice delle variabili osservate dopo
essersi assicurati che siano misurate alla stessa scala. Questo è il modo più semplice per combinare
tutte le variabili in modo significativo. In linea di principio, la PCA produce una misura combinata
migliore, ma è più complicata da produrre e più difficile da presentare a un pubblico non esperto.
Inoltre, spesso fornisce risultati simili a una media semplice. Pertanto, raccomandiamo che la PCA
venga utilizzata come controllo di robustezza, se non altro. Se i risultati della nostra analisi sono
molto diversi con una media semplice e con una misura PCA, alcune delle nostre variabili osservate
sono correlate in modo molto diverso alla misura media rispetto ad altre. È quindi buona norma
tornare indietro e comprendere il contenuto di tali variabili e, forse, scartarne alcune dall'analisi.
Riquadro di revisione 4.7 Variabili latenti e proxy

 Le variabili latenti sono concetti astratti che non sono variabili effettive nei dati.
 Le variabili proxy (proxy) sono variabili nei dati che misurano variabili latenti.
 Quando sono disponibili più variabili proxy per una singola variabile latente, è buona norma
calcolarne la media, dopo essersi assicurati che siano misurate sulla stessa scala (ad esempio,
standardizzandole).

4.A4 CASE STUDY – Management Quality and Firm Size:

Describing Patterns of Association

Correlation and latent variable

La covarianza tra le dimensioni dell'azienda e il punteggio di gestione nel campione messicano che
utilizziamo è 177. La deviazione standard delle dimensioni dell'azienda è 977; la deviazione standard
del punteggio di gestione è 0.6. Il coefficiente di correlazione è 0.30 (177/(977 ∗ 0.6) =0.30).
Questo risultato mostra un'associazione positiva: le aziende con più dipendenti tendono ad avere
un punteggio di gestione più alto. L'entità della correlazione è moderata, presumibilmente perché
molte altre cose contano per la qualità della gestione oltre alle dimensioni di un'azienda.
La tabella 4.1 mostra il coefficiente di correlazione in sette ampie categorie di classificazione
industriale (più un'altra categoria con i settori con pochissime aziende, combinati).

16
La tabella rivela che la correlazione tra qualità della gestione e dimensioni dell'azienda varia
notevolmente tra i settori. La correlazione è più forte nei settori automobilistico e "altro". Allo stesso
tempo, non vediamo quasi nessuna correlazione tra le aziende nei settori chimico e alimentare.
Prima di concludere il nostro studio di caso, si noti che illustra anche i problemi di misurazione
relativi alle variabili latenti. Da un punto di vista concettuale, la variabile y nel nostro studio di caso
è la qualità della gestione, una variabile latente. Abbiamo 18 misure per questa variabile latente nei
dati; queste sono le 18 variabili di punteggio sulla qualità di vari aspetti della gestione. Ognuna di
queste 18 variabili è misurata dal sondaggio (come abbiamo discusso nel Capitolo 1, Sezione 1.C1)
e ciascuna è misurata sulla stessa scala da 1 a 5.
Per la misura della qualità complessiva della gestione, abbiamo utilizzato due delle tre strategie che
abbiamo raccomandato nella Sezione 4.7. Per illustrare le probabilità condizionali, visualizzate dai
grafici a barre sovrapposte nelle Figure 4.3a e 4.3b, abbiamo utilizzato 2 delle 18 variabili di
punteggio. Ognuna è una misura imperfetta della qualità complessiva della gestione, ma ciascuna
ha una chiara interpretazione: la valutazione dell'aspetto particolare della qualità della gestione da
parte dell'intervistatore. Per la maggior parte del caso di studio, abbiamo utilizzato il punteggio
medio: la media semplice dei 18 punteggi. Abbiamo potuto utilizzare questa media semplice perché
ciascuna delle 18 variabili mirava a misurare un aspetto della stessa cosa, la qualità della gestione,
e ciascuna è stata misurata sulla stessa scala (da 1 a 5). Come esercizio sui dati, sei invitato a provare
la terza opzione che abbiamo raccomandato nella Sezione 4.7 e a creare una componente principale
dai 18 punteggi anziché la loro media semplice. Quando si analizza la relazione tra le dimensioni
dell'azienda e la qualità della gestione, l'utilizzo di questa misura della componente principale risulta
fornire risultati molto simili a quelli che abbiamo scoperto utilizzando la misura del punteggio medio.
Questo conclude il nostro caso di studio. Cosa abbiamo imparato da questo studio sull'associazione
tra dimensioni aziendali e qualità della gestione? Abbiamo scoperto che, tra le aziende
manifatturiere messicane, le aziende più grandi tendono a essere meglio gestite. Le grandi aziende
(con 1000-5000 dipendenti) hanno un punteggio medio di 3.19, rispetto al 2.94 per le aziende di
medie dimensioni (con 200-999 dipendenti) e al 2.68 per quelle piccole (con 100-199 dipendenti).
Abbiamo anche scoperto che la correlazione, sebbene positiva, non è molto forte, forse perché altri
fattori contano per la qualità della gestione oltre alle dimensioni aziendali. Quando abbiamo
disaggregato i risultati in gruppi industriali più piccoli, abbiamo scoperto che la forza della
correlazione tra gestione e dimensioni differisce in alcuni settori rispetto al resto, ma non abbiamo
visto alcun modello chiaro che ci dica il perché. Infine, abbiamo visto che la qualità della gestione
17
non solo è migliore, in media, tra le aziende più grandi, ma è anche un po' più diffusa tra le aziende
più grandi.
Questi risultati informano le questioni aziendali o politiche a cui potremmo essere interessati.
Quando si considerano le pratiche di gestione di un'azienda specifica, dovremmo avere aziende di
dimensioni simili come punto di riferimento.
E una migliore gestione di un'azienda più grande può essere un potenziale vantaggio dell'aumento
delle dimensioni dell'azienda, ad esempio tramite una fusione tra aziende.
Per quanto riguarda i metodi discussi in questo capitolo, questo caso di studio ha illustrato cosa
possiamo fare per scoprire modelli di associazioni e distribuzioni condizionali quando sia y che x
sono variabili quantitative. Abbiamo visto che la creazione di bin da x può portare a visualizzazioni
informative, come una dispersione di bin o box plot di y per bin di x. Tre bin (piccolo, medio, grande)
sono sembrati una buona scelta nel nostro caso. Ad esempio, la dispersione di bin con dieci bin non
ha fornito molte più informazioni della dispersione di bin con tre bin. Abbiamo anche visto che il
coefficiente di correlazione è una statistica utile per riassumere la dipendenza media tra y e x, e ci
consente di scavare un po' più a fondo mostrando se e come la correlazione differisce tra i gruppi
per una terza variabile (in questo caso il settore). Infine, abbiamo visto che, con dati
sufficientemente ricchi, possiamo usare una variabile di punteggio medio calcolata da molte (in
questo caso 18) variabili per misurare una variabile latente, la qualità della gestione nel nostro
studio di caso.

4.8 Sources of Variation in x

La nostra ultima sezione in questo capitolo è una nota sulla variazione in x, la variabile (o le variabili)
su cui facciamo le condizioni per fare confronti in y. La prima cosa da notare è che abbiamo bisogno
di variazione in x, e più variazione abbiamo, meglio è in generale. Nei dati senza variazione in x, tutte
le osservazioni hanno gli stessi valori ed è impossibile fare confronti. Questo può sembrare banale,
ma è essenziale tenerlo a mente. Allo stesso modo, maggiore è la variazione in x, maggiori sono le
possibilità di confronto. Ad esempio, quando gli analisti di dati vogliono scoprire l'effetto delle
variazioni di prezzo sulle vendite, hanno bisogno di molte osservazioni con valori di prezzo diversi.
Se i prezzi non cambiano affatto, non c'è modo di imparare come possono influenzare le vendite. Se
i prezzi cambiano molto raramente o le variazioni sono trascurabili in termini di entità, non c'è molto
spazio per il confronto e quindi non c'è molto da imparare. La seconda domanda è da dove proviene
quella variazione in x. Come vedremo nei capitoli successivi (ad esempio, capitoli dal 19 al 24), gli
analisti di dati devono comprendere le fonti di variazione in x. Questo è un modo un po' elaborato
per dire che gli analisti di dati dovrebbero avere una buona comprensione del motivo per cui i valori
di x possono differire tra le osservazioni. Da questa prospettiva, ci sono due tipi principali di dati:
dati sperimentali e dati osservazionali. Nei dati sperimentali, il valore di x differisce tra le
osservazioni perché qualcuno li ha resi diversi. In un esperimento medico che valuta gli effetti di un
farmaco, alcuni pazienti ricevono il farmaco mentre altri ricevono un placebo, e chi riceve cosa è
determinato da una regola progettata dallo sperimentatore, come il lancio di una moneta o una
sequenza di numeri generata dal computer. Qui x è la variabile binaria che indica se la persona ha
ricevuto il farmaco, invece del placebo. Tale variazione è chiamata variazione controllata. Scoprire
l'effetto di un esperimento equivale a confrontare y (ad esempio se un soggetto guarisce o meno
dalla malattia) tra i vari valori di x (se un soggetto ha ricevuto o meno il farmaco). Al contrario, nei
dati osservativi, nessuna variabile è completamente controllata da uno sperimentatore o da
18
qualsiasi altra persona. La maggior parte dei dati utilizzati nell'analisi aziendale, economica e politica
sono osservativi. Le variabili tipiche in tali dati sono i risultati delle decisioni di molte persone con
obiettivi e circostanze divergenti, come clienti, dirigenti di aziende, amministratori di un governo o
membri del consiglio di amministrazione dell'autorità monetaria. Quindi, in genere, la variazione in
queste variabili ha più fonti.

4.9 Main Takeaways

L'analisi dei dati risponde alla maggior parte delle domande confrontando i valori di y con i valori di
x.

 Sii esplicito su cosa sono y e x nei tuoi dati e su come sono correlati alla domanda della tua
analisi.
 E[y|x] è la media y condizionata a x. • Spesso vengono utilizzate molte variabili x per la
previsione e potremmo ulteriormente condizionare molte altre variabili per l'analisi causale.

DOMANDE DI PRATICA
1. Fornisci un esempio con due eventi indipendenti. Eventi indipendenti possono verificarsi
contemporaneamente?
2. Fornisci un esempio di due eventi reciprocamente esclusivi. Eventi reciprocamente esclusivi
possono verificarsi contemporaneamente?
3. Qual è la probabilità condizionata di un evento? Fornisci un esempio.
4. Qual è la media condizionata di una variabile? Fornisci un esempio.
5. In che modo il coefficiente di correlazione è correlato alla covarianza? Qual è il segno di ciascuna
quando due variabili sono associate negativamente, positivamente o indipendenti?
6. Descrivi a parole cosa significa che i prezzi degli hotel e la distanza dal centro città sono correlati
negativamente.
7. Quando vogliamo confrontare la media di una variabile per i valori di un'altra variabile, abbiamo
bisogno di variazione nella variabile di condizionamento. Spiega questo.
8. Qual è la differenza tra le fonti di variazione in x nei dati sperimentali e nei dati osservativi?
9. Qual è la distribuzione congiunta di due variabili e come possiamo visualizzarla? 10. Cos'è uno
scatterplot? Come appare per due variabili quantitative, ciascuna delle quali può essere positiva
solo se le due variabili sono correlate positivamente?
11. Cos'è uno scatter bin e a cosa serve?
12. Cos'è una variabile latente e come possiamo usare le variabili latenti nell'analisi dei dati? Fornisci
un esempio.

19
13. Elenca due modi per combinare più misure della stessa variabile latente nei tuoi dati per
un'analisi più approfondita ed elenca un vantaggio e uno svantaggio di ogni modo.
14. Vuoi sapere se lavorare su casi di studio in gruppo o lavorarci in modo indipendente è un modo
migliore per imparare a programmare in R. Quali sarebbero le tue variabili y e x qui e come le
misureresti?
15. Riesci a capire dalla forma di uno scatter bin se y e x sono correlate positivamente? Riesci a
capire da questo quanto è forte la loro correlazione?
ESERCIZI SUI DATI
Gli esercizi più semplici e/o più brevi sono indicati da [*]; gli esercizi più difficili e/o più lunghi sono
indicati da [**].
1. Gli hotel centrali sono migliori? Per rispondere a questa domanda, utilizzando il dataset hotels-
vienna (come discusso nel Capitolo 3, Sezione 3.A1), crea due categorie in base alla distanza dal
centro: vicino e lontano (scegliendo un limite a tua scelta). Mostra statistiche riassuntive, confronta
stelle, valutazioni e prezzi per hotel vicini e lontani. Crea grafici a barre sovrapposti, box plot e grafici
a violino. Riassumi i tuoi risultati. [*]
2. Utilizzando il dataset wms-management-survey, scegli un paese diverso dal Messico, riproduci
tutte le figure e le tabelle del nostro studio di caso e confronta i tuoi risultati con quanto abbiamo
trovato per il Messico. [*]
3. Utilizza il dataset wms-management-survey da un paese a tua scelta e crea un punteggio di
gestione da un sottoinsieme significativo dei 18 elementi (ad esempio, gestione dei talenti). Esegui
un'analisi per scoprire i modelli di associazione con l'occupazione. Riassumi ciò che trovi e
commenta quale visualizzazione ritieni più utile. [*]
4. Utilizza il set di dati wms-management-survey di un paese a tua scelta e produci una componente
principale utilizzando tutti i 18 elementi per formare una variabile di punteggio di gestione
alternativa. Utilizza questa componente principale e il punteggio di gestione medio semplice per
produrre dispersioni di bin, diagrammi di dispersione e calcolare statistiche condizionali per scoprire
i modelli della loro associazione con l'occupazione. Confronta i tuoi risultati e commenta quale
misura y utilizzeresti per presentarli. [*]
5. Utilizza il set di dati di calcio e scegli una stagione. Crea tre gruppi di squadre, in base alle loro
prestazioni nella stagione precedente (le nuove squadre provengono dalla divisione inferiore e puoi
inserirle nel contenitore più basso). Esamina l'entità del vantaggio della squadra di casa (come nel
Capitolo 3, Sezione 3.C1) confrontandolo tra questi tre gruppi di squadre. Produci dispersioni di bin
e diagrammi di dispersione e calcola statistiche condizionali. Discuti di ciò che hai trovato e
commenta quale visualizzazione ritieni più utile. [**]
RIFERIMENTI E ULTERIORI LETTURE Per quanto riguarda il World Management Survey, troverai
molte letture sul sito web del sondaggio all'indirizzo
[Link] con link ai documenti.
Per una prospettiva aziendale, potresti dare un'occhiata all'articolo di Harvard Business Review di

20
Bloom et al. (2017). Per una revisione più dettagliata del progetto, prendi in considerazione la
lettura di Bloom et al. (2014).

4.U1 UNDER THE HOOD: INVERSE CONDITIONAL PROBABILITIES, BAYES’ RULE

Come abbiamo introdotto nella Sezione 4.3, le probabilità condizionali inverse sono due probabilità
condizionali, in cui il ruolo dell'evento di condizionamento e dell'evento condizionale sono invertiti:
P(evento1 | evento2) e P(evento2 | evento1). In questa sezione discutiamo la loro relazione reciproca.
Supponiamo di voler sapere se un atleta ha fatto uso di una sostanza illegale (doping). In questo
caso raccogliamo i test di laboratorio. Il risultato positivo del test indica che c'è una sostanza illegale
nel corpo dell'atleta? In altre parole, siamo interessati a sapere se l'atleta ha fatto uso di doping
dato il risultato positivo del test. Ma i test sono imperfetti, quindi un risultato del test non rivelerà
con certezza il doping. Invece, ciò che possiamo sperare è una probabilità: la probabilità che
qualcuno abbia fatto uso di doping, o non fatto uso di doping, dato il risultato del test. Queste sono
probabilità condizionali: P(dopato | positivo) e P(non dopato | positivo). (Conoscere uno di questi
due dà l'altro, poiché la somma dei due è uno.) L'imperfezione dei test significa che possono dare
risultati positivi anche se gli atleti non si dopano: P(positivo | non dopato) > 0.
I test utilizzati nella vita reale sono solitamente convalidati, quindi il livello della loro imperfezione
è noto. Quindi in genere conosciamo P(positivo | non dopato). Ciò che ci interessa è la probabilità
inversa: P(non dopato | positivo). La relazione delle probabilità condizionali inverse ci dice come la
natura imperfetta di un test antidoping determina quanto possiamo essere sicuri di concludere che
un atleta si è dopato se il risultato del test è positivo.
Le due probabilità condizionali inverse sono correlate, sebbene la loro relazione possa sembrare
complicata.
Possiamo derivarne una dall'altra usando la formula che collega le probabilità condizionali e le
probabilità congiunte, poiché entrambe sono correlate alla stessa probabilità congiunta, la
probabilità che si verifichino sia l'evento 1 che l'evento 2. La relazione è chiamata regola di Bayes
dal nome del reverendo Bayes che per primo espresse questa formula, nel diciassettesimo secolo.
𝑃(𝑒𝑣𝑒𝑛𝑡𝑜1 |𝑒𝑣𝑒𝑛𝑡𝑜2 )𝑃(𝑒𝑣𝑒𝑛𝑡𝑜2 )
𝑃(𝑒𝑣𝑒𝑛𝑡𝑜2 |𝑒𝑣𝑒𝑛𝑡𝑜1 ) =
𝑃(𝑒𝑣𝑒𝑛𝑡𝑜2 )
Che a sua volta può essere riscritto come:
𝑃(𝑒𝑣𝑒𝑛𝑡𝑜1 |𝑒𝑣𝑒𝑛𝑡𝑜2 )𝑃(𝑒𝑣𝑒𝑛𝑡𝑜2 )
𝑃(𝑒𝑣𝑒𝑛𝑡𝑜2 |𝑒𝑣𝑒𝑛𝑡𝑜1 ) =
𝑃(𝑒𝑣𝑒𝑛𝑡𝑜1 |𝑒𝑣𝑒𝑛𝑡𝑜2 )𝑃(𝑒𝑣𝑒𝑛𝑡𝑜2 ) + 𝑃(𝑒𝑣𝑒𝑛𝑡𝑜1 |~𝑒𝑣𝑒𝑛𝑡𝑜2 )𝑃(~𝑒𝑣𝑒𝑛𝑡𝑜2 )

Il messaggio più importante di questa formula è che le probabilità condizionali inverse non sono le
stesse in generale. La formula è anche complicata. Invece di memorizzare la formula, suggeriamo di
usare un approccio diverso. Questo approccio equivale a pensare in termini di frequenze e
proporzioni al posto di probabilità astratte. Consideriamo il nostro esempio sul doping: qual è la
probabilità che un atleta sia dopato (o non dopato) se riceve un risultato positivo al test? Iniziamo
supponendo che un quinto degli atleti si dopi. Su, diciamo, 1000 atleti, ciò significa 200 dopati e 800

21
non dopati. Consideriamo un test che è imperfetto ma non pessimo: mostra sempre un risultato
positivo quando l'atleta si dopa, ma mostra anche risultati positivi il 10% delle volte se un atleta non
si dopa. Il primo significa che il test sarà positivo per tutti i 200 dopati. Quest'ultimo significa che il
test sarà positivo anche per il 10% dei non dopati, che sarebbero 80 su 800. In totale abbiamo 280
test positivi su 1000. Di questi 280 positivi 200 sono dopati e 80 non dopati. Non sappiamo quali
200 sono dopati e quali 80 non dopati, ma possiamo usare queste cifre per calcolare le probabilità.
La probabilità che un atleta sia dopato se il suo test è positivo è di circa 200/280 = 71%. La probabilità
che un atleta non sia dopato se il suo test è positivo è di circa 80/280 = 29%. Questo può sembrare
sorprendente: un'imperfezione relativamente piccola (il 10% di risultati positivi per i non dopati) si
traduce in un calo molto più grande della nostra fiducia: la possibilità che un test positivo non si sia
dopato in realtà è del 29%. (Elaborando le formule si ottiene lo stesso risultato.)
La probabilità condizionata inversa è maggiore perché siamo partiti dal presupposto che solo il 20%
degli atleti si dopa.
Questo esempio evidenzia diverse cose importanti. Innanzitutto, elaborare le frequenze non è
semplicissimo, ma è fattibile. In secondo luogo, indipendentemente da come eseguiamo il calcolo,
abbiamo bisogno della probabilità che il test risulti positivo per ciascuno dei gruppi, dopati e non
dopati (questi sono P(evento1 | evento2) e P(evento1 | ∼ evento 2)).
Terzo, abbiamo bisogno della frazione complessiva di atleti che si dopano. Questa è P(evento2) nelle
formule sopra.
Questa proporzione è talvolta chiamata tasso di base. Senza il tasso di base non possiamo calcolare
la probabilità inversa. Sfortunatamente, potremmo non conoscere il tasso di base. Una buona
pratica in questi casi è quella di utilizzare diversi valori plausibili e fornire un intervallo di probabilità
condizionali inverse. Nel nostro esempio, abbiamo ipotizzato un tasso di base del 20%: 200 atleti su
1000 usano il doping. Se invece ipotizzassimo un tasso di base del 5% (50 su 1000 dopati), un test
con un tasso di positività del 10% per i non dopati (e un tasso di positività del 100% per i dopati)
risulterebbe in 50 dopati tra i risultati positivi e 95 non dopati (il 10% di 950). Pertanto la probabilità
di doping condizionata a un test positivo è solo del 34% (= 50/(50 + 95). D'altro canto, se
assumessimo un tasso di base del 50% (500 su 1000 dopati), lo stesso test darebbe come risultato
500 dopati tra i risultati positivi e 50 non dopati. In questo caso la probabilità di doping condizionata
a un test positivo è un alto 91% (= 500/(500 + 50). Il tasso di base ha un effetto sostanziale sul
risultato. Con pochi dopati, un test imperfetto darebbe risultati più fuorvianti rispetto allo stesso
test imperfetto con molti dopati.

22