I.

4 Distribuição Normal Multivariada

• Normal univariada
( µ ¶2)
1 1 x−µ
f (x) = √ exp − , −∞ < x < ∞
2πσ 2 2 σ
Podemos escrever
µ ¶2 ³ ´−1
x−µ
= (x − µ) σ 2 (x − µ)
σ

1
 • Pode generalizar para x(p×1) :

(x − µ)t Σ−1 (x − µ)
Onde:
µ = E (X) - vetor (p × 1) e
Σ é a matriz de covariância de X, positiva definida.

• O fator de normalização é (2π)−p/2 |Σ|−1/2

2
 Densidade Normal p-variada para o vetor
¡ ¢t
X = X1, ..., Xp é:

1 t
1 (x−µ) Σ−1(x−µ)
f (x) = −
e 2 ,
(2π)−p/2 |Σ|−1/2
−∞ < xi < ∞; i = 1, ..., p

Notação: Np (µ, Σ)

3
Exemplo: Densidade Normal Bivariada (p=2)

µ1 = E (X1) , µ2 = E (X2) ;
σ11 = V ar (X1) , σ22 = V ar (X2) e
√
ρ12 = σ12/ σ11σ22 = corr (X1, X2)
· ¸
σ11 σ12
Σ=
σ21 σ22
· ¸
1 σ11 σ12
Σ−1 = 2
σ11σ22 − σ12 σ21 σ22

4
 ³ ´
2 = σ σ 2
σ11σ22 − σ12 11 22 1 − ρ12 e
µ ¶2 µ ¶2
t −1 1 x1 − µ1 x2 − µ2
(x − µ) Σ (x − µ) = 2
[ + −
1 − ρ12 σ11 σ22
µ ¶µ ¶
x1 − µ1 x2 − µ2
−2ρ12 ]
σ11 σ22
e
³ ´
|Σ| = σ11σ22 1 − ρ212

5
 1
f (x1, x2) = q ¡ ¢ ×
2π σ11σ22 1 − ρ212
½ ¾
1 0 −1
× exp − (x − µ) Σ (x − µ)
2

• Se ρ12 = 0 ⇒ f (x1, x2) = f (x1) f (x2) e X1, X2 são indepen-

dentes.

6
 Contorno com densidade constante:
n o
• x; (x − µ)t Σ−1 (x − µ) = c2 = superfície de um elipsóide
centrado em µ.
• Eixos desse elipsóide estão na direção dos vetores próprios de
Σ e têm comprimento proporcionais aos recíprocos das raízes
quadradas dos valores próprios de Σ−1.

• Resultado 4.1:Σ positiva definida ⇒ Σ−1existe. Ainda mais

Σe = λe ⇒ Σ−1e = λ1 e, logo se (λ, e) é um par auto valor-
auto vetor de Σ, então (1/λ, e) é um par correspondente para
Σ−1. Σ−1 é positiva definida.

7
 t
• Resumo 2: (x − µ) Σ−1 (x − µ) = c2 define um elipsóide
√ de
densidade constante, centrada em µ com eixos =±c λi onde
Σei = λiei, i = 1, ..., p.

8
 Propriedades da Normal Multivariada

• Combinações lineares ctX, ∀c são normais.

• Subconjuntos das componentes de X têm distribuição normal

multivariada.

• Covariância nula⇒componentes correspondentes são indepen-

dentes.

• Distribuição condicional das componentes são normais (multi-

variadas)

9
Matematicamente podemos exprimir:

• Resultado 4.2: Se X ∼ Np (µ, Σ), então:

t
³ 0 ´
a X = a1X1 + a2X2 + ... + apXp v N a µ, aΣa

• Se atX tem distribuição normal ∀a, então:

X ∼ Np (µ, Σ) .

• Resultado 4.3:Se X ∼ Np (µ, Σ) então:

10
 ³ t t
´
Aq×pXp×1 v Np A µ, AΣA
e
X + d v Np (µ + d, Σ)

11
 • Resultado 4.4:X ∼ Np (µ, Σ) . Particionando X ,µ e Σ :
· ¸ · ¸ · ¸
X1 µ1 Σ11 Σ12
X= µ= eΣ=
X2 µ2 Σ21 Σ22
então
a) X1 v Nq (µ1, Σ11)
b) Se X1 e X2 são independentes , então sempre é verdade que
Cov (X1, X2) = 0 (matriz de zeros).
c) X v Np (µ, Σ) então X1 e X2 são independentes ⇔ Σ12 = 0
d) Se X1 v Nq (µ1, Σ11) e X2 v Np−q (µ2, Σ22) são indepen-
dentes, então

12
· ¸ µ· ¸ · ¸¶
X1 µ1 Σ11 0
∼ Np , .
X2 µ2 0 Σ22

13
 · ¸ · ¸
X1 µ1
Resultado 4.5: Se X = ∼ Np (µ, Σ), com µ = e
X2 µ2
· ¸
Σ11 Σ12
Σ= , |Σ22| > 0. A distribuição condicional de X1 dado
Σ21 Σ22
X2 = x2 é normal com :

• Média

µ1 + Σ12Σ−1
22 (x2 − µ2)
• Matriz de Covariância:

Σ11 − Σ12Σ−1
22 Σ21

14
• Caso Normal Bivariado: A distribuição condicional de (X1|X2)
é
à !
σ11 2
σ12
N µ1 + (x2 − µ2) , σ11 −
σ22 σ22

• Resultado 4.6: X ∼ Np (µ, Σ) com |Σ22| > 0. Então

t
(X − µ) Σ−1 (X − µ) ∼ χ2p e
h i
P (X − µ)t Σ−1 (X − µ) ≤ χ2p (α) = 1 − α

15
• Resultado 4.7: X1, X2, ..., Xn independentes Xi ∼ Np (µi, Σ)
(mesma matriz de covariância), então
   
X n Xn
V1 = c1X1 + ... + cnXn ∼ Np  ciµi,  c2i  Σ
i=1 i=1

• Mais ainda, V1 e V2 = b1X1 + ... + bnXn têm distribuição

conjunta normal multivariada com matriz de covariância:
Ã ! 
Pn ³ t
´
 2
ci Σ bc Σ 
 i=1 
 Ã ! 
 ³ t ´ Pn 
 
bc Σ b2i Σ
i=1
16
 t n
P
V1 e V2 são independentes se b c = bici = 0.
i=1

17
 Estimadores de Máxima Verossimilhança:

• X1, X2, ..., Xn independentes com distribuição Np (µ, Σ) . Den-

sidade conjunta de X1, X2, ..., Xn :

f (x1, x2, ..., xn|µ, Σ) =

n
Y 0 −1
1 1
= e− 2 (xi−µi) Σ (xi−µi) =
p/2 1/2
i=1 (2π) |Σ|
n
P 0 −1
1 1 − 12 (xi−µi) Σ (xi−µi)
= e i=1
np/2 |Σ|n/2
(2π)

18
 • Considerando x1, x2, ..., xn fixos e

L (µ, Σ) = f (x1, x2, ..., xn|µ, Σ)

como função de (µ, Σ), L (µ, Σ) é a função de verossimilhança.

• Critério: escolher valores dos parâmetros que maximizam a

verossimilhança. tais valores são os estimadores de máxima
verossimilhança.

19
 • Resultado 4.8:X1, X2, ..., Xn amostra aleatória de uma Np (µ, Σ)
então

b = X;
µ
Xn
b 1 0
Σ= (Xi − X) (Xi − X) =
n
i=1
n−1
= S
n
são os estimadores de máxima verossimilhança de µ e Σ respecti-
vamente.

20
• O máximo da função de verossimilhança é
³ ´ 1 1
L µ b =
b, Σ e−np/2 ¯ ¯n/2
(2π)np/2 ¯b¯
¯Σ¯
como
¯ ¯
¯b¯
¯Σ¯ = [(n − 1) /n]p |S|
³ ´
L µ b = cte × (V ar. Generalizada)−n/2
b, Σ

21
Ainda mais:
1. µ ¶
Σ
X ∼ Np µ,
n
2.
(n − 1) S v W hishart (n − 1) g.l
(a)
X e S são independentes
3. Wishart com m gl:

m
X 0
Wm (.|Σ) v ZiZi;
i=1
Zi v N (0, Σ) i.i.d.
22
 Distribuição Assintótica de X e de S

• Teorema Central do Limite: X1, X2, ..., X √n independentes

¡ ¢
com média µ e covariância finita Σ. Então n X − µ tem
distribuição aproximada Np (0, Σ) para n grande(n grande c.r.
a p).

• Pela Lei dos grandes números :X → µ e S → Σ em probabili-

dade.

23
Temos
¡ ¢t −1 ¡ ¢
n X−µ Σ X − µ v χ2p
• quando
µ ¶
Σ
X v Np µ, ou
n
√ ¡ ¢
n X − µ v Np (0, Σ)

24
 ¡ ¢0 −1 ¡ ¢
• Logo a distribuição de n X − µ Σ X − µ é aproximada-
mente χ2p quando X é aproximadamente normal.

• A aproximação vale quando substituímos Σ−1 por S −1 para n

grande.

• Logo, X1, X2, ..., Xn independentes com média µ e covariância

finita Σ. Então aproximadamente:
√ ¡ ¢
n X − µ v Np (0, S)
e ¡ ¢0 −1 ¡ ¢
n X−µ S X − µ v χ2p
para (n − p) grande.
25
 Verificação da Normalidade dos Dados

• Na aplicação de muitas técnicas faz-se a hipótese de normali-

dade.
• Para n grande, dependendo só de X e de
¡ ¢t −1 ¡ ¢
n X−µ S X − µ , normalidade menos crucial.
• Importante detectar afastamentos sérios da normalidade. Para
isto tentamos responder:
1. Distribuições marginais de X parecem normais? E as com-
binações lineares das componentes de X?
2. O diagrama de pares de componentes de X têm a aparência
elíptica esperada no caso normal?
26
3. Alguma observação atípica(outlier) cuja precisão deve ser veri-
ficada?
Concentrar em 1 e 2 dimensões. Pode perder aspecto só revelado
em dimensões altas.

27
 Normalidade das Marginais Univariadas

1. Simetria do histograma. Cauda mais longa que a outra? Veri-

ficar:
¡ √ √ ¢
Proporção de valores em xi − ¡sii, xi + sii , que deve¢ ser aprox-
√ √
imadamente 68%; no intervalo xi − 2 sii, xi + 2 sii deve ser
aprox. 95%.
Sendo e pbi2 as proporções observadas nos intervalos acima, se
r
0, 68 × 0, 32 1, 396
pi1 − .68| > 3
|b = √ ou
r n n
0, 95 × 0, 05 0, 628
pi2 − .95| > 3
|b = √
n n
28
tem-se afastamento da normalidade para a i-ésima característica
(variável)
• Q-Q Plots. Quantil amostra versus quantil esperado sob nor-
malidade.
• Se os pontos ficam alinhados (aprox.) a normalidade é aceitável.
• Padrão de desvios fornece pista sobre natureza da não-normalidade

29
 Q-Q Plot
• x1, x2, ..., xn n observações da característica Xj.
• x(1) ≤ x(2) ≤ ... ≤ x(n) observações ordenadas.
• Os x0(i)s são quantis amostrais.
• Para x0is distintos i/n é a proporção de valores menores ou
iguais a x(i). Correção de continuidade: (i − 1/2) /n no lugar
de i/n.
• Gráfico de (i − 1/2) /n versus x(i): função de distribuição empírica.
• O Q-Q plot verifica concordância entre esse gráfico e o corre-
spondente sob normalidade.

30
• Quantis q(i) para normal padrão:
—
h i Z q(i) √ z 2
P Z ≤ q(i) = 1/ 2πe− 2 dz = p
−∞
• Tomando p(i) = (i − 1/2) /n podemos comparar a distribuição
empírica com a normal.
³ ´
• Idéia: plotar os pares de quantis q(i), xi com mesma proba-
bilidade acumulada (i − 1/2) /n.
• Distribuições semelhantes ⇒ pontos aprox. sobre reta.

31
• Grau de aderência do Q-Q plot a uma reta pode ser medido por
n ³
P ´³ ´
x(i) − x q(i) − q
rq = s i=1 s
Pn ³ ´2 Pn ³ ´2
x(i) − x q(i) − q
i=1 i=1

• Um dos melhores testes de normalidade é baseado em rq . Rejeita

hipótese se rq é menor que um valor apropriado.

32
• Importante investigar algumas combinações lineares das variáveis
c.r. a normalidade:

• Exemplo.: b e01xi onde S be1 = λb1b b1 o maior autovalor de

e1, com λ
0
S, xi = (xi1, xi2, ..., xin) é a i-ésima observação das p variáveis
X1, X2, ..., Xp.

e0pxi correspon-
• As vezes também é usada a combinação linear b
dente ao menor autovalor.

33
 Normalidade Bivariada
¡ ¢
• Se X ∼ Np (µ, Σ) então o par de componentes Xj , Xk tem
distribuição normal bivariada.
• Neste caso, contornos de igual densidade devem ser elipses.
• Diagrama de dispersão deve mostrar padrão aproximado de uma
elipse.

34
 • Por outro lado, o conjunto de pares xj , xk t.q.
· ¸0 · ¸
xj − µj xj − µj
Σ−1
jk ≤ χ22 (.5)
xk − µk xk − µk
tem probabilidade 50%.
• Espera-se que 50% dos pontos (aprox.) caiam na elipse :
· ¸0 · ¸
xj − xj −1 xj − xj
Sjk ≤ χ22 (.5)
xk − xk xk − xk

35
 • Método mais formal: considerar
2 0 −1
di = (xi − x) S (xi − x) , i = 1, 2, ..., n
onde x1, ..., xn são observações amostrais.

• Se x1, ..., xn são observações de uma normal multivariada e n

e n − p são grandes então d21, d22i , ..., d2n são aprox. χ2( qui-
quadrado).

36
 • Para verificar constrói-se um plot qui-quadrado
1. Ordenar as distâncias
d2(1) ≤ d2(2) ≤ ... ≤ d2(n)
2. Plotar os pontos
³ ´
d2(j), χ2p ((j − 1/2) /n)

onde
χ2p ((j − 1/2) /n)
é o quantil de χ2p correspondente. O plot deve ser aprox. uma reta.

37
 Transformações para aproximar da normal:

Escala Original Escala Transformada

√
Contagens y y ³ ´
pb
Proporções pb p) = 12 log 1−b
log it (b p³ ´
Correlações Z de Fisher Z (r) = 12 log 1−r 1+r

• Em geral, a transformação adequada é indicada pelos dados.

38
 Transformações de potências:
• Definidas para variáveis positivas. Pode somar cte a todas as
observações.
x - observação genérica; considerar transformações do tipo xλ:
−1 1 0 1/4 √
4 1/2 √
x = , x = ln x, x = x, x = x
| x {z }
encolhe valores grandes de x
x 2, x3, ...
| {z }
aumenta valores grandes de x
• A partir do histograma ver se deve “encolher” ou “espichar”
valores grandes. Levar em conta simplicidade e facilidade da
interpretação.
39
 Transformações de Box-Cox:
(
xλ−1 λ 6= 0, x > 0
x(λ) = λ
ln x λ = 0
Escolhe-se λ que maximiza:
 
n ³
X ´2 n
X
n 1 (λ)
l (λ) = − ln xi − x(λ)  + (λ − 1) ln xi
2 n
i=1 i=1
onde
n n
à !
(λ) 1 X (λ) 1 X xλi − 1
xi = xi =
n n λ
i=1 i=1

40
• Idéia: partir dos xλi normais com média e variância dadas pe-
los estimadores de máxima verossimilhança e obter de volta a
densidade dos x0s.
• Achar então o λ que maximiza a função de verossimilhança
obtida.

• Ex. tabela 4.1; Fig.4.6; Ex. 4.14 e Fig. 4.8.

41
 Box-Cox para observações multivariadas:
• Selecionar transformações para cada variável, determinando
λ1, λ2, ..., λp. Cada λq é obtido maximizando:

 
n  1 X ³ (λk ) ´2
n
l (λk ) = − ln xik − xk (λk )  (*)
2 n
i=1
Xn
+ (λk − 1) ln xik
i=1
onde x1k , , ..., xnk são as n observações da variável k = 1, 2, ..., p;
Xn
(λ ) 1 (λk )
xk k = xik
n
i=1
42
A i-ésima observação transformada é
 b 
λ
xi11 −1
 b 
(λ)  λ1 
xi = 
 ... 

 b 
xλp −1
bp
λ

onde λ b2, ..., λ

b1 , λ bp são os valores que maximizam (*) individual-
mente.

43
• O procedimento descrito tenta tornar cada marginal aprox. nor-
mal.
• Pode iniciar com os valores b1 , λ
λ b2, ..., λ
bp obtidos antes e iterar
¡ ¢
no sentido de obter λ = λ1, λ2, ..., λp que coletivamente max-
imizam

44
 ¡ ¢ n
l λ1, λ2, ..., λp = − ln |S (λ) | +
2
n
X
+ (λ1 − 1) ln xi1 +
i=1
Xn
+ (λ2 − 1) ln xi2 +
i=1
n
¡ ¢X
+... + λp − 1 ln xip (**)
i=1
onde S (λ) é a matriz de covariância amostral calculada de

45
  b

λ
xi11 −1
 b 
(λ)  λ1 
xi = 
 ...

 i = 1, ..., n
 λbp 
x −1
bp
λ

• Minimizar (**) é muito mais difícil que as expressões individuais.

• Em geral não melhora muito. Idéia semelhante a de antes com
verossimilhança normal multivariada.

46