ML, GLS e IV

Prof. Wagner Oliveira Monteiro

2017

Prof. Wagner Oliveira Monteiro () Econometria 2017 1 / 25

ML, GLS e IV

1 Estimação Por Máxima Verossimilhança do Modelo Linear

2 Teste de Razão de Verossimilhança, Wald e de Multiplicador de
Lagrange
3 Estimação Por Máxima Verossimilhança do Modelo Linear com Erros
Não Esféricos
4 Estimador de Variável Instrumental

Prof. Wagner Oliveira Monteiro () Econometria 2017 2 / 25

Estimação Por Máxima Verossimilhança do Modelo Linear
O modelo matricial utilizado para a regressão múltipla é dad0 por
y = X β + u com u N 0, σ2 I
e neste caso a função de verossimilhança multivariada será dada por

1 1 T
f (u ) = n exp u u
(2πσ2 ) 2 2σ2
e aplicando logartimo neperiano obtemos a função log de verossimilhança
n n 1 T
l = ln f (y j X ) = ln f (u ) = ln 2π ln σ2 u u
2 2 2σ2
n n 1 T
= ln 2π ln σ2 2
(y X β ) (y X β)
2 2 2σ
e neste caso o vetor de parâmetros e dado por
h i
θ = βT , σ 2

Prof. Wagner Oliveira Monteiro () Econometria 2017 3 / 25

Estimação Por Máxima Verossimilhança do Modelo Linear

Aplicando as derivadas parciais na função de log verossimilhança obtemos

∂l 1
= XT y + XT Xβ
∂β σ2
∂l n 1 T
= + 4 (y X β ) (y X β)
∂σ2 2σ 2 2σ
e igualando a zero e resolvendo para cada um dos parâmetros

1
β̂MV = XT X XT y
T T
(y X β ) (y X β) u u
σ̂2MV = =
n n
Observe que o estimador de máxima verossimilhança para a variância é
viesado.
Prof. Wagner Oliveira Monteiro () Econometria 2017 4 / 25
Estimação Por Máxima Verossimilhança do Modelo Linear
Nosso próximo passo é de…nir a matriz de informação I (θ ) que será útil
para derivar testes de restrição a partir da estimação por máxima
verossimilhança.
2 3
∂2 l ∂2 l
β E ∂β∂βT
E ∂β∂σ2
I (θ ) = I 2 =4 2l ∂2 l
5=
σ ∂
E ∂β∂σ2 E
∂ ( σ 2 )2
2 T
3 " #
XTu
E Xσ2X E 4 XTX
0
= 4 5=
σ
T σ2
XTu n
E E 2σ4 n u u 0 2σ4
σ4 σ6

e perceba que a sua inversa informa a variância dos parâmetros estimados

" #
1
1 β σ2 X T X 0
I =
σ2 0 2σ4
n
Com essas de…nições poderemos derivar testes de restrições linear para β
com H0 : R β = r onde R é uma matriz com dimensão q k (q < k ) de
constantes conhecidas e r é um vetor conhecido de dimensão q 1.
Prof. Wagner Oliveira Monteiro () Econometria 2017 5 / 25
Teste de Razão de Verossimilhança (LR)
A estatística do teste é de…nida por
h i
a
LR = 2 ln λ = 2 ln L β̂, σ̂2 ln L β̃, σ̃2 χ2 (q )

onde β̃ e σ̃2 são as estimativas do modelo restrito. A ideia do teste é

comparar o valor do log de verossimilhança. Se os valores foram próximos
o valor da estatística tenderá para zero e neste caso a hipótese nula não
poderá ser rejeitada. Outra possibilidade de apresentação do teste é dada
por
eT e eT e
LR = n ln e T e ln e T e = n ln 1 +
eT e
0 1
1
= n ln @ eT e eT e
A
1 eT e

onde e T e representa a soma dos quadrados dos resíduos do modelo

restrito. Perceba que o teste de LR necessita que os modelos restrito e
irrestrito sejam estimados.
Prof. Wagner Oliveira Monteiro () Econometria 2017 6 / 25
Teste de Wald
Diferentemente do teste LR no teste de Wald apenas o modelo irrestrito
precisa ser estimado. A ideia deste teste é veri…car o quanto próximo de
zero será o valor de R β̂ r pois quanto menor esse valor maior a
possibilidade de não rejeitar a hipótese nula. Já vimos anteriormente a
expressão a seguir quanto tratamos de inferência
T
h i 1
a
R β̂ r RI 1 β̂ R T R β̂ r χ2 (q ) .
A diferença agora é que ao invés da variância temos o inverso da matriz de
informação de…nida anteriormente. Se substituirmos pelos valores
encontrados para a inversa desta matriz obtemos a estatística de Wald
T 1
R β̂ r R X T X RT R β̂ r a
W = 2
χ2 (q )
σ̂
e que também pode ser calculada como
n eT e eT e a
W = χ2 (q )
eT e
Prof. Wagner Oliveira Monteiro () Econometria 2017 7 / 25
Teste de Multiplicador de Lagrange (LM)

O teste LM também é conhecido como teste de escore dado que ele é

baseado no escore ou vetor gradiente da estimação de verossimilhança
dada por
∂ ln L ∂l
s (θ ) = =
∂θ ∂θ
e a partir do escore e da inversa da matriz de informação podemos de…nir
a seguinte estatística de teste
a
LM = s T θ̃ I 1
θ̃ s θ̃ χ2 (q )

onde θ̃ representa o vetor de parâmetros do modelo restrito.

Prof. Wagner Oliveira Monteiro () Econometria 2017 8 / 25

Teste de Multiplicador de Lagrange (LM)

Para o modelo de regressão múltipla temos que

" #
1
∂l
σ2
XT u
s (θ ) = ∂β
= n T
∂l
∂σ2 2σ2
+ 2σ1 4 u u

eT e
e no caso do modelo restrito onde e = y X β̃ e σ̃2 = n e sob a
hipótese nula temos que R β̃ = r
1
σ̃2
XT e
s (θ ) =
0

Prof. Wagner Oliveira Monteiro () Econometria 2017 9 / 25

Teste de Multiplicador de Lagrange (LM)
E com a inversa da matriz de informação dada por
" #
2 TX 1
σ̃ X 0
I 1 θ̃ = 2 σ̃4
0 n
Substituindo todas essas informações obtemos que
" #
h i 1 1
XT e
XTe σ̃2 X T X 0 σ̃2
LM = σ̃2
0 2 σ̃4
0 n
0
1 1
eT X X T X XT e ne T X X T X XT e
= =
σ̃2 eT e
e que pode ser reescrita como

LM = nR 2 .

Prof. Wagner Oliveira Monteiro () Econometria 2017 10 / 25

Estimação Do Modelo Linear com Erros Não Esféricos
Vamos supor agora que o nosso modelo de regressão múltipla terá erros
não esféricos, ou seja, a matriz de variância-covariância dos erros será
dada por σ2 Ω ao invés de σ2 I onde Ω é uma matriz positiva de…nida.
y = X β = u com u N 0, σ2 Ω
Obtemos para este caso a função de verossimilhança multivariada

n 1 1 T 2 1
f (u ) = (2π ) 2 σ2 Ω 2
exp u σ Ω u
2
n n 1 1 T 1
= (2π ) 2 σ2 2
jΩj 2 exp u (Ω) u
2σ2
e aplicamos o log para obter a log verossimilhança
n n 1 1 T
l = ln (2π ) ln σ2 ln jΩj 2
u (Ω) 1 u
2 2 2 2σ
n n 1 1
= ln (2π ) ln σ 2
ln jΩj (y X β )T ( Ω ) 1
(y X β)
2 2 2 2σ2
Prof. Wagner Oliveira Monteiro () Econometria 2017 11 / 25
Estimação Do Modelo Linear com Erros Não Esféricos
Derivando em relação aos parâmetros

∂l 1 T
= X (Ω) 1 y X T (Ω) 1 X β
∂β σ2
∂l n 1
= + 4 (y X β )T ( Ω ) 1 (y X β)
∂σ2 2σ 2 2σ
e igualando a zero e resolvendo obtemos os estimadores de máxima
verossimilhança.

1
1 1
β̂ = X T (Ω) X X T (Ω) y
1 T 1
σ̂2 = y X β̂ (Ω) y X β̂
n
Perceba que só é possível utilizar as fórmulas acima caso a matriz Ω seja
conhecida.
Prof. Wagner Oliveira Monteiro () Econometria 2017 12 / 25
Mínimos Quadrados Generalizados - GLS

Como a matriz Ω é positiva de…nida sua inversa também sera e ela pode
ser decomposta em duas matrizes não singulares

Ω 1
= PT P
Substituindo esta decomposição no estimador encontrado para erros não
esféricos obtemos.
1 1
β̂ = X T P T PX X T P T Py = (PX )T PX (PX )T (Py )

Ou seja é o nosso tradicional estimador de mínimos quadrados ordinários

porém cada uma das variáveis foi transformada antes de se realizar a
estimação. Ou seja, ao invés do modelo y = X β + u temos
Py = PX β + Pu ) y = X β = u .

Prof. Wagner Oliveira Monteiro () Econometria 2017 13 / 25

Mínimos Quadrados Generalizados - GLS

Neste caso a variância dos erros será dada por

var (u ) = E Puu T P T
= σ2 PΩP T
1
= σ2 PP 1
PT PT
= σ2 I

Ou seja aplicando esta transformação voltamos a obtermos erros esféricos!

Ou seja, o estimados de mínimos quadrados volta a ser BLUE.

Prof. Wagner Oliveira Monteiro () Econometria 2017 14 / 25

Mínimos Quadrados Generalizados - GLS

Com isso podemos de…nir o estimado de mínimos quadrados generalizados

1
β̂GLS = XT X XT y
1
1 1
= X T (Ω) X X T (Ω) y

e que terá variância dada por

1
var β̂GLS = σ2 X T X
1
1
= σ2 X T ( Ω ) X

Prof. Wagner Oliveira Monteiro () Econometria 2017 15 / 25

Mínimos Quadrados Generalizados - GLS

O estimador não viesado para a variância dos resíduos será dado por

T
2 y X β̂GLS y X β̂GLS
s =
n k
T
P y X β̂GLS P y X β̂GLS
=
n k
T
y X β̂GLS Ω 1 y X β̂GLS
=
n k

Prof. Wagner Oliveira Monteiro () Econometria 2017 16 / 25

Mínimos Quadrados Generalizados - GLS

E com isso podemos testar hipóteses lineares pois assim como no estimador
de mínimos quadrados ordinários podemos derivar a estatística F abaixo.

H0 : R β = r

T
h 1
i 1
(r R β̂GLS ) R (X T Ω 1X
) RT (r R β̂GLS )
q
F = F (q, n k)
s2

Prof. Wagner Oliveira Monteiro () Econometria 2017 17 / 25

Variáveis Instrumentais

O estimador de mínimos quadrados ordinários é não viesado como visto

anteriormente. Porém para isso é necessário que as variáveis explicativas
não sejam correlacionadas com o termo de erro, ou seja, E (Xe ) = 0.
Caso contrário temos o problema de endogeneidade. Vejamos um exemplo
simples. Suponha o seguinte modelo y = x β + u. Porém conseguimos
observar x mas não x̃ que é o correto. Então a variável explicativa
observada é dada pela verdadeira adicionada a um termo de erro, ou seja,
x = x̃ + v . Logo o modelo que será efetivamente estimado será
y = x β + u quando o correto deveria ser y = x̃ β + u.
Nesta situação o estimador de mínimos quadrados será dado por

∑ yx ∑ (x̃ β + u ) x ∑ x̃x ∑ ux
β̂ = = =β +
∑x 2
∑x 2
∑x 2
∑ x2

Prof. Wagner Oliveira Monteiro () Econometria 2017 18 / 25

Variáveis Instrumentais
Claramente se aplicarmos o operador de esperança na última igualdade do
slide anterior percebemos que neste caso o estimador de mínimos
quadrados será viesado.
Por isso devemos veri…car quais serão as propriedades assintóticas neste
caso
1
n∑
plim x2 = σ2x̃ + σ2v

1
n∑
plim x̃x = σ2x̃

1
n∑
plim ux = 0

logo temos que

σ2x̃
plim β̂ =
+ σ2v σ2x̃
Conclusão: mesmo em termos assintóticos o estimador será viesado neste
caso.
Prof. Wagner Oliveira Monteiro () Econometria 2017 19 / 25
Variáveis Instrumentais
A mesma conclusão é obtida caso tratemos do modelo de regressão
múltipla dado por y = X β + [Link] que o estimador é dado por
1
β̂ = X T X XT y
temos que
1
β̂ = β + X T X XT u
que em termos assintóticos …ca
1
!
XT X XT u
plim β̂ = β + plim plim
n n
1
(X T X )
E se assumirmos que plim n = ∑XX é uma matriz positiva
XTu
de…nida de posto cheio e plim n = ∑Xu 6= 0 teremos
plim β̂ = β + ∑XX ∑Xu .
Prof. Wagner Oliveira Monteiro () Econometria 2017 20 / 25
Variáveis Instrumentais

Este problema pode ser resolvido caso seja possível encontrar uma matriz
Z de dimensão n l com l k que tenha as seguintes propriedades:
1 As variáveis da matriz Z são correlacionadas com as variáveis da
T
matriz X e plim Z n X = ∑ZX seja …nita com posto cheio.
2 As variáveis da matriz Z são, no limite, não correlacionadas com o
T
termo de erro, ou seja, plim Z n u = ∑Zu = 0.

Prof. Wagner Oliveira Monteiro () Econometria 2017 21 / 25

Variáveis Instrumentais
Se for possível encontrar tal matriz Z veja o que acontece com o modelo
caso o pré-multipliquemos por ela
Z T y = Z T X β + Z T u com var Z T u = σ2 Z T Z
Isto sugere o uso do modelo de mínimos quadrados generalizados visto
anteriormente. Neste caso o estimador resultante é
1 1 1
T T T
β̂GLS = β̂IV = X Z Z Z Z X XT Z ZT Z ZT y
1
= X T PZ X X T PZ y
A matriz de variância-covariância será dada por
1
var β̂IV = σ2 X T PZ X
sendo que o estimador consistente para a variância será dado por
T
2 y X β̂IV y X β̂IV
σ̂ =
Prof. Wagner Oliveira Monteiro () Econometria
n 2017 22 / 25
Variáveis Instrumentais
Podemos observar a consistência do estimador neste caso por meio de suas
propriedades assintóticas.
1
1 T 1 T
β̂IV = β + X PZ X X PZ u
n n
sendo que
1
1 T 1 T 1 T 1 T
X PZ X = X Z Z Z Z X
n n n n
e
1
1 T 1 T 1 T
X T PZ u =
X Z Z Z Z u
n n n
Em termos assintóticos as duas igualdades anteriores se tornam
1
plim X T PZ X = ∑XZ (∑ZZ ) ∑ZX
1
plim X T PZ u = ∑XZ (∑ZZ ) ∑Zu = 0

Prof. Wagner Oliveira Monteiro () Econometria 2017 23 / 25

Variáveis Instrumentais - Caso Especial
Se l = k a matriz de instrumentos Z terá o mesmo número de variáveis
explicativas do modelo, ou seja, o mesmo número de colunas de X. Neste
caso X T Z é uma matriz quadrada com dimensão k k e não singular e
por isso o estimador de variáveis instrumentais será simpli…cado
1 1 1
β̂IV = XT Z ZT Z ZT X XT Z ZT Z ZT y
1
= ZT X ZT y
e teremos a variância do estimador dada por
1 1
var β̂IV = σ2 Z T X ZT Z ZT X

É importante frisar que este resultados é válido apenas se tivermos para

cada variável explicativa tivermos um único instrumento de formar que o
número de colunas seja idêntico entre as duas matrizes. Caso o número de
instrumentos fosse menor que o de variáveis explicativas (l < k ) não seria
possível realizar a inversão de matrizes.
Prof. Wagner Oliveira Monteiro () Econometria 2017 24 / 25
Variáveis Instrumentais - Dois Estágios
O estimador de variáveis instrumentais também pode ser interpretado
como a aplicação dupla do estimador de mínimos quadrados:
Estágio 1: Faça a regressão de cada variável da matriz X contra a
matriz Z para obter uma matriz com os valores estimados de
X , ou seja, X̂ .
1
X̂ = Z Z T Z Z T X = PZ X

Estágio 2: Faça a regressão de Y contra X̂ para obter o estimador de

mínimos quadrados em dois estágios.
1
β̂2SLS = X̂ T X̂ X̂ y
1
= X T PZ X PZ Xy
= β̂IV

Prof. Wagner Oliveira Monteiro () Econometria 2017 25 / 25