Análise de Regressão Linear Múltipla: Estimação

Aula 09, Introdução à Econometria

Prof. Moisés A. Resende Filho

Capítulo 03, parte 2

08 de julho de 2022

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 1 / 31

1. Revisão

A regressão linear múltipla (RLM), ao possibilitar a inclusão de mais

que uma única variável explicativa e, assim, propiciar o uso de
especi…cações mais ‡exíveis com a inclusão de termos quadráticos,
cúbicos e de interação entre variáveis, retira fatores antes relegados
ao erro na RLS. Com isso, pode aumentar a plausibilidade ou
probabilidade de a hipótese crucial RLM.4 - E (u jx1 , x2 , ..., xk ) = 0 ser
verdadeira.
Contudo, nem sempre adicionar uma nova variável ou termo à RLM é
sem custo. Lembremos da possibilidade de variável colisora ou
collider, a qual, se adicionada à RLM, inviabiliza a hipótese crucial.

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 2 / 31

Revisão

Os estimadores MQO b βj , j = 0, 1, 2, ..., k são a solução do problema

de minimização da SQR ∑ni=1 u bi2 , ou seja, a solução de um sistema
linear de k + 1 CPOs.
Aplicando os estimadores MQO a uma amostra
f(yi , xi 1 , ..., xik ) : i = 1, ..., ng, obtemos a função RLM estimada
por MQO
yb = bβ0 + b β1 x1 + ... + b
βk xk ,
em que, cada b
βj , j = 1, 2, ..., k tem uma interpretação ceteris paribus,
ou seja,

y=b
∆b βj ∆xj , se ∆x1 = ... = ∆xj 1 = ∆xj +1 = ... = ∆xk = 0.

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 3 / 31

2. Interpretação de Parcialidade na RLM

Tomando a forma geral da RLM com k variáveis explicativas

y = β0 + β1 x1 + . . . + βk xk + u (1)

e, por aplicação dos estimadores MQO à amostra

f(yi , xi 1 , ..., xik ) : i = 1, ..., ng, obtemos a RLM estimada por MQO

yi = b
β0 + b
β1 xi 1 + ... + b bi , i = 1, 2, ..., n
βk xik + u (2)

Queremos mostrar que cada b

βj , j = 1, 2, ..., k é o efeito em y na
amostra de xj líquido ou …ltrado das outras k 1 variáveis
explicativas.
De outra forma, queremos mostrar que, adicionando ou retirando uma
variável da RLM, é praticamente impossível que o efeito estimado de
xj em y não mude.

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 4 / 31

Interpretação de Parcialidade na RLM

Estágio 1: estime por MQO a regressão de x1 em x2 , ..., xk , ou seja,

estime o modelo

x1 = φ0 + φ1 x2 + ... + φk 1 xk + r1 , (3)
|{z}
erro aleatório

obtendo b xi 1 = φ b0 + φb1 xi 2 + ... + φ

bk 1 xik e os resíduos
b
ri 1 = xi 1 b xi 1 , i = 1, ..., n.
Pelas propriedades algébricas da regressão (3), temos:

∑i =1 bri 1 xi 0 = ∑i =1 bri 1 xi 2 = ... = ∑i =1 bri 1 xik = 0, xi 0 = 1, 8i

n n n
(4)

percebemos que os resíduos b ri 1 , i = 1, ..., n são a parte de x1 não

correlacionada com x0 , x2 , ..., xk , ou seja, são x1 líquido de
x0 , x2 , ..., xk .

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 5 / 31

Interpretação de Parcialidade na RLM

Estágio 2: estime a RLS

y = α1b
r1 + ε
|{z} (5)
erro aleatório

com o estimador MQO de α1

∑ni=1 b
ri 1 yi
b
α1 = n (6)
∑ i =1 b
ri21

Note que tanto faz se, ao invés do modelo (5), estimássemos o

modelo com intercepto y = α0 + α1b r1 + u, pois, neste caso, como
n
∑ i =1 b
ri 1 = 0 = b
r i 1 , então

∑ni=1 (b
ri 1 b
r i 1 )yi ∑n b ri 1 yi
b
α1 = = i =n 1 2
n
∑i =1 (b
ri 1 b
r i1) 2 ∑ i =1 b
ri 1

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 6 / 31

Interpretação de Parcialidade na RLM

α1 é igual a b
No próximo slide, demonstramos que b β1 da RLM (2).
Ou seja, demonstramos que é possível aplicar o estimador MQO de
α1 para obter a estimativa b
dois estágios b β1 de MQO, tal que

b ∑n b ri 1 yi
β1 = i =n 1 2 , (3.22)
∑ i =1 b
ri 1

e, assim, b
β1 deve ser interpretado como a medida da relação
amostral de y e x1 após x1 ter sido …ltrado, puri…cado ou
parcializado de x0 , x2 , ..., xk .

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 7 / 31

2.1. Demonstrações

α1 = b
Queremos mostrar que b β1 , para tanto, substitua a RLM (2) em
(6), obtendo:

ri 1 b
∑ni=1 b β0 + b
β1 xi 1 + ... + b bi
βk xik + u
b
α1 =
∑ni=1 b
ri21
b
β0 ∑ni=1 bri 1 + b ri 1 xi 1 + ... + b
β1 ∑ni=1 b βk ∑ni=1 b
ri 1 xik + ∑ni=1 b bi
ri 1 u
= n
∑ i =1 b 2
ri 1
n
∑ b bi
ri 1 u
= b
β1 + i =n 1 2 ,
∑ i =1 bri 1

∑ni=1 b
ri 1 x i 1
pois = 1 e ∑ni=1 bri 1 = ∑ni=1 bri 1 xi 2 = ... = ∑ni=1 bri 1 xik = 0 tal
∑ni=1 b ri21
α1 = b
que, …nalmente, b β1 porque ∑ni=1 b bi = 0.
ri 1 u
Demonstrações complementares estão nos dois slides a seguir.

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 8 / 31

Demonstrações
n
Queremos mostrar que ∑∑i =n1 ibr1 2 i 1 = 1. Como
b
r x
i =1 i 1
∑ni=1 b
ri 1 = ∑ni=1 b
ri 1 xi 2 = ... = ∑ni=1 b
ri 1 xik = 0,

∑i =1 bri 1 bxi 1 ∑i =1 bri 1 φb0 + φb1 xi 2 + ... + φbk 1 xik

n n
=
= b 0 ∑n b
φ r +φ b 1 ∑n b r x + ... + φ b k 1 ∑n b r x
i =1 i 1 i =1 i 1 i 2 i =1 i 1 ik
= 0

e, assim,

∑i =1 bri21 ∑i =1 bri 1 (xi 1 bxi 1 )

n n
=
∑i =1 bri 1 xi 1 ∑i =1 bri 1 bxi 1
n n
=
∑i =1 bri 1 xi 1 , pois ∑i =1 bri 1 bxi 1 = 0
n n
=

∑ni=1 b
ri 1 x i 1
Ou seja, como ∑ni=1 b
ri21 = ∑ni=1 b
ri 1 (xi 1 xi 1 ) = ∑ni=1 b
b ri 1 xi 1 , ∑ni=1 b ri21
= 1.
CQD.
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 9 / 31
Demonstrações

Queremos mostrar que ∑ni=1 b bi = 0. Como pelas propriedades algébricas

ri 1 u
de MQO da RLM (2)
∑ni=1 u
bi = ∑ni=1 u
bi xi 1 = ∑ni=1 u
bi xi 2 = ... = ∑ni=1 u
bi xik = 0, então

∑i =1 bri 1 ubi
n
∑i =1 (xi 1 bxi 1 ) ubi
n
=
∑i =1 ubi bxi 1 , pois ∑i =1 ubi xi 1 = 0
n n
=

que, substituindo b b0 + φ
xi 1 = φ b1 xi 2 + ... + φ
bk 1 xik , obtemos

∑i =1 bri 1 ubi ∑i =1 φb0 + φb1 xi 2 + ... + φbk

n n
= 1 xik bi
u
= b 0 ∑n u
φ b φ b 1 ∑n u bx ... bk
φ ∑i =1 ubi xik
n
i =1 i i =1 i i 2 1
= 0. CQD.

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 10 / 31

2.2. Generalização da Interpretação de Parcialidade na
RLM

É possível generalizar o resultado (3.22), demonstrando que, em qualquer

amostra de tamanho n,

b ∑n b rij yi
βj = i =n 1 2 , j = 1, 2, ..., k (7)
∑ i =1 b
rij

em que b rij é o resíduo da regressão com intercepto de xj nas outras k 1

variáveis explicativas da RLM e

b ∑n b ri 0 yi
β0 = i =n 1 2
∑ i =1 b
ri 0

em que bri 0 é o resíduo da regressão sem intercepto da variável x0i = 1, 8i

nas k variáveis explicativas da RLM.

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 11 / 31

3. Aplicação no Stata

Esse é um exemplo de aplicação do estimador em dois estágios de

MQO.
Queremos estimar o efeito ceteris paribus de hp, potência do motor
em hp, sobre kpl, o desempenho do carro em km rodados por litro de
gasolina, com base na RLS

kpl = β0 + β1 hp + u (8)

O arquivo [Link] na página web do curso contém os dados de 81

modelos de carros comercializados nos EUA em dado ano para as
variáveis: kpl, desempenho médio em quilômetros rodados por litro;
hp, potência do motor em hp; vm, velocidade máxima potencial em
km por hora; e pv , peso do automóvel em kg.

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 12 / 31

Aplicação

Pelo grá…co de dispersão de kpl e hp, obtido com o comando Stata graph
twoway scatter kpl hp,

observamos que, na amostra, kpl é negativamente correlacionado com hp.

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 13 / 31
Aplicação

De fato, pela regressão MQO de kpl em hp, obtida com o comando Stata
reg kpl hp, cformat(%9.3f) pformat(%5.3f) sformat(%8.3f),
Source SS df MS Number of obs = 81
F( 1, 79) = 135.41
Model 681.986066 1 681.986066 Prob > F = 0.0000
Residual 397.875633 79 5.03640042 R-squared = 0.6315
Adj R-squared = 0.6269
Total 1079.8617 80 13.4982712 Root MSE = 2.2442

kpl Coef. Std. Err. t P>|t| [95% Conf. Interval]

hp -0.051 0.004 -11.637 0.000 -0.060 -0.042

_cons 18.352 0.573 32.020 0.000 17.211 19.493

estimamos uma redução de 0, 051 km por litro de gasolina no desempenho

para cada hp do automóvel.

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 14 / 31

Aplicação

No entanto, nosso modelo teórico diz que vm e pv afetam hp e kpl,

pois os fabricantes levam em conta vm e pv na determinação da
potência do carro, tal que hp vm ! kpl e hp pv ! kpl.
Além disso, pv e vm são correlacionados, tal que pv ! vm.
Todas essas relações podem ser representadas com o seguinte
diagrama causal, grafo acíclico direcionado ou dirigido - Directed
Acyclic Graph (DAG),

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 15 / 31

 Pela DAG, o efeito causal hp ! kpl torna-se não identi…cável se os
caminhos espúrios, da porta dos fundos, ou back-door paths
hp pv ! kpl, hp pv ! vm ! kpl, hp vm ! kpl,
hp vm ! pv ! kpl estiverem abertos.
Para fechá-los, basta adicionar pv e vm ao modelo (8), tal que a
especi…cação do modelo seja (9).

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 16 / 31

Aplicação

De outra forma, como o erro do modelo (8) é u = fvm, pv , outros

fatoresg, pv ! hp e vm ! hp implicam em E (u jhp ) 6= 0 - violação
de RLM.4.
Assim, para estimar o efeito causal hp ! kpl é necessário contornar o
problema de endogeneidade de hp em (8), utilizando a especi…cação
modelo RLM

kpl = β0 + β1 hp + β2 vm + β3 pv + u (9)

para o qual a hipótese E (u jhp, vm, pv ) = 0 é plausível.

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 17 / 31

Aplicação

Queremos dar um exemplo para ilustrar que a estimativa MQO de β1

do modelo (9), obtida pela resolução do sistema de CPOs de MQO
em um único estágio, é a mesma obtida pelo estimador MQO em dois
estágios.
No primeiro estágio, estimamos a regressão com intercepto de hp
em vm e pv e guardamos os resíduos bri 1 , i = 1, .., 81 com os
comandos Stata qui reg hp vm pv; e predict hphat, residuals - baixe o
arquivo [Link] no sítio web da disciplina.
Geramos o grá…co de dispersão de kpl e b
r1 , que é hp líquido de vm e
pv , com o comando Stata graph twoway scatter kpl hphat, como
apresentado no próximo slide.

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 18 / 31

Aplicação

Tomando o grá…co de dispersão de kpl em hp líquido de vm e pv

25
Desempenho médio (em km/litro de gasolina)
10 15 5 20

-10 -5 0 5 10 15
Resíduos da regressão de hp em v m e pv

observamos que kpl é positivamente correlacionado na amostra com

hp líquido de vm e pv .
Moral da história: kpl parecia ser negativamente correlacionado com
hp porque não estávamos controlando para vm e pv .
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 19 / 31
Aplicação

No segundo estágio, estimamos a regressão MQO sem intercepto de kpl

em hphat, a série dos resíduos da regressão de hp em vm e pv , obtendo
b
β1 = 0, 144 com o comando Stata reg kpl hphat, noconstant
cformat(%9.3f) pformat(%5.3f) sformat(%8.3f)

Source SS df MS Number of obs = 81

F(1, 80) = 0.26
Model 43.9329651 1 43.9329651 Prob > F = 0.6098
Residual 13384.0769 80 167.300962 R-squared = 0.0033
Adj R-squared = -0.0092
Total 13428.0099 81 165.7779 Root MSE = 12.934

kpl Coef. Std. Err. t P>|t| [95% Conf. Interval]

hphat 0.144 0.281 0.512 0.610 -0.416 0.704

o que mostra que, na verdade, a estimativa é de um aumento de 0, 144 km

por litro de gasolina no desempenho para cada hp de potência do carro.
Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 20 / 31
Aplicação

De fato, obtemos b
β1 = 0, 144 pelo estimador MQO em um único
estágio com o comando Stata reg kpl hp vm pv, cformat(%9.3f)
pformat(%5.3f) sformat(%8.3f)
Source SS df MS Number of obs = 81
F( 3, 77) = 195.64
Model 954.623479 3 318.207826 Prob > F = 0.0000
Residual 125.23822 77 1.62647039 R-squared = 0.8840
Adj R-squared = 0.8795
Total 1079.8617 80 13.4982712 Root MSE = 1.2753

kpl Coef. Std. Err. t P>|t| [95% Conf. Interval]

hp 0.144 0.028 5.197 0.000 0.089 0.199

vm -0.292 0.053 -5.535 0.000 -0.397 -0.187
pv -0.015 0.001 -10.351 0.000 -0.018 -0.012
_cons 69.851 8.196 8.522 0.000 53.530 86.172

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 21 / 31

4. Comparando as Estimativas das Regressões Simples
(RLS) e Múltipla (RLM)

Considere as seguintes RLS e RLM

ỹ = β̃0 + β̃1 x1 (10)

yb = b
β0 + bβ1 x1 + b
β2 x2 (11)

em que o superescrito denota o estimador MQO na RLS e ^

denota o estimador MQO na RLM, ambas estimada com a mesma
amostra de tamanho n.
Observe que a RLS omite a variável x2 .
Questão: há uma relação entre β̃1 , obtido sem controlar para x2 , e
b
β1 , obtido controlando para x2 ?
Sim, como veremos no próximo slide.

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 22 / 31

Comparando as Estimativas das RLS e RLM

Substituindo a RLM estimada por MQO

yi = b
β0 + b
β1 xi 1 + b bi ,
β2 xi 2 + u

no estimador MQO da RLS (10)

∑ni=1 e
ri 1 yi
β̃1 = n
∑ i =1 e
ri21
∑ni=1 (xi 1 x 1 ) yi
= ,
∑ni=1 (xi 1 x 1 )2

obtemos, como ∑ni=1 (xi 1 bi = 0, que

x1) u

∑n (xi 1 x 1 ) xi 2
β̃1 = b
β1 + b
β2 i =n 1 2
(12)
∑i =1 (xi 1 x 1 )

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 23 / 31

Comparando as Estimativas das RLS e RLM

Por (12), a relação entre β̃1 e b

β1 em cada amostra de tamanho n é

β̃1 = b β2 e
β1 + b δ1 (3.23)

em que
e ∑n (xi 1 x 1 ) xi 2
δ1 = i =n 1 2
∑i =1 (xi 1 x 1 )
é o estimador MQO de δ1 da RLS com intercepto de x2 em x1 , com base
no modelo
x2 = δ01 + δ1 x1 + v
e v é um termo de erro aleatório.

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 24 / 31

Comparando as Estimativas das RLS e RLM

Se apenas xk tiver sido omitido do modelo, caso de omissão de uma única

variável, é possível mostrar que

e
βj = b
βj + b
βk e
δj , j = 0, 1, 2, ..., k 1 (13)

em que eδj é a estimativa MQO do coe…ciente de xj , j = 0, 1, 2, ..., k 1

na regressão auxiliar de xk sobre as demais variáveis explicativas do
modelo.

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 25 / 31

Comparando as Estimativas das RLS e RLM

Assim, tomando o caso em que j = 1,

β̃1 = b
β1 + b
β2 e
δ1 , (3.23)

em que
∑n (xi 1 x 1 ) xi 2 d (x1 , x2 )
Cov
e
δ1 = i =n 1 =
2 d (x1 )
∑ i = 1 ( xi 1 x 1 ) Var
é o estimador MQO de δ1 da regressão simples de x2 em x1 ,
concluímos que β̃1 é igual a b
β1 somente se:

1 b
β2 = 0, caso em que o modelo verdadeiro é de fato RLS (10); e/ou
2 e d (x2 , x1 ) = 0 na
δ1 = 0, caso em que ∑ni=1 (xi 1 x 1 ) xi 2 = 0 ou Corr
amostra - Regressão Ortogonal.

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 26 / 31

Comparando as Estimativas das RLS e RLM

Com base em
β̃1 = b β2 e
β1 + b δ1 (3.23)
temos que

e
δ1 > 0 ou Corr (x1 , x2 ) > 0 e
δ1 < 0 ou Corr (x1 , x2 ) < 0
b
β2 > 0 β̃1 > b
β1 (superestima) β̃1 < b
β1 (subestima)
b
β2 < 0 b
β̃1 < β1 (subestima) b
β̃1 > β1 (superestima)

Ou seja, a omissão de x2 faz com que, em toda amostra de

tamanho n, β̃1 superestime ou subestime a estimava correta, que é
b
β1 .

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 27 / 31

Comparando as Estimativas das RLS e RLM

No caso de omissão de todas exceto uma ou omissão das k 1

últimas variáveis explicativas da RLM, como

∑ni=1 (xi 1 x1) b

β0 + b
β1 xi 1 + b
β2 xi 2 + ... + b bi
βk xik + u
β̃1 = ,
∑ni=1 (xi 1 x 1 )2

β̃1 = b
β1 + b
β2 e
δ1 + b
β3 e
δ2 + ... + b
βk e
δk 1, em que (14)
d (x1 , xj )
Cov
e
δj 1 = , j = 2, .., k
d (x1 )
Var
é a estimativa MQO do coe…ciente de x1 na regressão de xj em x1 .

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 28 / 31

Comparando as Estimativas das RLS e RLM

Assim, com base em (14), as estimativas MQO do coe…ciente de β1

nas regressões de y em x1 e na regressão de y em x1 , x2 , ..., xk
somente serão iguais se (Wooldridge, 2011: p.76):

1 A estimativa MQO de cada coe…ciente de inclinação de x2 , ..., xk for

zero, ou seja, b
β2 = ... = b
βk = 0 - caso de irrelevância de x2 , ..., xk
para y ; e/ou
2 Corr (x1 , x2 ) = Corr (x1 , x3 ) = ... = Corr (x1 , xk ) = 0 na amostra -
caso de regressão ortogonal.

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 29 / 31

5. Regressão Passando pela Origem

Impondo que yb seja zero quando todos os xj são zero é o mesmo que
impor uma estimativa zero para o intercepto da regressão múltipla, ou
seja, é o mesmo que impor a RLM estimada

ỹ = β̃1 x1 + β̃2 x2 + ... + β̃k xk ,

tal que
e
βj = b
βj + b
β0 e
δj , j = 1, 2, ..., k (15)

em que e δj é a estimativa MQO do coe…ciente de xj , j = 1, 2, ..., k na

regressão auxiliar sem intercepto de x0i = 1, 8i sobre as k variáveis
explicativas do modelo.

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 30 / 31

Regressão Passando pela Origem

Se bβ0 6 = 0 e e
δj 6= 0, então e
βj 6 = b
βj em toda amostra de tamanho n e
estaremos errando o tempo todo.
Ademais, impondo β0 = 0 quando β0 6= 0 e e δj 6= 0 viesa as
estimativas de cada coe…ciente de inclinação do modelo e a
interpretação do R 2 …ca comprometida.
No entanto, admitindo que β0 6= 0 quando β0 = 0 e e δj 6= 0 não viesa
as estimativas, apesar de in‡ar as variâncias dos estimadores.
Portanto, é recomendável estimar a regressão sempre com intercepto.

Moisés Resende Filho (ECO/UnB) Estimação da Regressão Múltipla 08/07/2022 31 / 31