Desarrollo Económico y Polı́tica Pública

Módulo 4
Clase 4

Dario Tortarolo
University of Nottingham
Calendario de clases virtuales

1. Lunes 6 de Junio de 10 am a 12 pm

2. Miércoles 8 de Junio de 10 am a 12 pm

3. Miércoles 15 de Junio de 10 am a 12 pm

4. Lunes 20 de Junio de 10 am a 12 pm

1 / 33
Novedades

Ya se encuentran disponibles en la página del curso (Click acá):

I Slides de la clase 3

I Ejercicio de la clase 3

I Video de la clase 3

2 / 33
I Nos interesa medir la relación entre un resultado Y y una polı́tica P de forma causal

3 / 33
Por ejemplo

I ¿Los programas de formación profesional aumentan los ingresos de los participantes?

I ¿La mejora de los caminos aumenta el acceso a los mercados laborales e incrementa el
ingreso de los hogares y, en caso afirmativo, en qué medida?

I ¿Las reducciones de cargas sociales aumentan la demanda de empleo y las

horas/esfuerzo laboral?

I ¿Las fiscalizaciones a contribuyentes ayudan a reducir la evasión?

¿Cuán persistentes son los efectos?

4 / 33
Métodos de Inferencia Causal

Evaluaciones rigurosas de polı́ticas públicas:

I Procuran medir el efecto de un programa comparando los resultados de un grupo de

tratamiento (T) con la estimación de un contrafactual obtenido de un grupo de
comparación válido (C)

I Existen diversos métodos para estimar el efecto causal de las polı́ticas:

1. Asignación Aleatoria
2. Variables Instrumentales
3. Diseño de Regresión Discontinua
4. Diferencias en Diferencias y Event Studies
5. Control Sintético

5 / 33
I La clase pasada discutimos acerca de:
1. Diseño de Regresión Discontinua

I El plan para hoy es:

1. Diferencias en Diferencias
2. Event Studies
3. Control Sintético

6 / 33
Diferencias en Diferencias
(aka Diff-in-Diff o DiD)
Motivación
Ejemplo: reparación de caminos

I Programa de reparación de caminos que se lleva a cabo a nivel de municipalidad

I No se puede asignar aleatoriamente e/ municipios o en base a un umbral (ej., RDD)

I Los intendentes pueden decidir inscribirse (T) o no inscribirse (C) en el programa

I Objetivo: mejorar el acceso a los mercados laborales (ej., tasa de empleo)

I ¿Alcanza con computar el cambio antes y después en el empleo en los inscriptos?

7 / 33
Motivación
Ejemplo: reparación de caminos

I Programa de reparación de caminos que se lleva a cabo a nivel de municipalidad

I No se puede asignar aleatoriamente e/ municipios o en base a un umbral (ej., RDD)

I Los intendentes pueden decidir inscribirse (T) o no inscribirse (C) en el programa

I Objetivo: mejorar el acceso a los mercados laborales (ej., tasa de empleo)

I ¿Alcanza con computar el cambio antes y después en el empleo en los inscriptos? No.
1. Otros factores que afectan el empleo a lo largo del tiempo
2. Motivos no observables por los que algunos municipios se inscriben y otros no

7 / 33
Diferencias en Diferencias (DiD) al rescate...

I DiD es un diseño de investigación que surgió en el siglo 19 para estudiar intervenciones

en el sector salud [Lean la historia de John Snow (subida en la página)]

I Fue re-inventado por el grupo de Economı́a laboral de Princeton [Ashenfelter (1978),

LaLonde (1986), Card (1991), Card y Krueger (1994)]

I Uno de los métodos más utilizados en las Cs Sociales y donde más avances hubo en los
últimos años [Goodman-Bacon, 2019; Callaway y Sant’Anna, 2018; Abraham y Sun, 2019; Imai y Kim, 2019]

8 / 33
Diferencias en Diferencias (DiD): ¿Qué hace?

I Requiere panel data o cross-section data repetida

I Un grupo de unidades están expuestas a una intervención (tratamiento) y estas son

comparadas con otro grupo no expuesto (control)

I Este método compara los cambios en los resultados a lo largo del tiempo entre
unidades inscritas en un programa (T) y unidades que no lo están (C)

I Esto permite controlar las diferencias entre T y C que son constantes en el tiempo y
capturar factores externos que varı́an en el tiempo

9 / 33
Intuición

I La primera diferencia en los resultados antes-después para T, controla por factores

constantes a lo largo del tiempo en T, puesto que se compara al grupo consigo mismo

I La segunda diferencia entre T y C, elimina los factores externos que varı́an con el
tiempo, donde T y C están expuestos a las mismas condiciones ambientales, macro, etc.

I T y C no tienen necesariamente que tener las mismas condiciones pre intervención;

pero la variable de resultado debe tener tendencias similares antes de la polı́tica

10 / 33
caldes ejercían su primer mandato. implementación del programa Bolsa Escola.

Gráficamente...
Janvry, Finan y Sadoulet (2011).

Ejemplo: reparación de caminos

Gráfico 7.1 El método de diferencias en diferencias

Resultado- Grupo de ˆ El impacto del programa se

tasa de comparación
empleo
computa simplemente como la
D = 0,81
C = 0,78 diferencia entre dos diferencias
B = 0,74
Impacto estimado = 0,11

A = 0,60
E = 0,63
ˆ Efecto DiD =
Grupo de Tendencia del grupo de (B − A) − (D − C) =
tratamiento comparación
(0,74 − 0,60) − (0,81 − 0,78) =
0,11

Tiempo
Año –2 Año –1 Año 0 Año 1

Nota: Todas las diferencias entre los puntos deberían leerse como diferencias verticales de los
resultados en el eje vertical.

11 / 33
Intuición

I Es decir, usamos el cambio en los resultados del grupo de comparación como la

estimación del contrafactual para el cambio en los resultados del grupo de
tratamiento

I Es similar a suponer que si el grupo que se inscribió no hubiera participado en el

programa, sus resultados habrı́an evolucionado a lo largo del tiempo siguiendo la misma
tendencia que el grupo que no se inscribió

I Es decir, la evolución en el resultado del grupo inscrito habrı́a ido de A a E

12 / 33
Pero, ¿Qué es lo que resuelve DiD?

¿Por qué nos permite estimar el efecto causal?

I Los atributos no observados son una de las cosas que más nos preocupa cuando
comparamos unidades inscritas y no inscritas en un programa (ej., motivación)

I DiD resuelve este problema en la medida que esas caracterı́sticas sean invariables en el
tiempo (ej., la educación de los padres, personalidad, etc.)

I Al sustraer el resultado promedio pre-intervención, se anula el efecto de todas las

caracterı́sticas que son únicas de ese individuo y que no cambian a lo largo del tiempo

13 / 33
Y ¿Cuál es el supuesto clave? ¡Tendencias paralelas!

I Las diferencias en diferencias NO eliminan los atributos entre T y C que cambian con
el tiempo

I El supuesto clave para lidiar con esta amenaza es que las diferencias entre T y C
habrı́an evolucionado de manera paralela en ausencia del programa

I Para darle credibilidad y validez a este método debemos mostrar, como mı́nimo, que T
y C evolucionaban en tendencias paralelas pre-reforma

14 / 33
Incumplimiento del supuesto fundamental
Una figura vale más que mil tablas...
Gráfico 7.2 Diferencias en diferencias cuando las tendencias de los
resultados son diferentes

Grupo de
comparación
ˆ Si las tendencias de los
Resultado-
tasa de
D = 0,81
resultados son diferentes para T
empleo
C = 0,78
Contrafactual y C, el efecto estimado
verdadero mediante DiD será sesgado
B = 0,74
Impacto verdadero < 0,11
A = 0,60 E = 0,63

Tendencia del grupo de ˆ Para ser convincentes,

Grupo de
comparación necesitan al menos 3 perı́odos
tratamiento

pre-reforma para mostrar

tendencias paralelas
Tiempo
Año –2 Año –1 Año 0 Año 1

15 / 33
Tendencias paralelas (test)

I La validez del supuesto fundamental de tendencias paralelas se puede evaluar

I Se debe contrastar los cambios en los resultados en T y C en repetidas ocasiones antes

de la implementación del programa (visualmente y estadı́sticamente)
Ej de reparación de caminos: calcular el cambio en la tasa de empleo entre T y C antes del comienzo del
programa (año -2, año -1 y año 0)

I Si los resultados evolucionaban de forma paralela pre programa, es razonable suponer

que habrı́an evolucionado de la misma manera post intervención

16 / 33
Otras pruebas de falsificación (test)

1. Estimar el DiD utilizando varios grupos plausibles de comparación. Deberı́an obtenerse

estimaciones similares del impacto del programa (ej., T vs C1, T vs C2)

2. Estimar el DiD usando T y C original, y un resultado falso que no deberı́a verse

afectado por el programa. Deberı́a encontrarse un impacto cero en ese resultado

3. Estimar el DiD utilizando la variable de resultados elegida con dos grupos no afectados
por el programa. Deberı́a observarse un impacto cero del programa

17 / 33
Limitaciones de DiD

I Aun cuando las tendencias sean iguales antes del comienzo de la intervención, el sesgo
en la estimación de diferencias en diferencias puede producirse y pasar inadvertido
¿Por qué?

18 / 33
Limitaciones de DiD

I Aun cuando las tendencias sean iguales antes del comienzo de la intervención, el sesgo
en la estimación de diferencias en diferencias puede producirse y pasar inadvertido
¿Por qué?

I El método DD atribuye a la intervención cualquier diferencia de las tendencias entre T

y C que se producen desde el momento en que la intervención comienza

I Si hay otros factores que influyen en la diferencia en las tendencias entre los dos
grupos, y la regresión multivariante no rinde cuenta de ellos, la estimación será sesgada

18 / 33
 arroz podría haberse situado en el nivel C. Entonces el verdadero impacto
Volvamos al ejemplo de la clase 1
Subvención de fertilizantes para productores de arroz
Gráfico 3.3 Estimaciones antes-después de un programa de microfinanzas

ˆ Agricultores subvencionados
1.100 A
(T) vs no subvencionados (C)

Producción de arroz (kg por ha)

Cambio observado

ˆ Si en el año 1 hay una sequı́a Contrafactual C C? Δ = 100

que afecta solamente a los (MAS LLUVIAS)

agricultores subvencionados
Contrafactual B
1.000 B
(MISMA LLUVIA)
ˆ DiD producirá una estimación
sesgada del efecto de
subvencionar los fertilizantes Contrafactual D
(SEQUIA) D?

Año 0 Año 1

Nota: Δ = Cambio en la cosecha de arroz (kg); ha = hectáreas; kg = kilogramos.

Inferencia causal y contrafactuales 19 / 33

En resumen

I Diff-in-Diff es un método muy popular

I Es crucial mostrar los resultados en figuras, especialmente tendencias paralelas

I Se puede combinar con muchos de los métodos que ya vimos (RDD, Asignación
Aleatoria, MCO2)

20 / 33
DiD fue clave en la elección del Nobel 2021
Aplicación: Card y Krueger (1994)

21 / 33
Un “experimento natural” para estudiar el efecto del salario mı́nimo en el empleo1
Aplicación: Card y Krueger (1994)

1
© Johan Jarnestad/The Royal Swedish Academy of Sciences. Click acá para leer más 22 / 33
Nobel 2021: La Revolución de Credibilidad

I La verdadera importancia de sus papers no fueron los resultados sino los métodos:
revelaron a los economistas que habı́a “experimentos naturales” con tratamientos
plausibles y grupos de control a nuestro alrededor, si tan solo tuviéramos la creatividad
para verlos

I Por ejemplo, la principal implicancia del estudio de SM no fue abogar por aumentos en
el salario mı́nimo. La intención principal de Card era hacer que el campo de la
economı́a fuera más cientı́fico e informar a la sociedad, con evidencia y métodos creı́bles

I ¡Importante distinción entre economı́a positiva y normativa!

23 / 33
Positivo vs Normativo: La Visión de Card

“By the way, if you read our book or any of our papers, we never, ever once said, “We
should raise the minimum wage.” Or that the optimal minimum wage is X or anything like
that. We said, “There’s pluses and minuses. There’s people who benefit from this, people
who lose from the minimum wage.””

“And it’s kind of surprising how vitriolic the discussion is. We didn’t take a policy position
on that. I don’t take policy positions on anything. You’ll notice that people ask me
questions and I always evade them. I don’t feel it’s really my place to take a position on
normative questions.”

Lean la entrevista completa acá y mi entrada en un Blog sobre los Nobel 2021 acá

24 / 33
Mi foto con David Card :) [Link]

25 / 33
Event Studies
Event Studies

I En la práctica, puede ocurrir que las unidades de análisis sean afectadas por una
polı́tica de forma gradual (ej., Conectar Igualdad)

I Por ej., en una ventana de 2 o 3 años, algunas personas/empresas/provincias, etc. son

beneficiadas primero y otras unidades después

I Normalmente surgen por problemas de capacidad en donde no es posible implementar

la polı́tica para todos en forma simultánea

26 / 33
Event Studies

I La idea es la siguiente: en un momento especı́fico, ocurre un evento, y eso

desencadena un tratamiento

I Es similar al Método DiD pero las unidades son afectadas en distinto momento. Lo
que hacemos, entonces, es centrarlas con respecto al momento en que son afectadas
(t = 0)

I Podemos calcular el promedio del resultado Y para t = −4, −3, −2, −1 (pre polı́tica) y
para t = 1, 2, 3, 4 (post polı́tica). O más bien, el cambio respecto a t = 0

I Bajo ciertas condiciones, el cambio pre-post evento, capta el efecto causal de la polı́tica

27 / 33
Ejemplo: Garriga y Tortarolo (2021)
Salario Bruto Mensual (antes de impuestos y transferencias)

20 AAFF depositada AAFF depositada

por empresa por ANSES

15

Constant pesos (base = Jan 2004) 10

-5

-10
-12 -10 -8 -6 -4 -2 0 2 4 6 8 10 12 14 16 18 20 22 24
Months relative to treatment

28 / 33
Event Studies

I En la práctica, la estimación es bastante más compleja (y está fuera de nuestro

alcance!) [Goodman-Bacon, 2019; Callaway y Sant’Anna, 2018; Abraham y Sun, 2019; Imai y Kim, 2019]

I Por ahora, quedémosnos con la idea simple del método. Mi principal objetivo es que
sepan de su existencia y entiendan la intuición

I Si llegaran a tener que utilizarlo, deberán invertir en entender/aprender los tecnicismos

29 / 33
Control Sintético
Control Sintético

I Este método se utiliza en situaciones donde una única unidad (como un paı́s, una
provincia, una empresa, etc.) es objeto de una intervención o se expone a un evento

I En lugar de comparar esta única unidad tratada con un grupo de unidades no

tratadas, se construye una unidad de comparación “sintética” o artificial

I Para ello se pondera cada unidad no tratada de tal manera que la unidad de
comparación sintética se asemeje lo más posible a la unidad tratada

30 / 33
Ejemplo: Abadie y Gardeazábal (2003)
Los efectos económicos de un conflicto terrorista en el Paı́s Vasco

I A comienzos de los años 70 el Paı́s Vasco era una de las regiones más ricas de España

I Sin embargo, hacia finales de los años noventa, después de 30 años de conflicto, habı́a
caı́do hasta la sexta posición en PBI per cápita

I Problema: El Paı́s Vasco era diferente de otras regiones de España en caracterı́sticas

que, según se piensa, están relacionadas con el potencial de crecimiento económico

31 / 33
Ejemplo: Abadie y Gardeazábal (2003)
Los efectos económicos de un conflicto terrorista en el Paı́s Vasco

I Comparar el crecimiento del PIB de la economı́a vasca y del resto de España reflejarı́a
tanto el efecto del terrorismo como de los determinantes del crecimiento

I Entonces, el método de Diff-in-Diff producirı́a resultados sesgados del impacto del

terrorismo en el crecimiento económico del Paı́s Vasco

I Para lidiar con esta situación, los autores utilizaron una combinación de otras regiones
españolas, de modo de construir una región de comparación “sintética”

32 / 33
 REFERENCIAS
Abadie, A. y J. Gardeazábal (2003). “The Economic Costs of Conflict: A Case Study of the Basque
Country.” American Economic Review 93 (1): 113–32.
Andersson, J. J. (2019). “Carbon Taxes and CO2 Emissions: Sweden as a Case Study.” American Economic
Journal: Economic Policy, 11 (4): 1-30
Baker, Andrew (2019). Difference-in-Differences Methodology
Evaluación de Impacto en la Práctica ([Link]
Garriga, S. y Tortarolo, D. (2021). Wage Effects of Employer-Mediated Transfers, CESifo Working Paper
No. 9176 (web)
Gertler, P. J., Martinez, S., Premand, P., Rawlings, L. B., Vermeersch, C. (2017). Impact Evaluation in
Practice, Second Edition. Washington, DC: Inter-American Development Bank and World Bank (web)

33 / 33