Curso: Planificación y

Evaluación de
Proyectos Sociales
Sesión 8
  Si bien el diseño experimental es el “estándar de
oro” en la evaluación de impacto, no es muy usado
en los programas o proyectos de intervención
social, puesto que existen algunas dificultades
asociadas a su implementación.
Uso del diseño  Por ello, debemos recurrir a los diseños cuasi-
experimental experimentales, cuyas características veremos en
el próximo taller.
 Como se podrá intuir, los diseños cuasi-
experimentales deben utilizar distintas estrategias
para mitigar sesgos, particularmente, el sesgo de
selección.
  Conseguir la aleatorización puede ser difícil por razones éticas
o políticas, porque implica negar el acceso a programas.
Dificultades  En segundo lugar, durante el experimento las personas
asignadas a los grupos de control podrían cambiar de estatus.
asociadas a la Una persona que fue seleccionada para participar del programa
implementación de capacitación laboral podría no asistir, mientras que otro que
no fue seleccionado y forma parte del grupo de control, podría
de diseños intentar recibir el beneficio a toda costa. En los diseños clínicos
experimentales (vacunas) esta posibilidad se reduce, ya que los estudios son
“doble ciegos” (Nadie sabe a qué grupo pertenece y si reciben
el tratamiento o un placebo)
 En tercer lugar, muchas veces llegamos tarde a la evaluación,
porque las reglas de asignación del beneficio ( el programa)
han sido definidas y los evaluadores no pueden cambiarlas,
teniendo que optar por otros diseños.
  Cuando no es posible aleatorizar, es necesario construir un
escenario contrafactual alternativo.
 Dentro de este campo se ubican los diseños cuasi-experimentales.
Estos se distinguen de los anteriores porque este escenario
contrafactual se construye sobre la base de individuos que no
participan de la intervención, pero que deben asemejarse todo lo
Diseño cuasi- posible a los beneficiarios en todas sus características observables.

experimental  Existen distintos tipos de diseños contrafactuales alternativos que

caen dentro de la categoría de los cuasi-experimentales. En este
taller analizaremos:
 Regresiones en discontinuidad
 Diferencias en diferencias
 Matching
 Combinación entre matching y diferencias en diferencias
Diseño cuasi-experimental

Inscritos Características No Inscritos

Observables
Similares

Beneficiarios Controles
  Ejemplo de un programa de capacitación voluntaria
 Sin focalización – todos son elegibles
 Algunos individuos eligen inscribirse y otros no
 ¿Por qué no podemos estimar el impacto del programa
comparando resultados de los tratamientos y los no-
tratamientos?
Los diseños cuasi  La participación es una variable cuya motivación exacta no
experimentales y conocemos y por tanto hay variables no-observables que
hacen diferentes a los participantes de aquellos que no
los sesgos participan.
 Nuestro efecto de tratamiento esta capturando el efecto
de otras variables que explican el tratamiento y los
resultados, generando una estimación sesgada del efecto
del tratamiento.
6
 Yi = α + β1Tratamiento + β2X +εi

 Estimación: compara resultados de individuos que eligen

participar con aquellos de quienes no participan:
Explicando el
sesgo
Donde T = 1 si esta incorporado en el programa (eligió participar)
T = 0 si no esta incorporado en el programa (no eligió
participar)
X = regresores exógenos (variables de control)
 Problema: Correlación (T , ε) ≠ 0
 El diseño experimental, resuelve el problema del sesgo de
selección, porque aleatoriza la asignación al programa, pero los
diseños cuasi-experimentales tienen que lidiar con este
problema.

7
  Las regresiones en discontinuidad es un tipo de diseño
que se puede aplicar cuando existen reglas explícitas de
asignación del programa, que no dependen de los
eventuales participantes.
 Así, muchos programas basan la selección de sus
beneficiarios, en un índice claramente definido con un
corte ( o discontinuidad) conocido para elegibilidad.
Regresiones en
 RD es posible cuando las unidades pueden ser ordenadas
discontinuidad a lo largo de una dimensión cuantificable que está
relacionada sistemáticamente a la asignación al
tratamiento (índice de pobreza relativa, por ejemplo,
como el de la ficha de protección social)
 El efecto es medido en la discontinuidad. Por
consiguiente el impacto estimado es válido solo para
aquellos que se sitúan en torno de ella y no para toda la
población.
  Ya sea para programas de combate a la pobreza,
Los índices son focalizado a hogares por debajo de un índice de
pobreza dado
comunes en la  Ya sea para programas de pensión, focalizado a
focalización de población por arriba de una cierta edad.
programas  Ya sea para becas, focalizado a estudiantes con
sociales buenas calificaciones en pruebas estandarizadas.
 Veamos un ejemplo…
 Ejemplo: efecto de subsidios monetarios en el consumo de los
más pobres (Gertler y colaboradores 2011).

 Supongamos que deseamos evaluar el efecto Regression Discontinuity Design - Baseline

de las transferencias monetarias en el

80
consumo de los más pobres.
 Además, que contamos con un índice (tipo

75
ficha de protección social) para establecer un
ranking de familias ordenadas de menor a

Outcome

70
mayor puntaje.
 Tal como se aprecia en el gráfico, mientras

65
más bajo es el puntaje, mayor es el nivel de
pobreza (eje abscisas) y menor es el consumo
(eje ordenadas)

60
20 30 40 50 60 70 80
Score

10
 Ejemplo: efecto de subsidios monetarios en el consumo de los más
pobres (Gertler y colaboradores 2011)

Regression Discontinuity Design - Baseline

80
 Establecemos un punto de corte para la
asignación de los subsidios monetarios.

75
 Por ejemplo, hasta los 50 puntos las familias
pueden solicitar el beneficio y sobre los 50

Outcome

70
puntos no pueden hacerlo
 Medimos la situación en el consumo de las

65
familias antes de la intervención (línea de
base) Pobre No pobre

60
20 30 40 50 60 70 80
Score

11
 Ejemplo: efecto de subsidios monetarios en el consumo de
los más pobres (Gertler y colaboradores 2011)

 Entregamos el beneficio. Regression Discontinuity Design - Post Intervention

80
 Medimos la situación en el consumo después
de entregado el subsidio
B

75
 Como consecuencia de la intervención,

Outcome
deberíamos esperar una mejora en el
consumo promedio de los hogares más

70
pobres, lo cual implica un movimiento de la A
nube de puntos (los hogares) hacia arriba por
el eje de las ordenadas.

65
 Ese desplazamiento desde A hasta B debería 20 30 40 50 60 70 80
ser el Impacto de la intervención Score
 Regresiones en discontinuidad: Síntesis

Regression Discontinuity Design - Post Intervention

80
 El método de regresión discontinua
nos permite estimar con éxito el
impacto de un programa sin excluir

75
Outcome
ninguna población elegible.
 Sin embargo, nótese que el impacto

70
estimado solo es válido en la cercanía
del límite de elegibilidad.

65
20 30 40 50 60 70 80
Score
Identificación

Yi = β0 + β1Tratamiento +δ(puntaje)+εi

 Donde:
Tratamiento = 1 si puntaje <=50
Tratamiento = 0 si puntaje >50

 Supuesto: δ(puntaje) es continuo alrededor del punto

de corte

14
  El DRD aprovecha la discontinuidad que produce la puntuación
límite para estimar el contrafactual. Intuitivamente, los
hogares elegibles con puntuación justo por debajo del límite
(50 o poco menos) serán muy similares a los hogares con una
puntuación justo por encima del límite (por ejemplo, los que
tienen una puntuación de 51).
Regresiones en  En el ejemplo, el programa ha decidido un límite (50) a partir
del que se produce un cambio repentino, o discontinuidad, en
discontinuidad: la elegibilidad del programa. Como los hogares justo por
Síntesis encima del límite son similares a los que están justo por debajo,
a excepción de que no reciben transferencias monetarias,
pueden servir como grupo de control.
 En otras palabras, los hogares que no tienen derecho al
programa, pero que están suficientemente cercanos al límite,
se usan como grupo de comparación para estimar el
contrafactual.
 En la sesión anterior examinamos algunos escenarios
contrafactuales…quisiera rememorar dos:
(a) Comparar a los beneficiarios antes y después de
participar en el programa
(b) Comparar a los beneficiarios con un grupo de
personas que, reuniendo las condiciones, no
Diferencias en asistió al programa y medimos su situación en la
Diferencias variable respuesta al término de la participación.
Se recuerdan que señalamos respecto de estas dos
alternativas?
Había una tercera que combinaba estas dos
alternativas…
  El método de diferencias en diferencias combina los dos
diseños contrafactuales anteriores, es decir, compara los
cambios acontecidos entre el antes y el después, tanto para un
grupo de beneficiarios de la intervención como para un grupo
de personas que, reuniendo las características para participar,
finalmente no lo hicieron.
Diferencias en
Diferencias Antes Después
ത t1 - 𝑌b
𝑌b ത t0 ത t0
𝑌b ത t1
𝑌b
ത t1 - 𝑌c
𝑌c ത t0 ത t0
𝑌c ത t1
𝑌c
𝑌ത D-D ( 𝑌b
ത t1 - 𝑌b
ത t0 )- (𝑌c
ത t1 - 𝑌c
ത t0)
 Diferencias en Diferencias
580.000

560.000
Impacto
540.000

520.000

500.000

480.000

460.000
Yt0 Intervención Yt1
beneficiarios controles
Antes Después
ത t1 - 𝑌b
𝑌b ത t0 (70.000) ത t0 (500.000)
𝑌b ത t1 (570.000)
𝑌b
ത t1 - 𝑌c
𝑌c ത t0 (30.000) ത t0 (520.000)
𝑌c ത t1 (550.000)
𝑌c

𝑌ത D-D ( 𝑌b
ത t1 - 𝑌b
ത t0 )- (𝑌c
ത t1 - 𝑌c
ത t0) = 40.000
  Hay que recordar que los individuos que deciden participar en un programa,
no solo pueden diferir en características observables (sexo, edad.
educación, etc.), sino también en no observables (capital social,
inteligencia, motivación, etc.).
 El método de diferencias en diferencias no requiere que los grupos de
tratamiento y de control sean similares entre sí en sus características
observables o no observables, a condición de que los elementos no
Diferencias en observables solo se encuentren correlacionados con la participación, mas no
Diferencias y con los resultados dada la participación, por lo que permanecen fijos, es decir,
no varían en el tiempo.
Control de  ¿Qué significa esto en la práctica? Significa que, en la medida que sea
sesgos razonable suponer para un programa dado que, aunque el capital social, la
inteligencia o la autodisciplina, pueden ser variables que influyen en la
participación y en los resultados, no se ven afectadas por la participación,
por lo que permanecen constantes en el tiempo.
 Tampoco requiere que los valores en la variable de resultado sean los
mismos antes del inicio de la intervención, porque lo que compara es el
crecimiento que experimenta cada grupo.
  Si no tuviéramos un grupo de Control no estaríamos en condiciones
de verificar qué parte de los cambios acontecidos entre el antes y el
después en los beneficiarios se debe a la intervención y que parte
resulta ser consecuencia o efecto de variables del entorno, como
por ejemplo, el crecimiento económico, la instalación de fábricas,
Diferencias en etc. (capacitación)
Diferencias y  Nuestro grupo de control nos permite controlar precisamente por
Control de esos efectos. Para ello, nuestro supuesto clave es que “en ausencia
de la intervención, el grupo de beneficiarios, hubiera tenido una
sesgos tendencia igual a la que tuvo el grupo de control”. Este supuesto se
conoce como el supuesto de tendencia paralela.
 Es un supuesto porque no es posible demostrar que la tendencia
que tendrían los beneficiarios de la intervención, en ausencia de la
misma, sería la que tuvo el grupo de control.
 No obstante, si contamos con varias mediciones antes para ambos
grupos podríamos comprobar si dicho supuesto es razonable.
  Supongamos que a Ud. le solicitan hacer na evaluación de impacto
cuando el programa ya comenzó.
 Supongamos también, que no se cuenta con una línea de base o
medición antes de iniciado el programa, sino que sólo con un grupo de
Estrategias de control, es decir, un grupo de personas no inscritas, que pudiendo optar
por participar en el programa, no lo hicieron.
matching o pareo  Sabemos que este no es un contrafactual muy robusto. ¿Por qué?
para la  ¿Todo está perdido? ¿Cómo podemos mejorar este diseño?
construcción del  Recordar que una de los desafíos de los diseños no experimentales es
resolver el problema de la semejanza (estadística) entre el grupo de
contrafactual beneficiarios y de control.
 Para lograr dicha semejanza, lo que tendríamos que hacer es tratar de
que ambos grupos, fuesen parecidos en función de un set de atributos o
variables (observadas), como por ejemplo, el tramo de edad, escolaridad,
proporción de hombres y mujeres, hijos menores de 6 años, etc.
 Sin embargo, emparejar individuos en un grupo amplio de características
observadas que teóricamente pueden alcanzar fácilmente la decena, es
una tarea difícil. ¿Qué hacer?
  El enfoque estadístico denominado puntaje de la propensión a participar
(propensity score matching) desarrollado por Rosenbaum y Rubin (1983)
Estrategias de proporciona una alternativa metodológica para solucionar el problema
descrito con antelación.
Matching o  En vez de buscar para cada participante un no participante con los
Pareo para la mismos valores del grupo de atributos o variables X, se puede lograr el
mismo resultado usando una correspondencia sobre el valor predicho de
Construcción del la participación, dado el grupo de variables observadas X, que es lo que se
contrafactual denomina justamente puntaje de la propensión a participar.
 En otras palabras, se trata de buscar un sujeto que actúe como control,
sobre la base de que cuente con una similar probabilidad de participar en
el programa, la que se calcula a partir de los valores de este conjunto de
variables observadas (X) antes del inicio del mismo. Así, se termina
emparejando individuos sobre la base de una única variable: el puntaje de
la propensión.
 La probabilidad de participar se estima a partir de un modelo de regresión
con variable dependiente cualitativa (Logit /Probit)
  La propensión a participar, puede ser definida como la probabilidad
condicional de participar en el programa dada ciertas características
previas a la participación,
 La propensión a participar es un es un número real entre 0 y 1 que
resume todas las características observadas de los individuos
participantes y no participantes y su influencia en la probabilidad de
haberse inscrito en el programa. En la práctica funciona como un
índice.
El puntaje de la  Hay que tener presente que no todos los individuos, sea que
propensión a pertenezcan al grupo de beneficiarios o de control tendrán la misma
probabilidad de participar. Así, es posible que tenga personas
participar beneficiadas con el programa que cuentan con una baja probabilidad
de haber sido escogido beneficiarios y personas que no participaron
con un alto puntaje de propensión a participar.
 Para que la estimación del impacto sea válida hay que comparar a
individuos beneficiados y controles que compartan una probabilidad
similar de haber participado. Sin embargo puede que algunas personas
inscritas no cuenten con controles que tengan una puntuación similar.
 A quienes comparamos: Zona de soporte común
 Dado lo anterior, una vez obtenido el modelo y los respectivos puntajes, es importante seleccionar aquellos
casos, beneficiarios y controles, cuyas propensiones a participar pertenecen a un mismo intervalo, zona,
región o rango, es decir, se traslapen. A esta región se le denomina “soporte común” (common support).
  En primer lugar, lo que se denomina balance de las variables
antes de la participación (pre-tratamiento) para un puntaje de la
propensión dado. Se trata de que observaciones con un mismo
Condiciones que puntaje de la propensión a participar, deben tener la misma
debe cumplir el distribución de características observables con independencia
Puntaje de la de si pertenecen al grupo de beneficiarios del programa o no
(controles).
propensión para
hacer estimaciones
válidas  Los resultados potenciales no deben estar correlacionados con
la participación en el programa, para un puntaje de la
propensión dado o, dicho de otra forma: entre individuos con
una misma probabilidad de participar, sus resultados
potenciales debiesen ser los mismos con independencia de su
asignación al tratamiento, por lo que no hay variables no
observadas que afecten el tratamiento (supuesto débil).
  Una vez seleccionados los individuos pertenecientes a
la región de soporte común, se puede proceder a los
emparejamientos, de acuerdo a una métrica específica.

 Existen distintas formas de emparejar, las más usadas

son:
 Pareo con el control más próximo en
Métodos de puntuación; (vecino mas cercano, N1)
 Pareo por la media de los N controles mas
pareamiento próximos en puntuación; (N vecinos mas
cercano) (N5, N10, etc.)
 Pareo por radio en la puntuación; (los controles
que tienen diferencia menor a..)
 Pareo de Kernel en la puntuación; (todos los
controles, ponderados por su cercanía a
tratado)
 1. Necesita de encuestas que junto con medir los
resultados, caracterice a la población inscrita y
no inscrita.
2. Con los datos de la encuesta aplique un modelo
para estimar la probabilidad de haber sido
escogido beneficiario.
Paso a paso 3. Con el modelo, selecciones a los beneficiarios y
controles que forman parte de la zona de
soporte común. Excluya al resto.
4. Estime el impacto del programa usando algunos
de los métodos de emparejamiento (matching)
descritos en la lámina anterior.
  Todos los diseños cuasi-experimentales corren el riesgo
de hacer estimaciones sesgadas y usan supuestos que
debemos, hasta donde sea posible, monitorear su
Métodos cumplimientos.
combinados  A veces se puede reducir el riesgo mediante una
combinación de métodos, ya que al combinar métodos
se puede aumentar la solidez del contrafactual.
  Las estimaciones de impacto basadas en matching o pareo
permiten crear dos grupos semejantes en todas las condiciones
observables. Es una buena alternativa, si es que no disponemos de
recursos y sólo contamos con datos secundarios, o una sola
medición (sólo después).
 Sin embargo no permite controlar por características no
observables que pueden influir tanto en la participación como en
Pareamiento los resultados dada la participación.
 Sin embargo, el pareamiento combinado con diferencias en
con diferencias diferencias puede tener en cuenta al menos cualquier
característica no observada entre los dos grupos que se mantenga
en diferencias constante en el tiempo.
 Este diseño es uno de los más usados, sin embargo requiere por lo
menos contar con dos mediciones (antes y después) o con una
medición que reconstruya la situación previa al programa (una
encuesta que examine la situación post, pero que use preguntas
retrospectivas)
 1. Necesita de encuestas que junto con medir los resultados,
caracterice a la población inscrita y no inscrita ( o información
administrativa).
2. Con los datos de la encuesta (o la información administrativa)
aplique un modelo para estimar la probabilidad de haber sido
Paso a paso escogido beneficiario.
3. Con el modelo, selecciones a los beneficiarios y controles que
pareo con forman parte de la zona de soporte común.
diferencias en 4. Realice el pareamiento con alguno de los métodos descritos
anteriormente
diferencias
5. Aplique el método de diferencias en diferencias para estimar un
contrafactual para el cambio en los resultados en cada
subgrupo de unidades emparejadas.
6. Finalmente, obtenga la media de estas diferencias dobles entre
los subgruposemparejados.
  Recordar lo que señalamos en un comienzo acerca de la relación
entre las personas y las intervenciones sociales.
Uso de  La significación que tiene el bien para los beneficiarios es más
herramientas importante, particularmente en aquellas intervenciones
orientadas a generar mejoras en capital humano, superación de la
cualitativas en pobreza, etc. que aquellas vinculadas a obras de infraestructura
física, o campañas de vacunación
una evaluación  Tanto las vacunas como la capacitación laboral, tienen un
de impacto significado para las personas, sin embargo, en el primer caso,
tomada la decisión de vacunar, el resultado (nivel de anticuerpos)
no se ve afectado por dicho significado, mientras que el segundo
caso, el “uso” (es decir el resultado) que se le pueda dar a la
capacitación, si se vincula con dicha significación.
  Los instrumentos cualitativas de indagación no permiten por si
mismos cuantificar el impacto de una intervención
 Sin embargo son muy útiles para contar con una comprensión más
profunda de aspectos que pueden ser decisivos, por ejemplo, las
Uso de motivaciones vinculadas a la participación de los beneficiarios, su
percepción del proceso y de los bienes y servicios que entregó la
herramientas intervención, sus expectativas de los resultados.

cualitativas en  Una primera manera de integrar estas herramientas en una

evaluación es en la etapa de diseño de los cuestionarios, puesto
una evaluación que un estudio cualitativo, por ejemplo, usando grupos focales,
puede ayudar a precisar las preguntas relevantes.
de impacto  También puede ser muy útil para interpretar correctamente los
resultados ya que muchas veces el análisis estadístico necesita
ser comprendido en profundidad o chequeados por el
investigador. En este caso volver a usar instrumentos cualitativos
al cierre de la evaluación decisiva .
  Volviendo a la relación motivaciones a participar, percepción del
Uso de proceso y de los bienes y servicios que entregó la intervención y
expectativas de los resultados
herramientas  Una buena indagación cualitativa podría demostrar que, por
cualitativas en ejemplo, aquellos beneficiarios altamente motivados y con altas
expectativas acerca del programa de capacitación, que valoran lo
una evaluación que aprendieron , pero que consideran que las horas de
capacitación fueron insuficientes para ser “un profesional en el
de impacto oficio”, pudieran postergar la búsqueda activa de trabajo, a la
espera de una nueva capacitación.