Evidencias MineduLAB

Octubre de 2018

SMS PRONIED: Comunicación efectiva para la

mejora de la gestión educativa – Fase 20161

La segunda fase de la campaña de envío de SMS a los encargados de mantenimiento escolar se centró en el uso
de los mensajes que presentaron mayor efectividad en la fase anterior (norma social) para explorar nuevas
variaciones en el contenido y evaluar diferencias en la duración de la campaña.

La brecha de infraestructura educativa actual constituye un reto a afrontar para mejorar la calidad de la
educación del Perú. Estudios como el de Neilson y Zimmerman (2011) y Duflo (2001) señalan que el entorno
físico de las instituciones educativas ([Link].) constituye un factor clave para la salud, la seguridad y el
desempeño de los estudiantes y el personal educativo. Para revertir la carencia de infraestructura escolar
adecuada, el Ministerio de Educación (MINEDU) transfiere recursos económicos a cada [Link]. a través del
Programa Nacional de Infraestructura Educativa (PRONIED) destinados al mantenimiento y rehabilitación de
los locales escolares. Sin embargo, a pesar de poseer estos recursos, en el año 2014 solo el 90% de los fondos
fue retirado por los encargados del mantenimiento escolar durante la duración del programa y
aproximadamente el 85% se declaraba oportunamente.

Inicialmente, PRONIED apostó por una campaña de recordatorios a los responsables de mantenimiento escolar
vía mensajes de texto (SMS) que acompañe la transferencia de recursos en el año 2014. Sin embargo, esta
iniciativa no se implementó mediante un esquema que permita la evaluación rigurosa de los efectos sobre el
cumplimiento de las actividades de los responsables del mantenimiento escolar. En este contexto surgió una
oportunidad de innovación costo-efectiva, que fue implementada en 2015 por el MineduLAB junto a la
Secretaría de Planificación Estratégica (SPE), la Oficina de Tecnologías de la Información y Comunicaciones y
el PRONIED. Esta campaña consistió en enviar mensajes informativos y motivacionales a los encargados de
mantenimiento, cuyo contenido se basa en los principios de la teoría de comportamiento, con el objetivo de
mejorar el nivel de cumplimiento de las actividades de gestión para el mantenimiento escolar.

Los resultados de la campaña 2015 muestran que los mensajes del tipo sancionador no son más efectivos que
los de tipo no sancionador. De estos últimos, los SMS con contenido de norma social (en los que se compara
al receptor con un grupo de referencia) y de monitoreo son los que logran un mayor efecto. Dado el interés
de explorar otras variaciones en la campaña de SMS, una segunda fase fue implementada en el año 2016,
centrada en los mensajes que tuvieron mayor efecto en la fase anterior.

En dicho marco, se implementó la segunda fase de la innovación SMS PRONIED en coordinación con el
Programa Nacional de Infraestructura Educativa (PRONIED). La innovación busca conocer qué tipo de
variaciones en los mensajes de norma social son más efectivos para motivar a los responsables de
mantenimiento preventivo de locales escolares en la ejecución de recursos y declaración oportuna.

LA INNOVACIÓN

La campaña 2016 se centró en los mensajes con contenido de norma social. Estos mensajes se dividen en dos
tipos: i) norma social descriptiva, en la que se describe el comportamiento observable de un grupo de

1
El diseño y evaluación de la intervención fue realizada por los investigadores Andrew Dustan (Vanderbilt University),
Stanislao Maldonado (Universidad del Rosario) y Juan Hernández-Agramonte (Innovation for Poverty Action) e
implementada por PRONIED con la asistencia del equipo técnico de MineduLAB.
Evidencias MineduLAB
Octubre de 2018

referencia con el fin de alinear el comportamiento del receptor al de dicho grupo, y ii) norma social inyuctiva,
en la que se informa al receptor qué comportamiento el grupo espera de él.

Para comprender adecuadamente el rol de la norma social, e incrementar así el efecto de la campaña, se
propuso considerar diferentes variantes de contenido del SMS. Por un lado, para el caso de los mensajes de
norma social descriptiva, se decide brindar información cualitativa (expresando la idea de progreso) y
cuantitativa (mencionando un porcentaje) respecto a los grupos de referencia. Estos mensajes también
consideran dos grupos distintos de comparación: a nivel de Unidad de Gestión Educativa Local (UGEL) y a nivel
de Perú. Por otro lado, los mensajes de norma social inyuctiva tuvieron como grupo de referencia a los padres
de familia y directores. Además, se decidió añadir un tercer tipo de mensaje cuyo contenido alude al beneficio
social, con el fin de apelar a la motivación intrínseca del responsable.

Figura 1. Ejemplos de SMS enviados a los responsables de mantenimiento

Norma Social Descriptiva

•Cualitativa (nivel UGEL): [NOMBRE], realiza acciones de mantenimiento conforme ficha registrada
en el Wasichay. El resto de las IIEE de tu UGEL avanzan. Súmate tu tambien.
•Cuantitativa (nivel UGEL): [NOMBRE], realiza acciones de mantenimiento conforme ficha registrada
en el Wasichay. En el 2015, XX% de IIEE en tu UGEL lo hizo. Súmate tu tambien.
•Cualitativa (nivel Perú): [NOMBRE], realiza acciones de mantenimiento conforme ficha registrada en
el Wasichay. El resto de las IIEE en el Perú avanzan. Súmate tu también.
•Cuantitativa (nivel Perú): [NOMBRE], realiza acciones de mantenimiento conforme ficha registrada
en el Wasichay. En el 2015, 90% de IIEE en el Perú lo hizo. Súmate tu también.

Norma Social Inyuctiva

•Padres: [NOMBRE], realiza acciones de mantenimiento conforme ficha registrada en el Wasichay.
Para padres y madres la infraestructura es una prioridad.
•Directores: [NOMBRE], realiza acciones de mantenimiento conforme ficha registrada en el
Wasichay. Para los directores de las IIEE la infraestructura es una prioridad.

Beneficio Social
•Bienestar del estudiante: [NOMBRE], realiza acciones de mantenimiento conforme ficha registrada
en el Wasichay. Una IE en buen estado contribuye a la salud de los estudiantes.
•Orgullo de estudiantes y docentes: [NOMBRE], realiza acciones de mantenimiento conforme ficha
registrada en el Wasichay. Una IE en buen estado es orgullo de los estudiantes y docentes.
•Aprendizaje de los estudiantes: [NOMBRE], realiza acciones de mantenimiento conforme ficha
registrada en el Wasichay. Una IE en buen estado favorece el aprendizaje de los estudiantes.

La implementación de la campaña se llevó a cabo entre junio y agosto de 2016. Como parte de las preguntas
de investigación, un subgrupo recibió una cantidad mayor de mensajes de texto (7 SMS) que el otro subgrupo
tratado (5 SMS). Así, se pudo evaluar el efecto de una campaña de larga duración frente a una de corta
duración.

Figura 2. Cronograma de la intervención

Inicio Inicio
campaña campaña Fecha límite
Transferen 14 22 31
Marzo cias larga corta de
junio julio agosto declaración
(7 SMS) (5 SMS)
Evidencias MineduLAB
Octubre de 2018

METODOLOGÍA DE EVALUACIÓN

La evaluación de impacto siguió un diseño experimental que consideró todas las variaciones de contenido de
los SMS (normas sociales/motivación pro social) y la diferencia en la duración de la campaña (corta/larga),
conformando 18 grupos de tratamiento en total. El efecto de la campaña fue evaluado usando datos del
sistema Wasichay y el Banco de la Nación, siendo las variables de resultado el registro de la ficha técnica, el
retiro de saldo, la declaración de gastos en la plataforma Wasichay y el registro del acta de compromiso.

Para seleccionar la muestra que formó parte de la innovación, se consideró al universo de docentes y
directores cuyo número de celular estaba registrado y validado. De este grupo se excluyó a aquellos docentes
y directores que formaban parte del grupo control de otra innovación denominada SMS Docentes (a cargo de
DIBRED2). Para aumentar la precisión de la estimación se recurrió a una aleatorización estratificada según i)
departamento, ii) si el responsable participó o no en la campaña 2015, y iii) si el responsable es personal nuevo
en 2016.

RESULTADOS

El primer ejercicio para medir el impacto se realiza en base a la comparación de los tres grupos que
corresponden a las variaciones de contenido de los SMS, omitiendo las desagregaciones dentro de cada uno,
frente al grupo de control. Los resultados muestran que los tres tipos de SMS tienen efectos positivos en la
declaración de gastos a la fecha de cierre de la campaña (31 de agosto), se observa también que las magnitudes
del efecto de los SMS de norma social descriptiva (1.75 p.p.) y beneficio social (1.74 p.p.) son levemente
mayores. Además, los SMS de norma social descriptiva e inyuctiva tienen efectos positivos sobre el retiro de
saldo, pero no sobre el registro de la ficha técnica. Por el contrario, los mensajes de beneficio social tienen
efectos negativos moderados sobre el registro de la ficha técnica.

Gráfico 1: Impacto del SMS PRONIED, por tipo de mensaje

Nota: *** p<0.01, ** p<0.05, * p<0.1. Promedio del grupo control: Declaración de gastos al 80.62, registro de
ficha técnica al [Link], declaración de gastos aprobada al [Link], retiro de saldo al [Link].

Luego, se lleva a cabo un análisis más detallado comparando las nueve variantes de contenido de los SMS. En
este ejercicio se observa que el mensaje de norma social descriptiva cualitativa cuyo grupo de referencia es la
UGEL, así como el de beneficio social que hace referencia al aprendizaje de los estudiantes, logran un mayor

2
Dirección de Promoción del Bienestar y Reconocimiento Docente (DIBRED)
Evidencias MineduLAB
Octubre de 2018

impacto en la declaración de gastos. Asimismo, el mensaje que usa la norma social descriptiva cualitativa con
referencia a nivel de Perú es el que tiene mayor impacto sobre el retiro de saldo.

Gráfico 2: Impacto sobre la declaración de gasto, por variante de SMS

Nota: *** p<0.01, ** p<0.05, * p<0.1. Promedio del grupo control: 80.62

Gráfico 3: Impacto sobre el retiro de saldo, por variante de SMS

Nota: *** p<0.01, ** p<0.05, * p<0.1. Promedio del grupo control: [Link]

Al comparar la duración de las campañas (larga vs corta), la campaña corta presenta efectos de mayor
magnitud en todas las variables de resultado. Sin embargo, ambas campañas presentan un efecto negativo
pequeño sobre el registro de la ficha técnica, lo que es razonable: si un encargado de mantenimiento se da
cuenta de que no va completar el proceso de registro antes de la fecha límite, es probable que opte por no
empezarlo.
Evidencias MineduLAB
Octubre de 2018

Gráfico 3: Impacto del SMS PRONIED, por duración de campaña

Nota: *** p<0.01, ** p<0.05, * p<0.1. Promedio del grupo control: Declaración de gastos al 80.62,
registro de ficha técnica al [Link], declaración de gastos aprobada al [Link], retiro de saldo al [Link].

Adicionalmente, se estudió el efecto de la sostenibilidad del efecto de la campaña. Los resultados sugieren
que el envío de SMS tiene un efecto duradero mientras la campaña esté activa. Esto puede atribuirse a que
cada fase de la campaña fue implementada luego de un largo intervalo de tiempo, lo que impide que los
encargados de mantenimiento escolar creen un hábito perdurable. Es por eso que tan pronto termina la
campaña, el efecto desaparece.

LECCIONES DE POLÍTICA

 El mensaje de norma cualitativa a nivel UGEL ofrece resultados prometedores, ya que el uso de este
tipo de mensajes es más efectivo que las otras variaciones y su elaboración es relativamente sencilla
porque no requiere información específica por cada UGEL. Además, dado que los mensajes de
monitoreo demostraron ser efectivos en la fase 2015 de la campaña se recomienda emplear ambos
tipos de mensajes.

 La duración de la campaña juega un rol importante en el efecto esperado. La campaña corta tiene
efectos de mayor magnitud que la campaña larga. Además, la campaña corta es más costo-efectiva,
siendo el costo de implementación de US$ 0.12 frente a US$ 0.21 de la campaña larga.

 Por la propia naturaleza de las campañas, no es posible conseguir un impacto sostenible en el tiempo;
la dinámica no crea en los responsables de mantenimiento el hábito deseado para cumplir las
obligaciones con mayor responsabilidad.
Evidencias MineduLAB
Octubre de 2018

SOBRE MINEDULAB

MineduLAB es un laboratorio de innovación costo-

efectiva para la política educativa que trabaja en la
identificación de innovaciones de bajo costo que
pueden ser piloteadas y evaluadas recurriendo a data
administrativa existente, permitiendo así la innovación
y el aprendizaje continuo en la política educativa.
MineduLAB es una herramienta gestionada por la
Oficina de Seguimiento y Evaluación Estratégica (OSEE)
que forma parte de la Secretaría de Planificación
Estratégica (SPE). Ver más en:
[Link]/minedulab Figura 3. Ciclo de Innovación MineduLAB

REFERENCIAS

Duflo, E. (2001). Schooling and Labor Market Consequences of School Construction in Indonesia: Evidence
from an Unusual Policy Experiment. American Economic Review, Vol. 91(4): 795-813.

Neilson, C & Zimmerman, S. (2011) The Effect of School Construction on Test Scores, School Enrollment, and
Home Prices. IZA Discussion Paper 6106, Institute for the Study of Labor (IZA).