PISA para Centros
Educativos: el futuro
de la evaluacin del
rendimiento de los centros
Disponible en PDF
GESTION
DIRECTIVA
Guillermo Gil
Escudero
Investigador en
educacin y en psicologa.
Fue representante de
Espaa en el proyecto
PISA entre los aos 1997
y 2004, y actualmente
es responsable tcnico
del proyecto PISA para
Centros Educativos
en Espaa.
Ismael Sanz
Labrador
Economista, es
Director del Instituto
Nacional de Evaluacin
Educativa INEE del
Ministerio de Educacin,
Cultura y Deporte de
Espaa, y Profesor de
Economa Aplicada en
la Universidad Rey
Juan Carlos.
Este trabajo resume el sentido, el origen y las caractersticas de la Prueba PISA
para Centros Educativos PISA for Schools, junto con una descripcin del proceso que se est llevando a cabo en Espaa para su implementacin y las perspectivas de futuro.
Ruta maestra Ed.7
RUTA MAESTRA 77_(43_48).indd 43
Instituto Nacional de
Evaluacin Educativa
INEE. Ministerio de
Educacin, Cultura y
Deporte
43
19/05/14 16:57
uando cada tres aos se hacen pbli- La prueba PISA para Centros Educativos (PISA
cos los resultados de la evaluacin in- for Schools) se ha diseado para poder responternacional PISA (Programa para la der a estas mismas preguntas sobre la preparaEvaluacin Internacional de Alumnos) de la cin y las capacidades de los estudiantes en los
OCDE, su repercusin en los medios de co- centros educativos, de tal modo que los docenmunicacin y en los mbitos polticos es muy tes y las familias de los alumnos conozcan el
importante. Esta relevancia se deriva del nivel de competencias y habilidades alcanzado
conocimiento de que el futuro social, econ- por estos ltimos en cada centro. La prueba
mico y cultural de los pases depende, en una PISA para Centros Educativos supone una exgran medida, del nivel educativo de su pobla- pansin del PISA, en cuanto ampla y modifica
cin que condiciona las capacidades profe- esencialmente la audiencia a la que estn dirisionales de la poblacin y, en consecuencia, gidos los resultados de la evaluacin. El PISA
el desarrollo general de los pases que est principal est dirigido a los polticos responsadeterminado por su
bles de la educacin y
capital humano. El
al debate poltico, para
PISA
proporciona
lo que proporciona reLa prueba PISA para Centros
datos a los responsasultados
nacionales
Educativos supone una expansin
bles de las polticas
agregados que servidel PISA, en cuanto ampla y
de educacin sobre
rn a las comparaciomodifica esencialmente la audiencia
hasta qu punto los
nes internacionales.
a la que estn dirigidos los
estudiantes de cada
resultados de la evaluacin.
pas estn preparaSin embargo, el PISA
dos para enfrentarse
para Centros Educatia los retos del futuro
vos est dirigido a los
y sobre el grado de eficacia con el que pueden centros educativos (directores, profesorado y
analizar, razonar y comunicar sus ideas, es otro personal educativo) as como a las famidecir, el grado en el que han desarrollado el lias de los alumnos que asisten a los mismos, y
conocimiento y las destrezas esenciales para hasta a los propios estudiantes; y su objeto es la
su participacin con xito en el mundo del mejora de la calidad educativa en trminos de
siglo XXI.
rendimiento acadmico.
44
RUTA MAESTRA 77_(43_48).indd 44
Ruta maestra Ed.7
19/05/14 16:57
La Prueba PISA para Centros
Educativos (PISA for Schools)
La prueba PISA para Centros Educativos es
una evaluacin del rendimiento promedio de
los alumnos de los centros educativos que est
fundamentada en el conocimiento acumulado
por el PISA. Como en las evaluaciones PISA,
la prueba PISA para Centros Educativos mide
y proporciona resultados y anlisis sobre el
conocimiento aplicado y las competencias en
lectura, matemticas y ciencias de estudiantes
de quince aos. La evaluacin no solo pretende
determinar si los alumnos saben reproducir
el conocimiento adquirido, sino que tambin
examina el grado en el que saben extrapolar
lo que han aprendido y en el que saben aplicarlo en situaciones no familiares, tanto dentro
como fuera del centro educativo. Tambin permite a los centros evaluar y comparar la competencia de sus alumnos as como contrastar
su rendimiento frente al de otros centros de su
pas y del mundo, dado que los resultados de la
prueba PISA para Centros Educativos son comparables con las mismas escalas que se usan
en la evaluacin PISA, que incluye a alumnos
y centros educativos de ms de 70 pases. Asimismo, suministra informacin sobre la implicacin de los estudiantes y sobre los entornos
de aprendizaje en los centros educativos.
El propsito de la Prueba PISA para Centros
Educativos es proporcionar a los centros educativos individuales, o a agrupaciones de centros educativos, datos fiables del rendimiento
acadmico del conjunto de sus alumnos al
final de la educacin obligatoria. En Espaa
podr proporcionar informacin sobre su rendimiento acadmico en comparacin con el
resto de los centros espaoles participantes en
el PISA, as como con los de su regin, con los
de los pases participantes en el PISA y con el
promedio de los pases de la OCDE, con objeto
de fomentar la mejora de la calidad los centros
y la investigacin educativa. Asimismo, puede
ser una herramienta til para las autoridades
educativas.
Por otro lado, esta herramienta de evaluacin
educativa: a) no es una prueba estandarizada
Ruta maestra Ed.7
RUTA MAESTRA 77_(43_48).indd 45
obligatoria; b) no pretende alinear sus contenidos de evaluacin con el currculum de un pas
especfico, aunque puede haber solapamiento
entre ambos; c) no intenta influenciar por s
misma las prcticas cotidianas de enseanza;
d) no es una alternativa a la participacin
nacional o regional en el PISA; e) no es una
herramienta para establecer listados comparativos ordenados (rankings o league tables) de
centros educativos.
GESTION
DIRECTIVA
La prueba PISA para Centros Educativos surge
como respuesta a demandas de la comunidad
educativa. En primer lugar, la demanda y el inters de los centros por disponer de resultados
fiables sobre su rendimiento acadmico y otras
variables educativas. En segundo lugar, el inters por parte de las administraciones educativas en disponer
de datos individualiEl propsito de la Prueba PISA para
zados de los centros
Centros
Educativos es proporcionar
que permitan detera
los
centros educativos
minar la situacin
individuales,
o a agrupaciones de
relativa de los cencentros educativos, datos fiables
tros en comparacin
del rendimiento acadmico del
con los resultados
conjunto de sus alumnos al final de
promedio nacionales
la educacin obligatoria.
e internacionales, y
con otros centros de
similares caractersticas, con el fin de tener datos para decidir qu
centros requieren una intervencin especial.
Y, por ltimo, la necesidad por parte de los investigadores en educacin de disponer de un
instrumento fiable, vlido y contrastado, de
investigacin del rendimiento educativo de
los alumnos y de los centros que permita hacer
comparaciones tanto nacionales como internacionales.
La Prueba PISA para Centros Educativos intenta responder a estas demandas dado que el
estudio PISA actual est diseado para obtener
resultados fiables del conjunto de los pases
(en los que se evala a 35 alumnos de quince
aos de, al menos, 150 centros educativos), o
de unidades regionales en Espaa, Comunidades Autnomas, pero no est diseado
para proporcionar datos fiables de cada uno de
los centros o alumnos participantes, por lo que
no permite obtener datos suficientemente precisos, fiables y estables de cada uno de ellos.
45
19/05/14 16:57
La Prueba PISA para Centros
Educativos se centra en la
evaluacin de las reas de
Lectura, Matemticas
y Ciencias. Examina a un
nmero suficientemente
grande de estudiantes de
quince aos de los centros
educativos que participan con
el objeto de que las medidas
resultantes sean fiables.
Las evaluaciones PISA actuales no pueden
satisfacer estas demandas debido a las caractersticas especiales de su diseo y al requisito
estrictamente necesario de preservar la confidencialidad de las pruebas, sin el que no sera
posible el mantenimiento y desarrollo del proyecto PISA.
El proyecto PISA para Centros
Educativos en Espaa
Un resultado adicional del proyecto consiste
en poner los materiales de evaluacin a disposicin de otros pases hispano-hablantes que
participan en PISA y de otros pases con otras
lenguas oficiales que deseen tener acceso a los
materiales en castellano, as como a los procedimientos y otros materiales desarrollados por
el proyecto, mediante acuerdos escritos entre
el Ministerio de Educacin, Cultura y Deporte
(MECD) espaol con el Directorado para la
Educacin de la OCDE y con las correspondientes autoridades de los pases interesados.
Caractersticas de la prueba
La viabilidad de la
Prueba PISA para
Centros Educativos
ya ha sido probada
con xito durante
2012, en lengua
inglesa, mediante
una prueba piloto en
la que participaron,
Canad, Estados
Unidos y Reino Unido.
46
RUTA MAESTRA 77_(43_48).indd 46
Objetivos
El objetivo del proyecto PISA para Centros
Educativos en Espaa es adaptar y establecer
en este pas (en castellano, cataln, gallego,
valenciano y vasco), la Prueba PISA para Centros Educativos, desarrollada por el Directorado de Educacin de la OCDE 1 . Para ello, es
necesario constituir los fundamentos tcnicos
y operativos de la evaluacin y establecer las
condiciones para su desarrollo, implantacin y
utilizacin adecuada en el futuro.
La Prueba PISA para Centros Educativos se
centra en la evaluacin de las reas de Lectura,
Matemticas y Ciencias. Examina a un nmero
suficientemente grande de estudiantes de
quince aos de los centros educativos que participan con el objeto de que las medidas resultantes sean fiables. Mantiene, por el momento,
la evaluacin con pruebas impresas de papel y
lpiz, as como el estilo de diseo de pruebas
del estudio PISA actual en el que gran parte
de los alumnos responden a preguntas de dos
Ruta maestra Ed.7
19/05/14 16:57
de las tres reas evaluadas y su rendimiento en
el rea en la que no son evaluados se estima
mediante procedimientos probabilsticos, por
lo que no pueden obtenerse puntuaciones fiables para cada uno de los alumnos. Su contenido se ajusta, en un grado muy alto, al diseo
de las pruebas del PISA en cuanto a su encaje
con las competencias y habilidades incluidas
en los marcos de evaluacin, las propiedades
psicomtricas y los tipos de respuesta que se
utilizan.
Dedica alrededor de 276 minutos cuatro
horas y media a la evaluacin de competencias (unos 92 minutos para cada una de las
reas, de modo similar a las reas que evala
el PISA y que no son el rea principal de cada
edicin trianual del PISA). La prueba consta
de 62 unidades de evaluacin con 141 tems
distribuidos en 7 cuadernillos con base en un
diseo balanceado, de tal modo que cada estudiante responde, durante aproximadamente
40 minutos, las preguntas de contenido de la
evaluacin. Asimismo, se utilizan cuestionarios del estudiante y del centro, similares a los
utilizados por el PISA.
La implementacin del proyecto PISA para
centros Educativos en Espaa se ha llevado a
cabo gracias a la colaboracin del Directorado
para la Educacin y Destrezas de la OCDE, el
Instituto Nacional de Evaluacin Educativa
INEE del MECD y las autoridades educativas
de las Comunidades Autnomas espaolas.
La prueba piloto se ha diseado de modo que
permita analizar la precisin de las medidas
(tanto de rendimiento como de las variables
del contexto del aprendizaje) que se pueden
La prueba piloto 2013-2014
obtener para cada centro educativo, as como
la relacin del nmero de alumnos examinado
en cada centro con el grado de precisin de dichas estimaciones. Asimismo, el diseo de la
prueba piloto est dirigido a analizar las diferencias de resultados de los centros educativos
en funcin de la administracin de las pruebas
Ruta maestra Ed.7
RUTA MAESTRA 77_(43_48).indd 47
por edad (a los alumnos de quince aos del
centro) o por curso (a los alumnos de 4 curso
de la ESO grado 10 internacional).
GESTION
DIRECTIVA
El muestreo se ha diseado como un muestreo
de conveniencia no proporcional mediante el
que se seleccionaron los 224 participantes
de entre el grupo de centros que particip en
el PISA 2009 2 en funcin su tamao, su titularidad y su nivel de rendimiento en el PISA
2009. Por ello, los resultados globales nicamente son representativos de cada centro
educativo considerado individualmente
y, en ningn caso son
representativos los
datos agregados de
los mismos ni en su
totalidad ni cualquier
otra desagregacin
que pudiera realizarse. Este diseo
muestral permite explorar las propiedades de las pruebas en
un rango de centros
educativos de caractersticas muy diversas.
La administracin de las pruebas se realiz en
los meses de noviembre y diciembre de 2013.
Participaron 224 centros en los que se evalu a
ms de 15.500 estudiantes. Est previsto llevar
a cabo el anlisis de datos antes del verano de
2014, elaborar los informes durante el ltimo
trimestre de 2014 y hacer llegar los resultados
a los centros al inicio de 2015.
Los informes individualizados
de los centros educativos
La definicin de los contenidos y modos de
presentacin de los informes de resultados de
los centros educativos constituye un elemento
central del proyecto. Los informes para los centros educativos incluirn, al menos, cuatro elementos:
Con el objeto de tener
el mximo de puntos de
referencia con los que
valorar los resultados
de la prueba piloto, la
muestra de conveniencia
se extrajo del marco
muestral inicial
conformado por los
centros que participaron
en la prueba PISA 2009
y para los que se dispone
de los datos, tanto de
rendimiento como de
contexto, obtenidos en
el ao 2009 con los que
comparar los resultados.
47
19/05/14 16:57
Una introduccin que facilite la comprensin
de las caractersticas de la Prueba PISA para
Centros Educativos y la interpretacin de sus
resultados.
Una descripcin de lo que saben y de lo que
saben hacer los estudiantes del centro en lectura, matemticas y ciencias.
La situacin de los resultados del centro en el
contexto de los resultados regionales, nacionales e internacionales en el PISA.
Resultados sobre el entorno de aprendizaje
y sobre la implicacin de los estudiantes en el
contexto regional, nacional e internacional en
el PISA.
Normas de utilizacin y
estndares tcnicos
Con el objeto de asegurar un uso adecuado y
legtimo de la prueba en Espaa se establecern unas normas de utilizacin espaolas,
respetando en todo caso las normas generales
internacionales establecidas por la OCDE. Incluirn, entre otros temas, las especificaciones
necesarias sobre los objetivos con los que debe
administrarse la prueba y las entidades que
pueden ser promotoras de la realizacin de la
prueba en los centros.
En trminos ms
generales, se puede
pensar que en el
futuro el impacto
social de la Prueba
PISA para Centros
Educativos ser an
mucho mayor que el
de las evaluaciones
PISA principales
48
RUTA MAESTRA 77_(43_48).indd 48
Perspectivas de futuro
De cara al futuro, el proyecto PISA para Centros Educativos en Espaa incluye la administracin de las pruebas mediante computadoras
en formato digital. Lograr este objetivo es de
enorme importancia ya que la computarizacin de la prueba contribuira muy significativamente a reducir el coste de realizacin de la
misma al desaparecer los costos asociados a la
impresin, reducir los de transporte y manejo
de materiales, y automatizar la correccin de
pruebas y grabacin de datos.
Con el objetivo de que la prueba PISA para
Centros educativos sea aplicable en el futuro
con ordenadores porttiles o tabletas y comparable con la prueba PISA principal, es necesario llevar a cabo una segunda prueba piloto
programada para el perodo 2014-2015
que supone la evaluacin de los estudiantes
tanto con pruebas impresas como en formato
electrnico, de modo que se pueda realizar un
estudio de equivalencia entre estas modalidades de aplicacin de pruebas.
Por otro lado, con la finalidad de poder utilizar
la prueba durante un perodo amplio del ao
escolar y no solamente en las fechas en las
que se realiza el estudio PISA principal es necesario realizar un estudio adicional que permita el clculo de la ganancia de aprendizaje
de los alumnos (en trminos de puntos en las
escalas PISA) en los cursos de 9 y 10 grado
internacional.
En trminos ms generales, se puede pensar
que en el futuro el impacto social de la Prueba
PISA para Centros Educativos ser an mucho
mayor que el de las evaluaciones PISA principales, dado que la audiencia se extendi a
educadores, directores de los centros educativos, profesores, padres y alumnos, y a la mayor
relacin de todos ellos con los resultados que
proporciona.
Ruta maestra Ed.7
19/05/14 16:57