CONSTRUCCIÓN DE
PRUEBAS PSICOLÓGICAS
2022 -02
TEMA:
Análisis de los reactivos, ensamblaje y
aplicación de la prueba piloto
SEMANA 8
LOGRO DE LA UNIDAD
Al finalizar la unidad, el estudiante identifica el proceso
de la construcción de un test psicológico, basándose
en un marco teórico, selección de dimensiones y tabla
de especificaciones.
LOGRO DE SESIÓN
Al finalizar la sesión, el alumno elabora el análisis de los
reactivos de su prueba psicológica, denotando
objetividad y creatividad.
Saberes previos……
¿Qué son ítems?
¿Por qué son necesarios los ítems en una prueba psicológica?
¿De qué manera la teoría aporta en la definición dimensiones
/componentes e ítems de una prueba psicológica?
Recuerda:
Tabla de especificaciones para la construcción de pruebas
VARIABLE DIMENSIÓN INDICADOR ÍTEMS
1 1A 1
2
1B 1
2
1C 1
2
2 2A 1
2
2B 1
2
2C 1
2
3 3A 1
2
3B 1
2
3C 1
2
ANALISIS DE ÍTEMS
• Es el primer paso para demostrar empíricamente que un instrumento es
adecuado (a través de recogida de datos y estos datos analizados permitirán
determinar las características de validez y confiabilidad)
• Es una forma de establecer la validez discriminatoria de un instrumento
• Permite calcular los índices de dificultad y de discriminación
• Esto implica que dependiendo de la dificultad de un reactivo es que éste podrá
diferenciar de los que conocen la respuesta correcta de los que no la conocen.
ANALISIS DE REACTIVOS (cont)
• En el caso de las escalas e inventarios, no hay índices de dificultad, pues no
existen índices de dificultad ya que no hay contestaciones correctas e incorrectas.
• Se puede calcular el índice de discriminación ya que el mismo nos indica el nivel
en que la pregunta diferencia del que refleja un nivel mayor de actitud del que la
refleja menos
• En una de escala de estrés, por ejemplo, el índice de discriminación nos dice si el
reactivo diferencia entre los que tienen mas y los que tienen menos estrés.
ANÁLISIS DE ÍTEMS :
Dificultad
Instrumento
Discrimina
Fiabilidad
ción
TCT
Medir
Análisis de
distractore Validez
s
Características
técnicas del
instrumento
▪ La evaluación de la calidad métrica de los elementos del test nos informa de las características estadísticas
de estos y de su contribución a la medición del constructo
▪ Los ítems deben ser capaces de discriminar entre sujetos
▪ Las características psicométricas de los ítems contribuyen a las características del test: su fiabilidad y validez.
▪ El análisis se lleva a cabo en dos fases: en el estudio piloto y en la confección de la prueba final
▪ El análisis cuantitativo de los ítems consiste en:
✓Estimar sus parámetros: dificultad, discriminación, fiabilidad y validez
✓Análisis de los distractores
✓Sesgo: Funcionamiento diferencial de los ítems (FDI)
Propiedades psicométricas de los ítems
I. La dificultad de un ítem
Aspecto que se establece a priori desde consideraciones teóricas y que están en función del contenido.
II. La discriminación del ítem
Un ítem tiene poder discriminativo cuando es capaz de diferenciar adecuadamente a los sujetos de diferentes
niveles de una variable criterio
III. La fiabilidad y la validez de un ítems
Relacionadas con la discriminación de los ítems
IV. Comparación de las respuestas de los ítems
Medir el grado de acuerdo u homogeneidad entre los ítems, ver si los ítems miden la misma variable
V. Análisis de distractores
VI. Funcionamiento Diferencial del Ítem
Analiza si distintos grupos con el mismo nivel de competencia tienen distintas probabilidades de éxito en un ítem,
pero sin apuntar a posibles causas
I. Dificultad del Ítem
• Solo para tests que miden variables cognitivas, en los que existen respuestas correctas e incorrectas
A = numero de sujetos que responden correctamente al ítem
N = numero de sujetos que responden al ítem
• Oscila entre 0 y 1
• Ítems con valores extremos P= 0 P= 1 deben ser descartados
• Para ítems dicotómicos
• Se debería de llamar índice de facilidad ya que los valores altos indican la facilidad del ítems
• Su principal inconveniente es que depende de la muestra de sujetos en que se calcule, de tal
forma que un mismo ítem tendrá tantos índices de dificultad como muestras se puedan utilizar
para su cálculo.
II. Discriminación del ítem
• Capacidad del ítem para distinguir o diferenciar a los sujetos de baja, media y alta
puntuación en un criterio.
• Se debe conocer tanto en pruebas cognitivas como en las que no lo son.
• El criterio puede ser interno (la puntuación en el test) o externo (otro test u otra variable)
• Cuando el criterio es interno el índice de discriminación se puede interpretar como índice de
homogeneidad IH porque expresa el grado de semejanza entre las respuesta al ítems y el
resto de los ítems mediados a través de la puntuación total en el test
• Cuando el criterio es externo el índice de discriminación es una medida del grado de validez
del ítem referido a ese criterio y su valor es proporcional al índice de validez IV del ítem
12
▪ Cuando todas las personas aciertan el ítem ID = 1 o cuando nadie lo
acierta ID = 0, el ítem no es capaz de discriminar.
▪ La máxima discriminación tiene lugar cuando ID= 0.5 y es acertado por el
50% de las personas.
▪ Para su cálculo de la Discriminación de un ítem disponemos de dos índices
*Índice de discriminación
*La correlación entre el ítem y el resto del test.
▪ Número de Discriminaciones = Aciertos (N – Aciertos)
13
Fiabilidad y Validez del Ítem
Índice de Fiabilidad IF Índice de Validez IV
• Correlación del Ítem con un criterio es • Se evalúa la relación del ítem con un
interno criterio externo
• Se considera una medida de la precisión
con la que el ítem mide el constructo o
domino de interés
• El coeficiente de validez de un test se
• La fiabilidad del test se puede expresar en puede expresar a través de los IV de los
términos de los IF ítems
14
Factores que afectan a la discriminación
• Al aumentar la discriminación de los ítems aumenta la fiabilidad del test
• Al aumentar la fiabilidad de los ítems aumenta la fiabilidad del test.
• Cuando un ítem tiene varianza cero (acertado o fallado por todos) no tiene
poder de
discriminación.
• El mayor poder discriminativo de un ítem se producen cuando su D= 0.5
• En test multidimensionales el Índice de Discriminación hay que calcularlo
respecto al conjunto de ítems asociados a una misma dimensión o constructo
15
IV. Comparación de las respuestas de los ítems
• Para medir el grado de homogeneidad de
dos Ítems podemos aplicar el estadístico
Aciertos Errores
con 1 grado de libertad
Aciertos a b
• H0: El grado de acuerdo u homogeneidad Errores c d
entre los ítems no es significativo (los dos
ítems no miden la misma variable, uno de
ellos o los dos son inadecuados)
Podemos plantear además si es grado
de dificultad de estos dos ítems es
igual o no, es decir si las diferencias
• Cuando la homogeneidad es significativa,
encontradas son lo suficientemente
se calcula el grado o intensidad de dicha
pequeñas como para ser debidas a
homogeneidad como la proporción de
errores de muestreo
sujetos que contestaron correctamente a
ambos ítems (este índice representa la
H0: La ejecución de ambos ítems es
consistencia entre los aciertos)
igual
Esperanza Sánchez Moya 16
V. Análisis de Distractores
• Se debe analizar primeramente la alternativa correcta, su redacción, el formato, el contenido
• Un BUEN distractores
✓ Debe ser elegido por un mínimo de sujetos, como mínimo por el 10% de los sujetos.
✓ Si esta por encima del 10% NO es un buen distractor
✓ Deben tener un porcentaje similar de sujetos que elige cada distractor
✓ Debe discriminar en sentido contrario: La correlación de la opción correcta debe ser
positiva y la del distractor negativa
✓ La media del distractor debe ser menor que la media de la alternativa correcta
✓ La media del distractor debe ser menor que la media total
17
VI. Funcionamiento Diferencial del Ítem
Analiza si distintos grupos con el mismo nivel de competencia tienen distintas probabilidades de éxito en
un ítem, pero sin apuntar a posibles causas
Impacto
Sesgo • Un ítem presenta impacto cuando refleja una
• Es una fuente de invalidez o error sistemático y diferencia real (NO UN ERROR SISTEMÁTICO)
contrario al error aleatorio
entre grupos en la variable medida por el ítem
• Son diferencias encontradas entre distintos grupos
medidos con el mismo instrumento de medida, estas debido que la probabilidad de responderlo
diferencias se pueden deber a diferencias reales entre los correctamente es mayor para un grupo que para
grupos o a fuentes sistemáticas de variación ajenas al otro.
constructo
• Un ítem está sesgado cuando la probabilidad de éxito • Implica diferencias reales entre lo sujetos de
para sujetos igualmente competentes en la variable que ambos grupos
mide el ítem depende del grupo al que pertenezca el
sujeto FDI
• Un ítem es insesgado si la probabilidad de éxito para
el ítem es la misma para sujetos igualmente capaces
• Cuando existen diferencias en la puntación
independientemente del grupo al que pertenezca. media obtenida en ese ítem por dos grupos
distintos de sujetos pero con el mismo nivel
en el rasgo
• Indica que la diferencias no son reales
REFERENCIAS BIBLIOGRÁFICAS
Abad, F., García, C., Gil, B., Olea, J., Ponsoda, V., & Revuelta, J. (2004). Introducción a la Psicometría. Madrid: Universidad
Autónoma de Madrid.
Cañadas Osinki, I. y Sanchez Bruno, A. (1998): Categorías de respuesta en escalas tipo likert. Psicothema, vol 10. 3, 623-631
Escurra, M., & Salas, E. (2014). Construcción y validación del cuestionario de Adicción a Redes Sociales (ARS). Liberabit, 20(1),
73-91.
García, G. (2011). Escala Likert [Diapositiva de Power Point]. Recuperado de: [Link]
9184563
Herrera, N. (2014). Escala de Likert y Guttman [Prezi]. Recuperado de: [Link]
guttman/
Lemos Hoyos, M. & Londoño Arredondo, N. H. (2006). Construcción y validación del cuestionario de dependencia emocional en
población colombiana. Acta Colombiana de Psicología, 9(2), 127-140. Recuperado de
[Link]
Muñiz, J. (1994). Teoría clásica de los test. Madrid: Pirámide.
Osterlind, S. J. (1990). Toward a uniform definition of a test item. Educational research quarterly, 14(4), 2-5.
Tomás, J. M., Sancho, P., Oliver, A., Galiana, L., & Meléndez, J. C. (2012). Efectos de método asociados a ítems invertidos vs.
ítems en negativo. Revista Mexicana de Psicología, 29(2).
Atienza, F.L., Moreno, Y., & Balaguer, I. (2000). Análisis de la dimensionalidad de la Escala de Autoestima de Rosenberg en una
muestra de adolescentes valencianos. Revista de Psicología. Universitas Tarraconensis, 23(2), 29-42.