VALIDEZ:
*Indica SI la puntuación MIDE LO QUE DICE MEDIR. ( Si la puntuación puede interpretarse
como un indicador de la cantidad de constructo que se pretende medir)
*Tiene que ver con el aspecto más conceptual, específicamente de la variable que estoy
midiendo.
*Dice QUÉ ES LO QUE SE ESTÁ MIDIENDO. Una vez identificado esto permite mayor
cantidad de elementos para la teoría.
*La Validez siempre ha sido considerada el aspecto central de la Psicometría y el más difícil de
definir. Estudiar sus cambios a lo largo de la historia puede ayudarnos a aclarar el significado del
concepto:
*Convencionalmente, la validez se define como: “el grado en que un test mide lo que pretende
medir”. Definición muy similar a la expuesta antiguamente por Garret: “la validez se refiere al
grado en que un test o conjunto de operaciones mide lo que dice medir”.
Durante muchos años primó una aproximación pragmática, empírica e incluso ateórica como la de
Guilford: “de una forma muy general un test es válido para aquello con lo que correlaciona”.
Durante este mismo periodo se fueron desarrollando los distintos tipos de validez y sus
características. Un cambio importante fue el introducido en los Standards for Psychological and
Esucational Tests en los que se habla de 4 aspectos de la validez: contenido, predictiva,
concurrente y de constructo.
Messick integra las diferentes aproximaciones a la validez dentro de la validez de constructo. La
conclusión a la que llega es que hay una única validez, la validez de constructo: “la validez de
constructo es el concepto unificador de validez que integra consideraciones de contenido y de
criterio, en un marco general para probar hipótesis racionales acerca de relaciones teóricamente
relevantes”.
*Esta perspectiva unificadora de la validez aparece recogida en los Standards for Psychological and
Esucational Tests que dan la siguiente definición de VALIDEZ: “La validez se refiere a la adecuación,
significación y utilidad de las inferencias específicas hechas a partir de las puntuaciones de los
tests… una gran variedad de inferencias pueden hacerse a partir de las puntuaciones de un
determinado test y hay muchas formas de acumular evidencia que soporten una inferencia
particular. La validez, no obstante, es un concepto unitario y siempre se refiere al grado en que la
evidencia soporta las inferencias hechas desde las puntuaciones de los tests. Se validan las
inferencias para propósitos especiales, no el test mismo… Una validación ideal incluye varios tipos
de evidencia, que comprenden las tres tradicionales (contenido, constructo y criterio)… Los juicios
profesionales guiarán las decisiones respecto a las evidencias más importantes a la luz del uso
pretendido del test.”
Esta nueva definición tiene importantes implicaciones:
En 1° lugar: Debemos destacar el énfasis en las puntuaciones y no en los tests o instrumentos.
Estos últimos no tienen fiabilidad ni validez, sólo la tienen las puntuaciones derivadas de ellos.
En 2° lugar: Utilizamos las puntuaciones de los tests para un propósito particular, para hacer
inferencias concretas; por lo tanto, distintos tipos de inferencias de las puntuaciones de los tests
pueden requerir distintas evidencias (datos, hechos, justificaciones, etc.)
En 3° lugar: La validez no puede resumirse de forma adecuada por un índice numérico; no hay un
único coeficiente de validez. Los diversos estadísticos denominados coeficientes de validez son
descriptores numéricos de la fuerza o del grado de alguna de las evidencias empíricas de la validez.
En 4° lugar: Puesto que la validez es el grado de adecuación de las puntuaciones de un test para un
uso particular, la validación de los tests es el proceso de acumulación de pruebas y evidencias que
soporten dichos usos e inferencias.
En resumen y como señala Cronbach: “la meta final de la validación es la explicación y la
comprensión y por tanto esto nos lleva a considerar que toda validación es validación de
constructo”. Otra consideración importante que tiene que ver con la validez es la de las
consecuencias sociales del test, ya que el uso de los tests está generalizado en todos los ámbitos
de la vida cotidiana “…debe ligar conceptos, evidencias sociales y personales y valores… y los
validadores tienen la obligación de revisar si una práctica tiene o no las consecuencias apropiadas
para individuos e instituciones, y especialmente evitar las consecuencias adversas.” (Gracias a esta
consideración de lo social, hoy se tiene en cuenta para la validación, aspectos como el del sesgo).
*A continuación, se presentan cada una de las categorías dentro de la validez:
*VALIDEZ DE CONTENIDO: expresa el grado en que el contenido de un test constituye una
muestra representativa de los elementos del constructo que pretende evaluar. (Ej: para
una prueba de suma, se tiene que medir suma)
*VALIDEZ RELATIVA O DE CRITERIO: expresa las relaciones del constructo con otros
constructos, operacionalizada normalmente en términos de correlaciones y regresiones
del test con otras medidas. (Cuando comparo con algo que está fuera del test, un criterio
externo)
*VALIDEZ DE CONSTRUCTO: cuando el usuario del test desea hacer inferencias acerca de
conductas o atributos que pueden agruparse bajo la “etiqueta” de un constructo
psicológico particular. Integra toda la evidencia que permite la interpretación de las
puntuaciones de los tests. (más imp. Permite hacer inferencias psicológicas e
interpretaciones de los tests)
*Cuando se selecciona un test para un propósito particular, el usuario debe tener claro el tipo de
validez que es adecuada para dicho propósito. (Diferentes tipos de validez soportan distintos tipos
de inferencias y no son intercambiables).
VALIDEZ DE CONTENIDO:
*DICE SI LOS ITEMS SON REPRESENTATIVOS DEL CONSTRUCTO
*Convencionalmente se define: como la adecuación muestral de los ítems de un test, en cuanto
muestras de un dominio más amplio de ítems representativos del constructo/conducta.
*El propósito de un estudio de validación de contenido será establecer el grado en que el conjunto
de ítems del test representa adecuadamente un dominio de conductas de interés específico. En la
práctica la validación de contenido supone: el examen sistemático del contenido del test para
determinar si una muestra es representativa y relevante del dominio comportamental que se
pretende medir.
*PROCEDIMIENTOS para evaluar la validez de contenido:
1. *DEFINICIÓN DEL UNIVERSO DE OBSERVACIONES ADMISIBLES: (identificar todo lo que tiene que
ver con lo que voy a evaluar, por ejemplo: características, ítems, datos, etc.)
2. *IDENTIFICACIÓN DE EXPERTOS EN DICHO UNIVERSO
3. *JUICIO DE LOS EXPERTOS ACERCA DEL GRADO EN QUE EL CONTENIDO INSTRUMENTO ES
RELEVANTE Y REPRESENTATIVO DE DICHO UNIVERSO, POR MEDIO DE UN PROCEDIMIENTO
ESTRUCTURADO QUE PREMITA EMPAREJAR LOS ITEMS CON EL DOMINIO
4. *UN PROCEDIMIENTO PARA RESUMIR LOS DATOS RESULTANTES DE LA FASE ANTERIOR (Contrastar
el juicio de los expertos con los ítems. Análisis + racional.)
En una primera fase se establecen las especificaciones del test, con arreglo a las cuales se
construirán los ítems. Estas especificaciones mostrarán:
- Áreas de contenido que se deben cubrir
-Objetivos instruccionales (en los tests educativos)
- Procesos que se evaluarán
-Importancia relativa de los diferentes tópicos y procesos.
Otras decisiones prácticas a tener en cuenta a la hora de la planificación del estudio de esta validez
1- Establecer si se van a ponderar las categorías, objetivos, ítems. Es decir, si a todos los obj.
se les va a dar el mismo peso o es necesario recurrir a expertos para asignar distintos
valores.
2- Estructura de la tarea emparejamiento ítems-objetivos. Para esta tarea en general se
recurre a los expertos para que unan los objetivos con los ítems que les parezcan más
pertinentes. Estos la mayor parte de las veces se evalúan dicotómicamente.
3- Aspectos del ítem que serán examinados. Se les pide opinión a los expertos sobre el modo
de presentación de los ítems, el formato de respuestas, etc.
4- Resumen de los resultados. Normalmente en este tipo de validación las decisiones son
más cualitativas que cuantitativas. No obstante hay algunos índices cuanti para resumir
las decisiones de los jueces. (porcentaje de ítems que se emparejan a objetivos, índice de
congruencia ítem- objetivo, etc.)
PROBLEMA DE LA VALIDACIÓN DE CONTENIDO:
Aunque es posible que todos los ítems se ajusten a los objetivos, estos pueden no representar
adecuadamente el dominio de rendimiento para el que se escribió el test. A veces la validez de
contenido se confunde con otros términos que representan otros rasgos del test, tales como:
Validez aparente: no se refiere a lo que el test mide sino a lo que superficialmente parece medir.
Validez curricular: los ítems son relevantes para el objetivo del curriculum de la investigación.
Validez instruccional: indica si los profesores han proporcionado instrucción en los contenidos y
destrezas medidos por los ítems del test.
Para solucionar los problemas de la validez de contenido Cronbach propuso un método
denominado el experimento de la construcción duplicada.
* APLICACIÓN DE LA VALIDEZ DE CONTENIDO.
Aunque la validez de contenido es importante para todos los tipos de tests (como por ejemplo de
inteligencia o personalidad), es absolutamente necesaria en la valoración de los tests de
rendimiento educativo y ocupacional, ya que permite responder a dos cuestiones básicas:
¿Está el contenido del test libre de la influencia de variables irrelevantes?
¿Cubre el test una muestra representativa de las destrezas y conocimientos específicos?
*Anotaciones de carpeta:
Deseabilidad social: distorsionar la imagen para volverla positiva. Dar una mejor imagen de sí
mismo porque quiere quedar bien. Es importante tenerla en cuenta en los distintos procesos de
creación y validación del test.
Algunos de los expertos más comúnmente utilizados en psicología son: Psicólogos, personas de
marketing, policías, psiquiatras, neurólogos, familiares, etc.
VALIDEZ DE CRITERIO:
*El criterio es siempre externo al test. Puede ser otro test, un juicio, notas, etc.
*Se utiliza cuando el usuario de un test quiere hacer inferencias de las puntuaciones del test a la
conducta del sujeto en algún criterio de rendimiento externo al propio test. El criterio suele ser
una variable o característica de interés real. El criterio es una medida directa e independiente de lo
que el test intenta medir o predecir.
*PROCEDIMIENTO para la validación referida a un criterio:
1- Indicar un criterio relevante y un método para medirlo
2- Identificar una muestra de sujetos representativa de la población en la que será usado el
test.
3- Administrar el test y obtener una puntuación para cada sujeto.
4- Obtener una medida de criterio: Cuando hay datos disponibles del criterio, obtener una
medida de éste para cada sujeto. Si no hay datos del criterio en el momento en el que se
aplica el test, dejar trascurrir un tiempo y recoger después los datos del criterio.
(simultáneo o diferido)
5- Determinar el grado de la relación o asociación entre el test y el criterio.
*La Validez de Criterio suele considerarse desde dos perspectivas distintas según la temporalidad
del criterio:
*VALIDEZ PREDICTIVA: se refiere al grado en que las puntuaciones del test predicen medidas del
criterio tomadas posteriormente, es decir, las conductas futuras del sujeto en el criterio.
(Posee capacidad PREDICTIVA, por lo tanto debe poder predecir correctamente. Siempre refiere a
CONDUCTAS FUTURAS del sujeto. Ej: Tomo el test lee a principio de año y a fin de año, gracias otra
prueba de lecto-escritura, afirmo o niego la capacidad predictiva del test. Quiero evaluar las
conductas futuras. Permite predecir. Más difícil de realizar)
*VALIDEZ CONCURRENTE: se refiere al grado en que las puntuaciones del test correlacionan con
las del criterio, medidas AL MISMO TIEMPO, es decir, con la situación actual del individuo en el
criterio. (Se hace cuando quiero leer la fotografía del sujeto en un momento. Describe a la persona
ahora. Permite diagnosticar: conocimiento del sujeto y sus trastornos en este momento.)
Otro tipo de Validez que es posible observar es la validez postdictiva o retrospectiva cuando:
estamos interesados en estimar el grado en que un individuo poseyó un rasgo determinado en el
pasado.
*ALGUNOS CRITERIOS COMUNES O FRECUENTEMENTE UTILIZADOS:
* Para los tests de inteligencia ------- Rendimiento académico. (Notas escolares, puntuaciones de
un test de rendimiento, honores, menciones especiales, evaluaciones, etc.)
*Para los tests de aptitudes específicas ------- Rendimiento en cursos de formación especializados.
(Tests después de un curso de especialización, etc.)
*Para los tests laborales ------- Rendimiento real del sujeto en el puesto de trabajo.
*Otros criterios muy importantes son:
_Grupos contrastables: muy utilizados en cuanto a niveles de rendimiento y de salud. Ej: Se
contrasta un grupo de personas depresivas con un grupo de personas sanas.
_Otros tests validados: generalmente se utilizan en la creación de nuevos tests.
CRITERIO:
Los criterios deben cumplir con una serie de requisitos, tales como ser relevantes, fiables, libres
de sesgos y distorsiones y fáciles de obtener.
PROCEDIMIENTOS ESTADÍSTICOS EN LA VALIDACIÓN REFERIDA A UN CRITERIO:
Un solo test predictor y un solo criterio: se usan las correlaciones y regresiones lineales.
Varios predictores y un solo criterio: se usan correlaciones y regresiones lineales múltiples. Se hace
un análisis discriminante.
Varios predictores cuantitativos y varios criterios cuantitativos: se usa regresión lineal
multivariante y regresión canónica. (Prácticamente no se usan)
Procedimientos basados en la teoría de la decisión: Teoría de la Utilidad Esperada Multiatributo.
*Anotaciones de carpeta:
Los procedimientos estadísticos mayormente utilizados para la valides de criterio son: las
correlaciones y regresiones lineales.
Cuando se trabaja con la validez predictiva es posible utilizar la Regresión lineal: que me permite,
si conozco el valor de una variable, poder predecir el valor de la otra.
VALIDEZ DE CONSTRUCTO:
*Es la que nos permite hacer inferencias psicológicas.
*Se parte de un constructo teórico. Se necesita en primer lugar, de una definición
teórica o conceptual, que luego se deberá ir bajando a una forma más operativa, para
que de esta manera pueda ser llevada a lo concreto y contrastada con la realidad.
*La psicología se caracteriza por el estudio de la conducta y de los atributos que caracterizan la
conducta del individuo. Estos atributos psicológicos y otros procesos mentales, no pueden medirse
directamente; son constructos o conceptos hipotéticos que forman parte de las teorías que
intentan explicar la conducta humana. El grado en que un individuo posee uno de estos atributos,
solamente puede inferirse a partir de la observación de la conducta. Esto es lo que dificulta el
diseño de tests e instrumentos.
*VALIDACIÓN DE CONSTRUCTO:
Son las evidencias que apoyan que las conductas observables del test son indicadores del
constructo, es el aspecto esencial de la validez y permite unificar las categorías.
*El constructo puede manifestarse a través de múltiples indicadores. La validación de constructo
es la acumulación de evidencias que apoyan que la puntuación del test es una de sus
manifestaciones. Cuando se establece la validez de constructo, pueden hacerse inferencias o
interpretaciones del test.
*PROCEDIMIENTO PARA LA VALIDACIÓN DEL CONSTRUCTO:
El proceso comenzará siempre estableciendo deducciones de la teoría, y se seguirán las siguientes
fases:
1. Formular una o más hipótesis acerca de las relaciones entre los elementos del constructo,
de éste con otros constructos de la teoría y con otros constructos externos. Estas hipótesis
estarán basadas en la teoría que fundamenta al constructo.
2. Seleccionar ítems o tests (indicadores observables) que representen manifestaciones
concretas del constructo.
3. Recogida de datos empíricos para poder poner a prueba la hipótesis.
4. Establecer la consistencia entre los datos y las hipótesis y examinar hasta qué punto los
resultados podrían explicarse mediante explicaciones alternativas o hipótesis rivales.
La validación de la teoría (constructo) y el test utilizado van juntas.
*Anotaciones de carpeta:
1° Hipótesis conceptual. Ej: Depresión.
2° H. Operativa. Ej: Tristeza, anedonia y apatía.
3° Dimensiones e indicadores implicados. Ej: Tristeza: llanto, desesperanza…
4° Elaboración de ítems. Ej: “No tengo ganas de levantarme”
5° Se establece la escala de medida. Ej: De acuerdo – No de acuerdo
6° Se obtiene un Índice (es el que luego va a determinar si el constructo se da o no)
Tiene que haber una relación clara entre el CONSTRUCTO (vble. Teórica) y las PUNTUACIONES
otorgadas a los ítems por los sujetos.
*PROCEDIMIENTOS UTILIZADOS CON MÁS FRECUENCIA EN LA VALIDACIÓN DE CONSTRUCTO,
SOLOS O EN COMBINACIÓN:
*1: DIFERENCIACIÓN ENTRE GRUPOS:
Un criterio empleado con frecuencia en la validación de los tests de inteligencia es la
diferenciación entre grupos de edades. Puesto que se espera que las habilidades cognitivas
aumenten con la edad. (Aumento progresivo hasta los 18/20, amesetamiento hasta los 40/44 y
luego declina)
Este criterio no es aplicable a otras funciones que no muestren estos consistentes cambios. ( se da
también con las escalas ordinales).
_La inteligencia no es lineal, si lo queremos comprobar tomamos un test a las distintos grupos de
edades que tienen que ver con la Vble.
Esto es aplicable para grupos. Un caso puede ser el de contrastar grupo depresivo con un grupo
sano.
Técnica de grupos contrastados.
*2: CORRELACIONES CON OTRAS MEDIDAS DEL CONSTRUCTO:
A veces se utilizan las correlaciones entre un nuevo test y otros tests ya validados como evidencia
de que el nuevo test mide el mismo constructo. Las correlaciones con otros tests se emplean, a
veces, para demostrar que el test está libre de factores irrelevantes.
_Cuando se analiza la Vble. es importante la CONVERGENCIA (= correlación) conceptual entre un
test y otro. Esto se hace para ver cuán consistente es el constructo.
Conceptual:----CONVERGENTE (distinto a) CONCURRENTE ----:Obj: cómo puedo clasificar a los
sujetos. Diagnosticar. Entre un depresivo y un sano. Validez de criterio
*3: ANÁLISIS FACTORIAL:
Es una técnica estadística para analizar las interrelaciones entre datos observables. Implica
obtener “x” medidas de los mismos examinados (ítems del test u otras variables), calcular la matriz
de correlaciones (“x” x “x”) entre estas medidas y usar las técnicas del análisis factorial para
encontrar un número reducido de variables no observables, denominadas factores, que explican la
covariación del conjunto original de variables.
Entre los diseños de validez de rasgos, las variaciones de las respuestas pueden deberse a un
factor latente. Este factor puede considerarse un constructo, definido por el conjunto particular de
observaciones empíricas (ítems).
Después de que los factores son identificados, pueden utilizarse para describir la composición
factorial de un test. Cada uno de los factores se caracterizará en términos de las variables que
determinan sus puntuaciones.
También para el análisis factorial se puede partir de la matriz de correlaciones.
_ A partir de una matriz de correlaciones se puede encontrar un factor inobservable.
Se busca encontrar una Vble. Oculta que no te la da un test pero si te la da la relación entre las
Vbles.
Método creado por un psicólogo, Spearman (que quería estudiar qué era la inteligencia), pero se
utiliza en todos los ámbitos. Galton, siglo XX, tenía una idea de la inteligencia que tenía que ver
con la velocidad del aparato sensorio-perceptivo. En esta época ya existía el concepto de
Correlación de Pearson ---: comparo el ordenamiento de las Vbles., no la media. Con la correlación
se puede observar si 2 Vbles. se ordenan de la misma manera.
Spearman: evalúa distintas variables que él piensa hacen a la inteligencia y después lo somete a
análisis de correlación. (Ej: cálculo y aritmética deben correlacionar positivamente)
Todos correlacionan positivamente porque hay un factor general (que no vemos) y además hay
mas correlaciones entre algunos de ellos. Esos conforman los factores de grupo.
4: ANÁLISIS MULTIMÉTODO-MULTIRASGO:
Está más interesada en la adecuación de tests como medidas de un constructo, que en la
adecuación del constructo. Para aplicar esta técnica debemos disponer de dos o más modos de
medir el constructo de interés. Además se le pide al investigador otros constructos diferentes que
puedan ser medidos por los mismos métodos. Se selecciona una muestra a la que se le aplica
todas las medidas de cada constructo y cada método. Se calculan las correlaciones entre todas las
medidas y se presentan en forma de una matriz denominada Matriz Multimétodo-Multirasgo.
Los diferentes coeficientes de correlación de la matriz pueden ser:
*Coeficiente de fiabilidad: (se utiliza = constructo = método. Deberá ser alta)
*Coeficiente de validez convergente: ( = medida de constructo =/= método)
*Coeficiente de validez discriminante: ( =/= constructo = método)
La falta de convergencia entre métodos indicará que hay demasiada varianza específica ligada al
método o que los métodos no están midiendo el mismo constructo.
Hoy la técnica más utilizada para el análisis de estas matrices son los procedimientos de Análisis
Factorial Confirmatorio.
5: VALIDACIÓN BASADA EN LA TEORÍA DE LA GENERALIZABILIDAD:
Se utiliza la TG, viendo si las observaciones para un individuo sobre un constructo son invariantes
frente a diferentes métodos de medida. Esto puede tratarse desde los componentes de la varianza
de la TG. Se asume que cada medida tomada por un sujeto representa una muestra aleatoria del
conjunto posible de medidas que se podrían haber obtenido. El universo puede variar en
dimensiones múltiples o facetas que pueden ser los distintos métodos de medida. Pensamos que
el constructo es más generalizable si las puntuaciones del sujeto son independientes del tipo de
formato que usemos. Podemos diseñar un estudio G usando diferentes formatos de ítem y de
modo que todos los examinados sean evaluados en los mismos n formatos mediante un diseño
cruzado.
6: CONTRIBUCIONES DE LA PSICOLOGÍA COGNITIVA:
La P. Cognitiva Intenta proporcionar una comprensión de los constructos evaluados por los tests
de inteligencia y aptitudes.
Se comenzó a aplicar en la psicometría muchos procedimientos experimentales típicos de la P.
Cognitiva como: el análisis cronométrico, modelos matemáticos de ejecución, análisis de los
movimientos oculares, estrategias y estilos de la realización de la tarea, entre otros.
*V. DE CONSTRUCTO: ES EL TIPO DE VALIDEZ QUE GARANTIZA LA INTERPRETABILIDAD DE LAS
PUNTUACIONES DE LOS TESTS
*SE CONSIDERA A LA VALIDEZ: COMO GRADO DE ADECUACIÓN DE LAS INFERENCIAS QUE SE
ESTABLECERÁN CON SUS PUNTUACIONES
*VALIDEZ Y UTILIDAD DE LOS TESTS:
Se necesitan diferentes procedimientos estadísticos para diferentes cuestiones en la validez de los
tests. Todos los métodos y conceptos presentados están ligados a modelos lineales
correlacionales.
Uno de los aspectos más importantes en la psicometría es la utilidad en las decisiones. En la
práctica, la mayor parte de las decisiones se reducen a la predicción de criterios discretos y en
particular a criterios dicotómicos. Ejemplo cuando la decisión en un test es Admitir vs. No admitir.
En las decisiones de la selección se derivan 4 resultados posibles:
Decisión con el test
Criterio: Rendimiento
satisfactorio o
insatisfactorio del test Admitido en el test No admitido en el test
Verdaderos Positivos Falsos Negativo
Alto a b
Verdaderos Negativos
Falsos Positivo d
Bajo
c
Es muy importante tener cuidado a la hora de la realización y puntuación de un test, la
clasificación correcta y de los procedimientos estadísticos ya que, a pesar de que los tests son muy
útiles, a partir de ellos se toman decisiones muy importantes para la vida de las personas o de la
sociedad. Ej: decidir si internar o no a un paciente.