1  Validez en Tests Psicológicos: Fuentes de Evidencia

¿Qué significa decir que un test presenta evidencias de validez? ¿De dónde provienen los conceptos de validez en psicología? ¿Cómo podemos buscar evidencias de validez para nuestros instrumentos? En este capítulo responderemos a estas preguntas.

1.1 Constructos, Comportamientos y Rasgos

En física, por lo general disponemos de un instrumento que existe físicamente y mide propiedades físicas. Por ejemplo, un instrumento que mide longitud utiliza esa propiedad (es decir, la longitud) para medir la longitud de otro objeto. Por tanto, no es necesario demostrar que esa propiedad es congruente con la misma propiedad del objeto que se está midiendo.

Sin embargo, hay situaciones en las que esto no es tan claro. Por ejemplo, si estamos midiendo velocidad mediante el efecto Doppler (un fenómeno físico de ondas que ocurre cuando existe aproximación o alejamiento relativo entre una fuente de ondas y un observador), la aproximación o el alejamiento de las líneas espectrales de la luz de una galaxia funciona como instrumento. En este caso surge el problema de la validez del instrumento, porque necesitamos saber si es realmente cierto que la distancia entre las líneas espectrales está relacionada con la velocidad. Para ello es necesario demostrarlo empíricamente. Las cuestiones de validez son comunes en áreas del conocimiento que utilizan medidas indirectas o derivadas. Lo que ocurre con el efecto Doppler también es muy común en las ciencias conductuales y psicológicas (por ejemplo, psicología y educación), especialmente cuando utilizamos el concepto de constructo (por ejemplo, felicidad, ansiedad o atracción).

Como sostiene Maraun & Peters (2005), en la investigación científica los conceptos son herramientas esenciales para identificar y organizar fenómenos. Los productos científicos —como observaciones, hipótesis y teorías— se expresan mediante el lenguaje, que, a su vez, puede afectar la reproducibilidad de los resultados científicos (Schmalz et al., 2024). Para estudiar estos conceptos, los investigadores en psicología han buscado desarrollar formas de cuantificar la mente humana y las medidas relacionadas con ella (Michell, 2014). La medición, como método científico fundamental, proporciona un medio para determinar, con distintos grados de exactitud y precisión, el nivel de un atributo presente en el objeto (o los objetos) estudiado. En psicología y en las ciencias sociales también investigamos la validez de las medidas (el grado en que reflejan un concepto) y su precisión o fiabilidad (el grado en que producen resultados consistentes), haciendo explícita la fuerte dependencia de estas perspectivas de medición respecto de teorías previas (Michell, 2001).

Esta fuerte dependencia de teorías previas hace que la medición en psicología se base, en gran medida, en la definición de constructos que explican o describen diferencias individuales (Trendler, 2013). Un constructo se define como “un sistema conceptual que se refiere a un conjunto de entidades —los referentes del constructo— consideradas significativamente relacionadas de alguna manera o para alguna finalidad, aunque nunca ocurran todas a la vez y, por ello, sean consideradas únicamente en niveles más abstractos como una entidad conjunta” (Uher, 2022). Esta definición puede resumirse en tres características de un constructo (Cronbach & Meehl, 1955): (i) no se define por un único referente observable; (ii) no puede observarse directamente; y (iii) sus referentes observables no son exhaustivos. Como la medición y la teoría psicológicas, entendidas en gran medida a través de las prácticas psicométricas, suelen formalizarse en relación con entidades no observables, dependen de una serie de supuestos cualitativos que no son directamente comprobables (Franco et al., 2022). Y, dado que estos supuestos son, en cierta medida, no comprobables, se ha argumentado que la medición científica propiamente dicha en psicología constituye una imposibilidad empírica (Trendler, 2013).

Naturalmente, existen muchas formas de medir constructos. Una forma común es mediante cuestionarios, en los que las personas responden a cada ítem en una escala de 1 (totalmente de acuerdo) a 5 (totalmente en desacuerdo), por ejemplo. Supongamos que queremos medir la autoeficacia en el trabajo. Desarrollamos los ítems a partir de la definición de autoeficacia, ¿y después? ¿Cómo podemos saber qué significan los resultados de nuestro test? ¿La autoeficacia es un fenómeno único o puede dividirse en distintos aspectos? Es en este punto donde entra la búsqueda de evidencias de validez.

La necesidad de medidas válidas parece bastante evidente, pues para poner a prueba teorías que relacionan constructos teóricos (por ejemplo, el constructo A influye en el constructo B para individuos procedentes de la población P bajo las condiciones C) es necesario disponer de medidas válidas de esos constructos. Así, incluso pruebas exitosas y replicables de una teoría pueden conducir a conclusiones falsas si las medidas no presentan validez de constructo; es decir, si no miden aquello que los investigadores suponen que están midiendo (Schimmack, 2021).

1.2 Psicometría en una Encrucijada: Afrontando la Crisis de Medición de la Psicología

La replicabilidad de las afirmaciones científicas es un principio central del progreso científico (Lakatos & Musgrave, 1970). En los últimos años, la psicología se ha vuelto cada vez más consciente de un desafío importante: lo que actualmente se reconoce como una crisis de replicación (Schimmack, 2021). Desde 2012 se hizo evidente que muchos hallazgos psicológicos publicados no se replican cuando se someten a pruebas rigurosas (Schimmack, 2021). A raíz de preocupaciones como estas, entre otros factores, diversos científicos sugirieron que prácticas cuestionables de investigación (como el p-hacking y el HARKing) contribuyen de forma importante al aumento de hallazgos “falsos positivos”, reduciendo así las tasas de replicación (Nosek et al., 2012). En respuesta, los defensores de reformas científicas promovieron nuevas prácticas de “ciencia abierta” destinadas a hacer visibles y mitigar estas prácticas cuestionables (Munafò et al., 2017).

Sin embargo, la crisis de replicación no es el único problema al que se enfrenta la ciencia psicológica. Un resultado puede ser simultáneamente reproducible, robusto y replicable y, aun así, inválido, porque estas propiedades no garantizan que las intervenciones hayan funcionado como se pretendía, que las medidas hayan captado con precisión los resultados deseados o que las interpretaciones estén alineadas con las evidencias producidas (Nosek et al., 2022). Por ello, una medición robusta, junto con un diseño adecuado del estudio y competencia en modelado estadístico, ocupa un papel central en el proceso científico. Si las medidas utilizadas en un estudio no presentan validez o fiabilidad, las conclusiones derivadas de él pueden ser cuestionables (Flake et al., 2017). Schimmack (2021) sostiene que la psicología se enfrenta a una crisis de validez, particularmente en lo que respecta a la validez de los instrumentos psicológicos.

Cronbach & Meehl (1955) ya manifestaban escepticismo respecto de la validez de constructo de muchas medidas psicológicas. Subrayaron la ausencia de criterios adecuados para validar tests destinados a medir constructos psicológicos y observaron que muchos de esos tests permanecen sin validar o están sustentados únicamente por una red de racionalizaciones que no constituye una validación propiamente dicha. A pesar de los avances en la medición psicológica, las preocupaciones planteadas por Schimmack (2021) sugieren que muchas de las críticas de Cronbach y Meehl siguen sin resolverse. Esta cuestión también es destacada, por ejemplo, por Flake et al. (2017), quienes revisaron prácticas contemporáneas y encontraron que la fiabilidad es con frecuencia el único criterio utilizado para reivindicar validez de constructo. Sin embargo, la fiabilidad es una condición necesaria, pero no suficiente, para la validez.

A raíz de estas limitaciones, se ha argumentado que muchos estudios no proporcionan evidencias robustas de validez de constructo (Flake & Fried, 2020). Incluso cuando se afirma que una medida es válida, sigue siendo poco claro en qué grado lo es. Este problema persistente se vuelve todavía más evidente por el uso continuado de medidas desarrolladas hace décadas, sin validación cuantitativa que confirme su validez a lo largo del tiempo. Por ejemplo, la escala de autoestima de Rosenberg (Rosenberg, 1965) continúa siendo la medida de autoestima más utilizada (Bosson et al., 2000; Schimmack, 2021), aunque su validez de constructo nunca se haya cuantificado plenamente, lo que deja incierto si presenta un desempeño superior al de otras medidas de autoestima (Schimmack, 2021).

Aunque existe un amplio reconocimiento de las limitaciones inherentes a las prácticas psicométricas tradicionales (Kane, 2017; Maul, 2017; Schmittmann et al., 2013), no hay consenso sobre la mejor manera de afrontar la crisis de validación. Algunos autores cuestionan si las prácticas psicométricas convencionales pueden sustentar las fuertes afirmaciones de medición cuantitativa que los psicólogos realizan con frecuencia, enfatizando las limitaciones conceptuales y causales de los enfoques tradicionales (Maul, 2017; Trendler, 2009). Otros se centran en modificar los modelos utilizados para representar fenómenos psicológicos; por ejemplo, los modelos de red tratan los indicadores como componentes potencialmente interactivos de un sistema, en lugar de asumir que sus asociaciones resultan necesariamente de una única causa latente común (Schmittmann et al., 2013).

A pesar de los distintos caminos posibles, es razonable inferir que el avance de la ciencia psicológica requiere un esfuerzo articulado para desarrollar una agenda de investigación robusta, centrada en la medición y en sus salvedades. Esta agenda debe priorizar la evaluación continua de la validez de los instrumentos psicológicos, asegurando que las medidas utilizadas en la investigación reflejen realmente los constructos que pretenden evaluar. Además, debe prestarse una atención cuidadosa a los supuestos subyacentes que fundamentan dichos instrumentos. Sin un examen riguroso de estas bases psicométricas, la validez de las evaluaciones psicológicas sigue siendo cuestionable y cualquier conclusión derivada de esas medidas puede estar fundamentalmente equivocada. Por tanto, hacer avanzar el campo exige no solo prácticas robustas de validación, sino también una preocupación profunda y continua por los supuestos psicométricos que sustentan esas prácticas.

1.3 Una Breve Nota sobre la Historia de la Validez

A. 1900–1950: La hegemonía de la validez de contenido

En ese período, las teorías de la personalidad estaban en auge. La mayoría de las teorías (como el psicoanálisis, la Gestalt y la fenomenología) solían presentar escasa fundamentación empírica. En este contexto, los tests de rasgos de personalidad se consideraban válidos en la medida en que el contenido del test correspondía al contenido de los rasgos definidos teóricamente.

B. 1950–1970: Predominio de la validez de criterio

El conductismo ejerció una gran influencia sobre la Psicología y, naturalmente, sobre la Psicometría. Los tests estaban compuestos por una muestra de comportamientos que se esperaba que predijeran otros comportamientos o comportamientos futuros. Estos tests se consideraban válidos si predecían con precisión el comportamiento futuro (o en otro momento), estableciendo un nuevo camino para la validez, denominado validez de criterio. No importaba por qué el test predecía el comportamiento; siempre que lo predijera, eso se consideraba suficiente para su validez. Como podemos imaginar, hubo un cambio del pensamiento teórico hacia un enfoque en la estadística. En lugar de construir un test para medir un constructo, se seleccionaban ítems de un conjunto que aparentemente se refería a lo que se quería medir, utilizando esencialmente el análisis estadístico para resolver el problema.

C. 1970–Actualidad: El ascenso de la validez de constructo

Tras el artículo de Cronbach y Meehl de 1955 sobre un modelo trinitario de validez (contenido, criterio y constructo), se produjo un cambio en la forma de pensar la validez. La teoría volvió a ocupar un papel central debido a factores como:

  1. La necesidad de desarrollar, sobre bases empíricas, una teoría de la personalidad y de la inteligencia utilizando análisis factorial.

  2. Estudios de los procesos cognitivos.

  3. Estudios de los procesos de información.

  4. Insatisfacción con los resultados del uso de tests en contextos educativos y laborales.

  5. El impacto de la Teoría de Respuesta al Ítem.

Cronbach & Meehl (1955) observan que la validación de constructo es necesaria

siempre que un test deba interpretarse como una medida de algún atributo o cualidad que no esté “operacionalmente definida” (p. 282).

Esta definición deja claro que existen otros tipos de validez (por ejemplo, validez de criterio) y que no todas las medidas requieren validez de constructo. Sin embargo, los estudios de teorías psicológicas que relacionan constructos requieren medidas válidas de esos constructos para que las teorías puedan ponerse a prueba. Así, la validez de constructo corresponde a la relación entre la variación en las puntuaciones observadas de una medida (por ejemplo, puntuaciones en una escala Likert) y una variable latente que refleja la variación correspondiente en un constructo teórico (por ejemplo, Extraversión; es decir, personas que se sienten más energizadas por las interacciones sociales).

El problema de la validez de constructo puede ilustrarse con el desarrollo de tests de CI (Schimmack, 2021). Las puntuaciones de CI pueden presentar validez predictiva (por ejemplo, rendimiento en estudios de posgrado) sin hacer ninguna afirmación sobre el constructo medido (los tests de CI miden lo que miden, y lo que miden predice resultados importantes). Sin embargo, los tests de CI se tratan con frecuencia como medidas de inteligencia. Para que los tests de CI sean medidas válidas de inteligencia, es necesario definir el constructo inteligencia y demostrar que las puntuaciones de CI observadas están relacionadas con la variación no observada en inteligencia. Por tanto, la validación de constructo requiere definiciones claras de los constructos que sean independientes de las medidas que se encuentran en proceso de validación. Sin una definición clara de los constructos, el significado de una medida vuelve esencialmente a “cualquier cosa que la medida esté midiendo”, como en el viejo adagio “La inteligencia es aquello que miden los tests de CI” (Schimmack, 2021).

1.4 ¿Qué Es la Validez?

Un punto de partida útil es dejar de preguntar si un test en sí mismo es válido. La teoría contemporánea de la validez pregunta si una determinada interpretación y uso de las puntuaciones de un test están suficientemente sustentados por la teoría y la evidencia empírica (American Educational Research Association et al., 2014; Baptista & Villemor-Amaral, 2019). Por tanto, un test puede contar con un fuerte respaldo para una interpretación, población o finalidad y con un respaldo mucho más débil para otra. La validez no es una certificación permanente adjunta al instrumento; es un argumento que debe sustentarse, cuestionarse y actualizarse a medida que se acumulan evidencias.

Esta perspectiva también modifica la forma en que hablamos de los conocidos “tipos de validez”. El contenido, los procesos de respuesta, la estructura interna, las relaciones con otras variables y las consecuencias se entienden mejor como fuentes de evidencia de validez, y no como tipos independientes de validez que un test posee o no posee. Estas fuentes se complementan entre sí. Una estructura factorial convincente, por ejemplo, no compensa ítems que los respondientes comprenden sistemáticamente de forma equivocada, del mismo modo que unos ítems claramente redactados no demuestran, por sí solos, que las puntuaciones se relacionen con variables externas de las maneras teóricamente esperadas.

TipPiense en evidencias, no en casillas de verificación

El objetivo de la validación no es recopilar un resultado de cada categoría y declarar que un test es “válido”. El objetivo es construir un argumento coherente que muestre que la interpretación y el uso propuestos para las puntuaciones siguen siendo plausibles cuando se examinan desde diferentes perspectivas.

1.5 Fuentes de Evidencia de Validez

1.5.1 Evidencias Basadas en el Contenido del Test

Las evidencias basadas en el contenido del test preguntan si los ítems representan adecuadamente el dominio del constructo que la puntuación pretende reflejar. Esto exige más que comprobar si los ítems simplemente parecen relacionados con el constructo. Los investigadores deben definir el constructo y sus límites, identificar facetas o comportamientos relevantes y examinar si el conjunto de ítems es suficientemente representativo sin estar contaminado por contenido irrelevante.

Las fuentes comunes de evidencia de contenido incluyen la literatura teórica y empírica, matrices o tablas de especificación del test, juicios de expertos en el contenido y retroalimentación de miembros de la población objetivo. Los resúmenes cuantitativos, como porcentajes de acuerdo, índices de validez de contenido o coeficientes kappa, pueden ayudar a organizar los juicios, pero no sustituyen el razonamiento conceptual que relaciona cada ítem con el constructo pretendido.

Bastos et al. (2022) proporciona un ejemplo útil. Al desarrollar la Escala de Autopercepción de Prejuicio y Discriminación, los autores primero definieron el prejuicio y la discriminación autopercibidos, revisaron medidas existentes, desarrollaron ítems para distintos grupos sociales y sometieron los ítems a la evaluación de especialistas. Por tanto, la selección final de los ítems estuvo informada por una definición explícita del constructo y por juicios sobre la relevancia de los ítems, y no únicamente por su desempeño estadístico.

1.5.2 Evidencias Basadas en los Procesos de Respuesta

Las evidencias basadas en los procesos de respuesta se refieren a la compatibilidad entre los procesos psicológicos y conductuales utilizados para responder a un ítem y los procesos supuestos por la interpretación pretendida de la puntuación. Dos personas pueden elegir la misma opción de respuesta por razones muy diferentes; inversamente, los respondientes pueden comprender un ítem de una manera que nunca fue prevista por sus autores. Los datos de respuestas cerradas, por sí solos, generalmente no revelan por qué se seleccionó una determinada opción.

Por tanto, los estudios de procesos de respuesta investigan cómo los respondientes comprenden el ítem, recuperan información relevante, forman un juicio y trasladan ese juicio a las opciones de respuesta disponibles. Los métodos pueden incluir entrevistas cognitivas, protocolos de pensamiento en voz alta, sondeos verbales o escritos, observación y otros datos de proceso. Por ejemplo, Noble et al. (2014) examinaron a estudiantes de quinto curso aprendices de inglés mientras respondían a ítems de una prueba de ciencias. Los datos de las entrevistas mostraron que las características lingüísticas a veces llevaban a los estudiantes a interpretaciones diferentes de las pretendidas por los desarrolladores del test, produciendo respuestas incorrectas incluso cuando los estudiantes demostraban conocimiento científico relevante. Este es precisamente el tipo de problema que un análisis factorial de las puntuaciones de los ítems difícilmente diagnosticaría.

1.5.2.1 El Método de Evaluación del Proceso de Respuesta

Wolf et al. (2025) ofrece un marco particularmente útil para recopilar este tipo de evidencia. Wolf y colegas sostienen que las evidencias del proceso de respuesta se descuidan con frecuencia en favor de análisis cuantitativos, a pesar de que coeficientes favorables de fiabilidad, modelos factoriales o correlaciones no pueden establecer que los respondientes hayan interpretado los ítems como se pretendía. Su método de evaluación del proceso de respuesta (RPE, response-process-evaluation) transforma el pretest de ítems en un procedimiento iterativo y documentado de validación (Wolf et al., 2025).

El flujo del RPE puede resumirse de la siguiente manera:

  1. Especificar el significado pretendido. Antes de evaluar un ítem, los investigadores documentan su interpretación pretendida, su uso pretendido y la población objetivo.
  2. Investigar el proceso de respuesta. Los participantes responden al ítem y, a continuación, a preguntas de sondeo dirigidas. Dependiendo del ítem, estas preguntas pueden examinar comprensión, paráfrasis, selección o rechazo de categorías, interpretaciones específicas, relevancia experiencial y retroalimentación adicional.
  3. Evaluar las respuestas de forma holística. Varios evaluadores entrenados examinan el conjunto completo de sondeos, en lugar de depender de una única respuesta, y clasifican si el ítem fue comprendido como se pretendía.
  4. Revisar y volver a probar. Las interpretaciones equivocadas se tratan como información sobre el ítem, y no como errores cometidos por los participantes. Los ítems o sondeos problemáticos se revisan y se prueban con nuevos respondientes.
  5. Evaluar la versión final. Wolf y colegas recomiendan provisionalmente evaluar la versión final de un ítem con alrededor de 20 respondientes y considerar al menos un 80% de ítems comprendidos o probablemente comprendidos como un punto de referencia práctico, señalando que muestras mayores o umbrales más estrictos pueden ser apropiados para algunos usos (Wolf et al., 2025).
  6. Documentar las evidencias. El informe final de validación del ítem registra su redacción, interpretación y uso pretendidos, población objetivo, proporción comprendida como se pretendía, ejemplos de interpretaciones e interpretaciones equivocadas comunes (Wolf et al., 2025).

El valor del enfoque iterativo puede verse en el ejemplo del ítem de compasión presentado en el artículo. El ítem fue revisado repetidamente después de que los respondientes revelaran interpretaciones distintas de las intenciones de los investigadores. En la sexta y última iteración, 19 de los 20 participantes (95%) comprendieron el ítem como se pretendía; los autores señalan que una versión anterior habría dejado aproximadamente a una cuarta parte de los respondientes comprendiendo el ítem de manera equivocada (Wolf et al., 2025). Este ejemplo ilustra un principio importante: las evidencias del proceso de respuesta pueden modificar el propio ítem, en lugar de limitarse a proporcionar una estadística más después de finalizar la recogida de datos.

El método RPE no sustituye las entrevistas cognitivas en todos los contextos. Intercambia parte de la flexibilidad de las preguntas de seguimiento en tiempo real por una mayor estandarización y una administración más sencilla en muestras mayores. Wolf y colegas también enfatizan que suelen ser necesarios varios sondeos, ya que un único sondeo puede no proporcionar información suficiente para reconstruir cómo un respondiente comprendió y respondió a un ítem (Wolf et al., 2025).

1.5.3 Evidencias Basadas en la Estructura Interna

Las evidencias basadas en la estructura interna preguntan si las relaciones entre los ítems y los componentes del test son consistentes con la estructura implicada por la definición del constructo y por el modelo de puntuación propuesto. Si una escala se interpreta como unidimensional, por ejemplo, su estructura interna debe sustentar el tratamiento de los ítems como indicadores de una dimensión común. Si un test propone varias subescalas distintas pero relacionadas, la estructura observada debe ser compatible con esas distinciones.

El análisis factorial exploratorio (AFE), el análisis factorial confirmatorio (AFC) y los modelos de teoría de respuesta al ítem (TRI) son herramientas comunes para investigar la estructura interna. Dependiendo de la teoría y del diseño del test, los investigadores también pueden examinar dependencia local, correlaciones factoriales, discriminación de los ítems, dimensionalidad, invariancia de medición u otras características. Es importante observar que un buen ajuste del modelo no equivale a validez: responde a una cuestión estructural sobre las respuestas, pero no establece que el constructo haya sido representado adecuadamente ni que los respondientes hayan interpretado los ítems como se pretendía.

Selau et al. (2020) ilustra esta fuente de evidencia con la Escala de Funcionamiento Adaptativo para Discapacidad Intelectual (EFA-DI), desarrollada para niños de 7 a 15 años. Los autores investigaron si las respuestas observadas a los ítems sustentaban la estructura propuesta de funcionamiento adaptativo utilizando AFC y TRI, junto con evidencias que involucraban variables externas.

1.5.4 Evidencias Basadas en las Relaciones con Otras Variables

Las evidencias basadas en las relaciones con otras variables preguntan si las puntuaciones del test se relacionan con medidas externas de las formas previstas por la teoría. Lo importante no es simplemente saber si una correlación es estadísticamente significativa, sino si su dirección y magnitud son compatibles con la red nomológica que rodea al constructo.

Los patrones comunes incluyen:

  1. Evidencia convergente: las puntuaciones deben relacionarse de manera relativamente fuerte con medidas fiables del mismo constructo o de constructos estrechamente relacionados.
  2. Evidencia discriminante: las puntuaciones deben presentar relaciones más débiles con medidas de constructos teóricamente distintos.
  3. Evidencia relacionada con criterio: las puntuaciones deben relacionarse con comportamientos, resultados, clasificaciones o criterios relevantes. Cuando el criterio se mide aproximadamente en el mismo momento, esto suele describirse como evidencia concurrente; cuando las puntuaciones se utilizan para anticipar un resultado posterior, suele describirse como evidencia predictiva.
  4. Evidencia nomológica: un patrón más amplio de asociaciones debe corresponder a la red teórica en la que se inserta el constructo. Esto puede incluir asociaciones positivas y negativas y, de manera importante, relaciones cercanas a cero cuando se esperan teóricamente.

Estas expectativas deben especificarse a partir de la teoría y no decidirse después de inspeccionar las correlaciones. Por ejemplo, Beymer et al. (2022) examinaron una medida de las percepciones de coste de estudiantes universitarios y comprobaron si sus relaciones con variables de expectativa y valor seguían patrones teóricamente esperados.

1.5.5 Evidencias Relativas a las Consecuencias de la Evaluación

Las evidencias relativas a las consecuencias de la evaluación examinan qué ocurre cuando las puntuaciones se interpretan y utilizan en la práctica. Esto incluye tanto los beneficios pretendidos como los resultados no intencionados para individuos, grupos, instituciones o sistemas de decisión. La cuestión central no es simplemente si un test presenta consecuencias sociales buenas o malas. Un resultado indeseable no invalida automáticamente una interpretación de puntuación, del mismo modo que un resultado deseable no establece validez.

Las consecuencias se vuelven especialmente relevantes para un argumento de validez cuando revelan problemas como subrepresentación del constructo, varianza irrelevante para el constructo, barreras sistemáticas para determinados grupos o decisiones que exceden la interpretación y el uso para los cuales se han establecido evidencias (American Educational Research Association et al., 2014). En aplicaciones de alto impacto, los investigadores deben, por tanto, preguntar no solo si las puntuaciones son psicométricamente defendibles, sino también si la regla de decisión construida sobre esas puntuaciones está justificada para la población y la finalidad pretendidas.

Esta distinción es útil porque separa dos preguntas que se confunden con frecuencia: ¿La puntuación sustenta la interpretación pretendida? y ¿El uso propuesto de esa puntuación es apropiado y está suficientemente sustentado? Un programa responsable de validación considera ambas.

1.6 Consideraciones Finales

La validez no es una propiedad que un test adquiere una vez y mantiene indefinidamente. En cambio, la validación es un proceso continuo de construcción y evaluación de un argumento sobre qué significan las puntuaciones de un test y si sus usos propuestos están justificados. Esta distinción es particularmente importante en psicología, donde los atributos de interés son con frecuencia constructos teóricos que no pueden observarse directamente. Un instrumento con buen comportamiento estadístico todavía puede ofrecer una representación inadecuada del constructo que fue desarrollado para medir.

Por esta razón, ningún análisis aislado puede establecer la validez. Las evidencias basadas en el contenido del test, los procesos de respuesta, la estructura interna, las relaciones con otras variables y las consecuencias de la evaluación responden a preguntas diferentes sobre la interpretación propuesta de las puntuaciones. Estas fuentes deben considerarse complementarias, y no tratarse como casillas independientes que hay que marcar. El análisis factorial, las estimaciones de fiabilidad o las correlaciones con variables externas pueden proporcionar información importante, pero unos resultados cuantitativos favorables no compensan constructos mal definidos o ítems que los respondientes interpretan sistemáticamente de manera diferente de la pretendida por los investigadores (Flake et al., 2017; Wolf et al., 2025).

Quizá la implicación más importante sea que la medición debe tratarse como parte de la teoría sustantiva, y no como una etapa técnica preliminar que antecede a la investigación “de verdad”. Las teorías psicológicas se ponen a prueba mediante observaciones producidas por procedimientos de medición; por tanto, la incertidumbre sobre lo que representan esas observaciones se transforma necesariamente en incertidumbre sobre las teorías construidas a partir de ellas. En consecuencia, las preocupaciones planteadas por Cronbach & Meehl (1955) hace más de medio siglo siguen siendo relevantes: la validación de constructos exige confrontar continuamente nuestras interpretaciones con evidencias empíricas, en lugar de depender de convenciones, conveniencia estadística o popularidad histórica de un instrumento.

A lo largo del resto de este libro, este principio servirá como tema recurrente. Los métodos psicométricos presentados en los capítulos siguientes —teoría clásica de los tests, modelos de variables latentes, análisis factorial, modelos de respuesta al ítem, invariancia de medición y otros enfoques— no deben verse únicamente como técnicas para producir coeficientes o alcanzar un ajuste aceptable del modelo. Son herramientas para formular preguntas cada vez más precisas sobre la medición. Su valor depende, en última instancia, de cuán eficazmente nos ayuden a comprender qué representan nuestras puntuaciones, por qué se comportan como lo hacen y si las conclusiones que extraemos de ellas son científicamente defendibles.