PAPELES DEL PSICÓLOGO Vol. 43-1 Enero - Abril 2022

NUEVAS TECNOLOGÍAS EN EVALUACIONES EDUCATIVAS 40 S e c c i ó n M o n o g r á f i c a De esta forma, los datos de proceso, que a priori son aspectos in- herentes al método de evaluación y diseño de la prueba (el proce- so), se convierten en cierta medida en el objeto de la evaluación (el producto). Es decir, la tecnología ha calado en todas las capas de la evaluación educativa de tal forma que es casi imposible desenredar la medición del constructo. Las posibilidades que este tipo de datos tiene para la evaluación educativa son incontables (Jiao et al., 2021), pero como nos recuerda el refranero español: es importante no poner el carro delante de los bueyes. Existen al menos tres consi- deraciones importantes para optimizar el uso de este tipo de datos: Diseñar la prueba con el objetivo de extraer y utilizar datos de re- gistro. Los datos de proceso son un subproducto de características inherentes al software utilizado para realizar la evaluación. Es decir, en la inmensa mayoría de casos, las pruebas no están construidas y diseñadas con el objetivo de utilizar estos datos, sino que más bien se utilizan a modo de serendipia para mejorar el proceso y el pro- ducto de la evaluación una vez la prueba ha sido administrada y las respuestas a las preguntas codificadas. Si bien mejorar el proceso y el producto de la evaluación no tiene nada de malo, de hecho, los estándares para las pruebas educativas y psicológicas así lo reco- miendan (AERA et al., 2014), es importante analizar las consecuen- cias que puedan tener en otras áreas también importantes de la evaluación. Por ejemplo, si el objetivo es mejorar el producto de las evaluaciones (las puntuaciones) pero el uso de datos de proceso no se ha tenido en cuenta en el diseño de la prueba, la validez de con- tenido (Pedrosa et al., 2014) puede verse alterada con respecto a su marco conceptual de evaluación. En otras palabras, el riesgo de dar significado a datos a posteriori es que puede desviar el objetivo y el contenido de la evaluación del originalmente propuesto en los marcos conceptuales de evaluación. Para una discusión sobre este tema ver, por ejemplo, cómo cambiarían los rankings de PISA si este tipo de datos se tuviera en cuenta en la estimación de puntuaciones (Pohl et al., 2021). La extracción de datos de proceso debe estar basada en conside- raciones teóricas y analíticas. La elección de qué información se está registrando mientras el examinado responde a la prueba no respon- de a consideraciones teóricas ni analíticas. Es decir, el software re- gistra ciegamente toda la actividad del examinado, sea ésta relevante o no. Por lo tanto, la extracción de datos de proceso debe estar guiada por consideraciones teóricas y analíticas para evitar in- terpretaciones espurias. Una aplicación particularmente interesante del uso de datos de proceso para mejorar la medición (el proceso) consiste en utilizar tiempos de respuesta para identificar diferencias en el proceso de respuesta entre grupos culturales y lingüísticos dife- rentes y así mejorar la validez de las interpretaciones que de lo con- trario podrían pasar por alto en los análisis de Funcionamiento Diferencial de los Ítems 4 (Ercikan et al., 2020). La interpretación de los datos de registro debe estar guiada por modelos cognitivos . Es importante señalar que los procesos de res- puesta cognitiva no son observables ni en las pruebas convenciona- les ni en las digitales. Al igual que sucede con otros métodos para obtener evidencia de validez de los procesos de respuesta como los laboratorios cognitivos, o los protocolos de pensamiento en voz alta (Padilla y Benítez, 2014), los datos de registro no reflejan procesos cognitivos en sí, sino rastros o huellas de los procesos cognitivos que los estudiantes utilizaron. La interpretación, por tanto, requiere la uti- lización de métodos mixtos que compaginen interpretaciones cuali- tativas y cuantitativas. En otras palabras, es fundamental que la interpretación de los datos de proceso esté guiada por modelos teó- ricos, en este caso, cognitivos. Por ejemplo, la evaluación de cons- tructos complejos como el razonamiento o el pensamiento crítico puede involucrar procesos cognitivos como tiempos de respuesta ex- plícitamente incluidos en la definición del constructo. Otro ejemplo, como veíamos en este artículo, es la inclusión de conductas de nave- gación como un aspecto transversal en el aprendizaje de la compe- tencia lectora en un mundo digital. La tecnología potencia el conocimiento a niveles inimaginables, sea este conocimiento el adecuado o no. De hecho, es habitual que el conocimiento inadecuado o erróneo tenga una mayor ca- pacidad de expansión. Véase como ejemplo la transmisión de in- formación en las redes sociales; una noticia falsa se extiende a una velocidad más rápida que una noticia verdadera (Vosoughi et al., 2018). Mutatis mutandis , los estudios que son más difíciles de re- plicar tienden a ser más citados (Serra-Garcia y Gneezy, 2021). En España, además, el uso de los test en el ámbito profesional es enorme y la formación y conocimiento sobre el uso de ellos relati- vamente bajo (Muñiz et al., 2020; en este monográfico Hernán- dez et at., 2022). Es la responsabilidad del investigador asegurar que el uso de los datos y la tecnología sea el adecuado para los objetivos de la evaluación y sirva de forma fiable, válida y justa a las personas involucradas, pero también del usuario saber cuándo, cómo y para qué utilizar los datos. Esperamos que este artículo ayude a reflexionar sobre ambas cosas. 4 La existencia de funcionamiento diferencial del ítem (DIF) indica que personas que tienen igual grado de habilidad en la competencia evaluada presentan diferente probabilidad de responder correctamente a un ítem, lo que se relaciona con el sesgo, es decir, favorecer a un grupo sobre otro en la evaluación FIGURA 2 ASOCIACIÓN ENTRE LAS ESTRATEGIAS DE LECTURA PARA EVALUAR LA CREDIBILIDAD DE LAS FUENTES DE INFORMACIÓN Y LAS CONDUCTAS DE NAVEGACIÓN Nota: Todas las diferencias entre chicas y chicos son estadísticamente significativas. Fuente: (OECD, 2021a). Base de datos PISA 2018, Tabla B.5.29.