PAPELES DEL PSICÓLOGO Vol. 43-1 Enero - Abril 2022

NUEVAS TECNOLOGÍAS EN EVALUACIONES EDUCATIVAS 38 S e c c i ó n M o n o g r á f i c a aumentan también lo hace su uso. Los avances en la tecnología in- formática también han influido sustancialmente en las formas en que se realizan, administran, califican y se informa a los examinados (Zenisky y Sireci, 2002). En este artículo nos centramos en dos áreas emergentes que su imparable auge ha generado un cambio de pa- radigma en la evaluación educativa. Para más información sobre otras aplicaciones como computational psychometrics y machine le- arning , ver por ejemplo von Davier et al. (2019); en este monográfi- co Elosua (2022). La primera y quizá más extendida es la posibilidad de realizar test adaptativos informatizados (Olea et al., 2010; en este monográfico Abad et al., 2022). Los tests adaptativos informatizados permiten au- mentar la precisión en la medición utilizando menos preguntas o ítems por estudiante. Esto se logra presentando a los estudiantes ítems que es- tán alineados con su nivel de competencia. A diferencia de las evalua- ciones no adaptativas que habitualmente se centran en evaluar a estudiantes de rendimiento medio, las pruebas adaptativas también per- miten una diferenciación más refinada de la capacidad del estudiante en los extremos superior e inferior del nivel de competencia del estudiante (Tabla 1). Este aspecto de las pruebas adaptativas es particularmente re- levante cuando se comparan grupos de alto y bajo rendimiento o estu- diantes de familias favorecidas y desfavorecidas. Al mismo tiempo, la experiencia de las pruebas para los estudiantes es mejor, ya que no ne- cesitan responder preguntas que sean demasiado difíciles para ellos o demasiado fáciles que hagan que su interés en la prueba se reduzca. El uso de pruebas adaptativas ya se utiliza en la inmensa mayoría de eva- luaciones educativas a gran escala como PISA, TIMSS, y PIRLS e incluso en la evaluación de la personalidad (Pedrosa et al., 2016; Postigo et al., 2020; en este monográfico Abad et at., 2022). El segundo cambio revolucionario en la evaluación informatizada es la posibilidad de almacenar archivos de registro, también conoci- dos como datos de proceso. Estos datos contienen información sobre las acciones realizadas por los examinados cuando interaccionan con las tareas que se le presentan en el ordenador y el tiempo dedi- cado a cada acción durante el proceso (Tabla 2). Este tipo de datos proporciona información adicional más allá de los datos de respuesta que, por lo general, muestran si la pregunta fue respondida de forma correcta o no (He et al., 2019, 2021; von Davier et al., 2019). Por ejemplo, la cantidad de tiempo que los estudiantes dedican a respon- der a las pruebas puede reflejar su nivel de compromiso (si están dando lo mejor de sí) y, en consecuencia, afectar al rendimiento en la prueba (Wise et al., 2021). Esta información puede ayudar a los res- ponsables de la formulación de políticas, a los investigadores y los educadores a comprender mejor las estrategias cognitivas de los es- tudiantes y las causas subyacentes del bajo y alto rendimiento. Esto, a su vez, puede repercutir en una mejora del diseño de las evaluacio- nes y conducir a programas de formación y aprendizaje más eficaces (OECD, 2019a). EJEMPLO ILUSTRATIVO DEL USO DE DATOS DE PROCESO EN PISA PISA es una encuesta trienal de estudiantes de 15 años de todo el mundo que evalúa en qué medida han adquirido los conocimientos y las habilidades clave esenciales para una participación plena en las sociedades. PISA introduce por primera vez las pruebas adapta- tivas informatizadas en 2018 para evaluar la competencia lectora de los estudiantes de 15 años (últimos datos disponibles hasta la fe- cha). La naturaleza interactiva de las evaluaciones adaptativas infor- matizadas como PISA las convierte en candidatos ideales para análisis basados en datos de proceso (Goldhammer et al., 2016; Vörös et al., 2021). La capacidad de los estudiantes para pensar, monitorear y ajustar su actividad a una tarea en particular son aspectos esenciales a la hora de leer en entornos digitales (OECD, 2019b). Los lectores digi- tales no solo necesitan seguir estructuras de información lineales, si- TABLA 2 RESUMEN DE INDICADORES DE NAVEGACIÓN BASADOS EN LOS DATOS DE PROCESO TABLA 1 RESUMEN DE LAS VENTAJAS E INCONVENIENTES DE LOS TESTS ADAPTATIVOS INFORMATIZADOS FRENTE A LOS CONVENCIONALES Ventajas Inconvenientes Más eficiente, mejora la medición sin aumentar el tiempo de evaluación. Más efectivo, optimiza la precisión de la medición en un rango más amplio de competencia de los examinados (por ejemplo, estudiantes de alto y bajo rendimiento). Más equitativo, una mayor uniformidad en la precisión de la medida en los diferentes niveles de competencia de los examinados permite tomar decisiones mejor informadas (por ejemplo, al comparar estudiantes de entornos favorecidos y desfavorecidos). Mejor experiencia, no se presentan preguntas que sean ni muy difíciles ni muy fáciles. Requiere métodos de análisis más sofisticados (Teoría de Respuesta a los Ítems). Requiere bancos de preguntas más grandes (especialmente en pruebas adaptativas informatizadas a nivel de ítem, algo menos en los diseños de formato adaptativo de varias etapas). Requiere muestras de participantes más grandes (por ejemplo, PISA utiliza un mínimo de 200 respuestas por ítem). Requiere administración por ordenador que puede suponer una barrera para algunos estudiantes (el modo de administración de la prueba no puede favorecer a determinados grupos frente a otros). Indicadores de cantidad Indicadores de calidad Indicadores temporales Número de páginas visitadas Conductas de navegación y estrategia Utilización de hipervínculos Tiempo utilizado en la primera página (mediana) Tiempo utilizado en la primera página (proporción) Ratio de transición efectiva entre páginas (más de tres segundos) Tiempo utilizado en la página de instrucciones Nota: Adaptado de (OECD, 2021a).