PAPELES DEL PSICÓLOGO Vol. 43-1 Enero - Abril 2022

CALIDAD CIENTÍFICA DE LA EVALUACIÓN: ¿EVALUAMOS MEJOR MEDIANTE EL USO DE LAS NNTT? Las cuestiones planteadas en los apartados anteriores tienen un im- portante impacto en la práctica aplicada de la evaluación psicológi- ca mediante las NNTT y el uso que hacen de ella los profesionales. Pero, sin duda, la cuestión central debería ser la siguiente: ¿El uso de las NNTT aplicadas a la evaluación psicológica aumenta la calidad científica de la misma? Varios artículos de este monográfico evidencian que claramente esto puede ser así, apuntando a un prometedor aumento de la cali- dad científica y de la utilidad práctica de las evaluaciones. No obs- tante, esto no siempre es así y se pueden encontrar múltiples ejemplos de plataformas de evaluación psicológica basadas en NNTT que descuidan de forma dramática los aspectos sustantivos a nivel psicológico y psicométrico. Desde una perspectiva legal, y da- da la ausencia de un marco normativo restrictivo, poco se puede ha- cer para evitar estas deficitarias herramientas. Esta circunstancia hace que la responsabilidad recaiga en la habilidad del profesional para examinar críticamente y cribar la calidad de las herramientas con las que trabaja. DIFERENCIANDO TEST Y PSEUDOTEST Existen pocos estudios sobre la capacidad de los profesionales pa- ra poder realizar esta labor de criba y de valoración adecuada de la calidad de las herramientas de evaluación psicológica que utili- zan NNTT. En un trabajo llevado a cabo con estudiantes graduados en psicología que asistían a diversos máster de especialización (n = 232) y con colegiados en ejercicio profesional que asistían a un cur- so de actualización sobre el buen uso de los test (n = 73) se pidió a los participantes que valorasen una plataforma online de evaluación psicológica con una excelente y atractiva presentación pero, a su vez, con graves problemas psicométricos (ausencia de baremos es- pañoles, ausencia de evidencias de validez, presentación de datos de fiabilidad como si fueran de validez, traducción y no adaptación, baremos automáticos a partir de los propios casos clínicos evalua- dos…) (Santamaría, 2020). A los participantes se les pedía que estu- diaran detenidamente la información disponible en la plataforma y que valoraran la herramienta como expertos asesores, tras lo cual deberían emitir un juicio sobre si recomendarían su uso o lo desa- consejarían. A pesar de las evidentes carencias, solo rechazaron el uso de la herramienta por su inadecuación un 29% de los gradua- dos en psicología y un 42% de los profesionales colegiados; más de la mitad (55%) de los graduados y un tercio de los profesionales (33%) la valoraron positivamente, y recomendaron su uso, y un por- centaje elevado reconoció no sentirse competente para realizar esa valoración (16% de graduados y 25% de profesionales). Aunque preliminares y meramente exploratorios, estos datos alertan sobre la limitada capacidad de los graduados y de los profesionales para detectar herramientas claramente defectuosas y cómo el uso de la tecnología, de un atractivo diseño y de un adecuado marketing re- sulta persuasivo en estos casos, incluso sin una mínima calidad psi- cométrica subyacente. Esta posible dificultad de los profesionales para valorar críticamen- te la calidad científica de las pruebas disponibles podría suplirse re- curriendo a las valoraciones independientes realizadas por instituciones profesionales (p. ej., la Comisión de test del COP o insti- tuciones similares en otros países; en este monográfico Hernández et al., 2022). Desgraciadamente, muchas de las plataformas de eva- luación basadas en NNTT quedan fuera el ámbito de actuación de estas instituciones –que en el caso de la Comisión de test del COP se ciñe a los test editados en España– y, por tanto, no son valoradas. Estas limitaciones para poder valorar la calidad científica de algu- nas herramientas de evaluación que emplean NNTT se ve agravada por la dificultad para acceder a su información técnica. Como en cualquier test de evaluación psicológica, es esencial que los profe- sionales puedan disponer de la documentación en la que se detalle el proceso de construcción seguido, las evidencias psicométricas de fiabilidad y validez, las muestras de baremación utilizadas para el cálculo de las puntuaciones típicas, así como los procedimientos de aplicación y corrección (AERA et al., 2014). El hecho de que un test haya sido desarrollado con NNTT no lo exime del cumplimiento de los estándares requeridos a cualquier técnica de medición psicológi- ca y que las evidencias disponibles sean expuestas de forma clara para su análisis por parte de los profesionales. TECNOLOGÍA Y CONOCIMIENTO: UN EQUILIBRIO NECESARIO La incorporación de las NNTT a la evaluación ha contribuido a la eliminación de muchos límites interprofesionales, haciendo necesario que en el desarrollo de las nuevas herramientas colaboren ingenie- ros, programadores, psicólogos clínicos, psicómetras y otros espe- cialistas. Este trabajo multidisciplinar responde a la necesidad de asegurar que la medida contemple y recoja los aspectos sustantivos de lo que se desea evaluar y que los procedimientos técnicos para llevar a cabo la evaluación permiten hacerlo con garantías. La colaboración multidisciplinar es necesaria para evitar caer en la confusión entre el medio (la tecnología) y el fin (la medida psicológi- ca). Tal y como es definida por la RAE, la tecnología consiste en el “conjunto de teorías y de técnicas que permiten el aprovechamiento práctico del conocimiento científico” (RAE, 2014). No puede existir tecnología sin un conocimiento científico en el que basarse para ex- traer su aprovechamiento práctico. En este sentido, todas las técnicas de inteligencia artificial descansan en la calidad de los datos que se introduzcan, algo que dependerá del conocimiento científico para su correcta selección. Lamentablemente, a menudo el punto de parti- da es justo el contrario: dado que tenemos la técnica (programación e inteligencia artificial), se puede abordar cualquier asunto, sin nece- sitar el conocimiento científico que guie, oriente o enmarque la tec- nología; con ello, se sobrestima el valor aislado de la tecnología y se ignora en qué consiste realmente la evaluación psicológica. La psicología tiene un importante desafío frente a una realidad en la que cada vez más profesionales ajenos a la psicología y vincula- dos a las NNTT desarrollan herramientas de evaluación psicológica con un limitado conocimiento científico de las variables que preten- den medir y de las cuestiones métricas básicas asociadas. Es esen- cial que la psicología a nivel social, institucional y profesional sepa reclamar su papel central en estos aspectos como garante de una adecuada calidad de las herramientas y de las evaluaciones, con el objetivo de asegurar una buena medición que evite consecuencias negativas para las personas evaluadas. Es necesaria e imprescindi- PABLO SANTAMARÍA Y FERNANDO SÁNCHEZ-SÁNCHEZ 51 S e c c i ó n M o n o g r á f i c a