Psychologist Papers is a scientific-professional journal, whose purpose is to publish reviews, meta-analyzes, solutions, discoveries, guides, experiences and useful methods to address problems and issues arising in professional practice in any area of the Psychology. It is also provided as a forum for contrasting opinions and encouraging debate on controversial approaches or issues.
Papeles del Psicólogo, 2003. Vol. 23(84).
Fernández-Ballesteros 1, R.; De Bruyn 2, E. E. J.; Godoy 3, A.; Hornke 4, L. F.; Ter Laak 5, J.; Vizcarro 1, C.; Westhoff 6, K.;Westmeyer 7, H. y Zaccagnini 3, J. L.
1Univ. Autonoma de Madrid 2 Univ. de Nimega, Holanda; 3 Univ. de Málaga,4 Universidad Politécnica de Renania-Westfalia, Aquisgrán, Alemania; 5 Universidad de Utrecht, Holanda; 6 Universidad de Dresden, Alemania; 7 Universidad Libre de Berlín, Alemania
En la actualidad los estándares y las guías propuestas en el campo de la evaluación psicológica se limitan a los tests psicológicos y a su aplicación práctica1. Sin embargo, los tests son sólo uno de los tipos de procedimientos de evaluación psicológica, y su aplicación sólo una de las muchas estrategias o clases de acciones disponibles durante el desarrollo del proceso de evaluación. Los tests y el testing están estrechamente relacionados con un tipo de aproximación a la evaluación psicológica, a saber, la aproximación psicométrica. Esta es una de las razones por las que es relativamente fácil formular y establecer estándares o guías para los tests psicológicos y para su aplicación. El proceso de evaluación, bastante más amplio, es una parte indispensable de cualquier aproximación a la evaluación psicológica, incluso de aquéllas que no utilizan tests psicométricos. Esto hace que la creación de guías para el proceso de evaluación sea una empresa ambiciosa y complicada. Pero, lo que se puede lograr, al menos al nivel de recomendaciones que ayuden al evaluador a afrontar la complejidad y las exigencias del proceso de evaluación en varios contextos aplicados. Por ello, la Asociación Europea de Evaluación Psicológica (EAPA2) decidió patrocinar el desarrollo de unas Guías del Proceso de Evaluación (GAP3), creando una Comisión con este único propósito. Las GAP que se muestran en este artículo representan una primera propuesta para iniciar un amplio debate sobre cómo mejorar la práctica de la evaluación psicológica, así como la formación y el entrenamiento de los evaluadores.
In recent years several principles, norms, standards and guidelines have been developed, the majority of them refer to psychological or psychometric tests but not to the process which is the core of all types of psychological assessment. But, also in recent decades the assessment process itself has been subject of basic research in reasoning, decision-making, problem-solving and artificial intelligence (among other fields), and empirical results are now available with regard to its mains steps and basic sub-processes. The European Association of Psychological Assessment decided to sponsor the development of Guidelines for the Assessment Process (GAP) setting up a Task Force for this purpose. After revised the most important research on the psychological assessment process, this paper presents the works of this task force and the set of Guidelines developed. It should be emphasised that these Guidelines are been published and disseminated in order to receive feedback, comments and suggestions from the scientific community serving as a platform for discussion.
En los últimos años, el interés y la dedicación a la evaluación psicológica parecen ir en aumento. Así, diversas organizaciones nacionales e internacionales están trabajando en el desarrollo de estándares, principios o guías para regular y optimizar las actividades prácticas y científicas del evaluador. La moderna globalización requiere un núcleo de principios aprobados internacionalmente que permita valorar la calidad de la enseñanza, el entrenamiento y la práctica de la evaluación psicológica a fin de salvaguardar los intereses de los clientes.
Por ello, se han desarrollado diversos principios, normas, estándares y guías. Algunos de ellos hacen referencia a la construcción de tests (APA, 1999; Eignor, 2001); otros se dirigen a la adaptación de tests, es decir, a la traducción y adaptación de un test concreto (construido en un lenguaje determinado) a otras lenguas o culturas (Hambleton, 1994; Hambleton, 2001); otros establecen criterios dirigidos a los proveedores de tests (Muñiz, et al., 2001); otros versan sobre los derechos y deberes de los que reciben los tests (Fremer, 1997) o de quienes los aplican (Bartram, 1997; Bartram, 2001). Sin embargo, todas las guías, estándares, normas o principios mencionados se refieren a aspectos relacionados con los tests o con su aplicación práctica. Así pues, los estándares para la evaluación psicométrica hacen referencia principalmente a la construcción de tests; los criterios para los proveedores de tests se refieren a su publicación y distribución; las guías para la traducción de tests están relacionadas con la utilización de un test dado -desarrollado en una cultura o área social- en otra cultura; las normas para aquéllos que aplican los tests se interesan por la experiencia y acreditación profesional de quienes los aplican, así como por los derechos de quienes los reciben.
Surgen aquí dos cuestiones conceptuales que deben aclararse desde el principio. Primero, que los autores utilizan varios términos distintos para referirse a las regulaciones que cada uno propone. Por ejemplo, con frecuencia se utilizan los términos "principios", "normas", "estándares" o "guías". ¿Son estos términos intercambiables entre sí? Segundo, y como ya se ha dicho, que estas regulaciones se refieren todas al campo de los tests y de su aplicación, campo que en absoluto equivale al de la evaluación psicológica. Veamos brevemente ambas cuestiones.
PRINCIPIOS, NORMAS, ESTÁNDARES Y GUÍAS
De acuerdo con el Webster’s New World Thesaurus, un principio es una ley fundamental, una norma es un modelo, un estándar es una regulación, y una guía es una indicación de los límites o ámbito de aplicación de una tarea. Así, desde un punto de vista general, todos estos términos pertenecen al mismo campo semántico, pero parecen diferir en cuanto al nivel de obligatoriedad que cada uno de ellos entraña.
Otros autores definen de forma más precisa los dos términos más específicos y más ampliamente utilizados: "estándares" y "guías". En este sentido, el Joint Committee on Standards for Educational Evaluation (1994) define "estándar" como "un principio ampliamente compartido por los expertos en la realización y utilización de valoraciones y referido a la medición del valor o la calidad de una valoración" (p. 209), y "guía", como "una sugerencia sobre procedimientos que ayuden a los valoradores y a sus clientes a cumplir los requisitos...; estrategia destinada a evitar errores en la aplicación de dichos estándares" (p. 206).
Así pues, los términos "estándar" y "guía" parecen estar estrechamente relacionados, en el sentido de que ambos cumplen funciones similares: proporcionar garantías y control de calidad. Por otro lado, ambos difieren en el grado o nivel de obligatoriedad o exigencia que implican, siendo un estándar más exigente que una guía. Así pues, cuando se está comenzando con la regulación de un campo, el término "guía" parece más adecuado y debería entenderse como una "propuesta a debate".
TESTS, APLICACIÓN DE TEST Y EVALUACIÓN PSICOLÓGICA
Una segunda cuestión que debe clarificarse es la referida a las semejanzas y diferencias entre "test", "aplicación de tests" y "evaluación psicológica". Un test es un dispositivo o procedimiento de evaluación mediante el que se obtiene una muestra de la conducta del examinado en un determinado dominio, muestra que posteriormente se puntúa y valora de modo normalizado (American Psychological Association, 1999; ver en este artículo el Apéndice 2: Glosario). En otras palabras, un "test" es un instrumento -con ciertas garantías- para recoger datos de forma adecuada; "aplicación de tests" es el proceso de administrar, puntuar e interpretar un test psicológico. Por otro lado, "evaluación psicológica" es un concepto más amplio que "tests" o "aplicación de tests" y se refiere a "la actividad científica y profesional de recoger, valorar e integrar la información sobre un sujeto utilizando, en la medida de lo posible, diferentes fuentes de información y de acuerdo con un plan previamente establecido, con el objetivo de responder a las demandas de un cliente" (ver Apéndice 2: Glosario).
Las regulaciones mencionadas hacen referencia sólo a los tests psicológicos o psicométricos y, si atendemos a las definiciones anteriores, queda claro que éstos son sólo uno de los elementos de la evaluación psicológica. Yendo más allá de estas definiciones semánticas, diversos autores han distinguido entre, por una parte, evaluación psicológica y, por otra, tests y aplicación de tests (Cohen et al., 1996; De Bruyn y Godoy, 1998; Fernández-Ballesteros, 1980; Maloney y Ward, 1976; Sundberg, 1976). En los puntos siguientes se señalan las características más distintivas que se han propuesto para diferenciar estos dos conceptos:
1. La aplicación de tests se orienta principalmente a la medida, mientras que la evaluación psicológica se orienta principalmente al problema o a la demanda.
2. La aplicación de tests se relaciona con dispositivos de medida estandarizados, en tanto que la evaluación psicológica incluye otros procedimientos e instrumentos de recogida de datos (y no sólo tests).
3. La aplicación de tests frecuentemente hace referencia a la descripción y estudio de grupos o muestras de personas, en tanto que la evaluación psicológica se centra en la descripción y análisis de personas individuales o casos únicos en una situación o estado psicológico determinado.
4. La aplicación de tests requiere que se sea un entendido en los tests administrados, en tanto que la evaluación psicológica es un campo más amplio que exige bastos conocimientos, así como un buen dominio de los procesos psicológicos.
5. La aplicación de tests implica la utilización de instrumentos de medida para recoger datos, en tanto que la evaluación psicológica se refiere a un complejo proceso de toma de decisiones -en el que la recogida de datos es, evidentemente, un paso importante. Este proceso, a su vez, tiene su origen en la demanda de un determinado sujeto o grupo de sujetos (cliente/s).
En suma, la evaluación psicológica implica un proceso de toma de decisiones que incluye varias tareas, operaciones y acciones (llevadas a cabo en una determinada secuencia), con el objetivo de responder a las demandas del cliente y que requiere un conocimiento psicológico profundo y unas buenas habilidades profesionales. Este proceso puede, al menos hasta cierto punto, ser estandarizado y guiado por un cuerpo de pasos básicos establecidos y aceptados por la comunidad científica y profesional. Finalmente, las reglamentaciones sobre los tests deberían incluirse e integrarse en la regulación de la correspondiente fase del proceso de evaluación.
Ninguno los estándares y guías propuestos hasta ahora, y comentados al principio de este artículo, se dedica específicamente al proceso de evaluación psicológica como tal. En las últimas décadas, el propio proceso de evaluación ha sido, y continúa siendo, objeto de estudio científico en la investigación básica sobre razonamiento, toma de decisiones, solución de problemas e inteligencia artificial (entre otros campos), de tal forma que en el momento actual disponemos de resultados empíricos sobre sus principales pasos y sus subprocesos básicos. Por ello, es posible desarrollar guías para regular este proceso. A su vez, el desarrollo de estas guías ofrece varias ventajas. Primero, puede ayudar a vencer la frecuente disociación entre conocimiento básico y actividad profesional. Segundo, desde un punto de vista aplicado, puede también ayudar a optimizar la práctica profesional, mejorando la valoración y el control de las actividades profesionales y facilitando (así como estandarizando) la formación en evaluación.
En resumen, nuestro objetivo general es el desarrollo de sugerencias procedimentales sobre el proceso de evaluación, esto es, el desarrollo de unas Guías para el Proceso de Evaluación (GAP), con la idea de ayudar a los evaluadores y a sus clientes a cumplir ciertas exigencias (cf., Joint Committee, 1994, p. 206), teniendo presente que estas guías deberían ser presentadas, difundidas y discutidas por un público experto amplio antes de ser aprobadas y adoptadas por los cuerpos profesionales y científicos. Cuando esto ocurra, las GAP serán útiles en los siguientes aspectos:
1. Ayudar al evaluador psicológico en sus esfuerzos por optimizar la calidad de su trabajo;
2. Ayudar a los clientes externos al campo de la psicología en la valoración de las tareas de evaluación, permitiendo su control de calidad;
3. Facilitar la enseñanza de la evaluación, la estandarización de aspectos prácticos y el diseño de programas avanzados de capacitación profesional.
CUESTIONES GENERALES
Grupos a los que se dirigen las GAP
Toda guía que pretenda regular una conducta específica debe dirigirse a una población determinada. Las GAP van dirigidas a psicólogos titulados y con una buena formación en evaluación psicológica. Como es obvio, el proceso de evaluación implica un amplio conjunto de actividades basadas tanto en el método científico como en la investigación sobre la actividad cognitiva humana, especialmente en los ámbitos de la toma de decisiones, la solución de problemas, y la inteligencia artificial. Aunque cualquier campo profesional en el que se dé este tipo de actividad (v.g., la psicología clínica) puede beneficiarse con las GAP, éstas se han desarrollado fundamentalmente para regular la actividad profesional del psicólogo en todos los campos aplicados en los que se dan tareas de evaluación.
Toda actividad profesional puede guiarse y regularse (por uno mismo o por otros) mediante dos conjuntos de principios: (1) éticos y (2) técnicos. La mayoría de las asociaciones profesionales posee un conjunto de estándares o guías escritas que regulan sus actividades profesionales de acuerdo con normas sociales de conducta que, a su vez, rigen en una determinada cultura o grupo social (v.g., la confidencialidad). Existen además otros principios técnicos que han surgido o están ligados a la investigación científica en un campo profesional particular (v.g., la utilización de múltiples métodos al evaluar un determinado constructo). Estos principios son importantes de cara a la introducción de los métodos de investigación en la práctica, mejorándola con la aplicación de los resultados de la investigación y mediante la formación de los profesionales como profesionales científicos. Las GAP hacen referencia a estos principios-guía técnicos, asumiendo que el evaluador debe observarlos, pero también que es obligatorio cumplir con los principios éticos y con los requisitos legales que rijan en cada caso. De ninguna forma las guías técnicas pueden reemplazar a las normas éticas.
El contexto de la evaluación
La evaluación psicológica es un conjunto de actividades científicas y profesionales que se dan dentro de múltiples contextos aplicados. Así, cuando los psicólogos clínicos diagnostican o tratan a un paciente, han de realizar evaluación psicológica; cuando los psicólogos educativos orientan a un estudiante, han de realizar una evaluación psicológica; cuando los psicólogos industriales u organizacionales realizan selección de personal, están haciendo evaluación psicológica; cuando en el medio forense los psicólogos contribuyen a que se tomen determinadas decisiones judiciales, han de recurrir a la evaluación psicológica. Se puede incluso decir que la evaluación psicológica está presente, de una u otra forma, en todos los contextos de la psicología aplicada (Fernández-Ballesteros, 1999).
En consonancia con esta gran diversidad de demandas prácticas, las guías del proceso de evaluación deben ser útiles y viables en una gran cantidad de contextos aplicados. Esto es posible porque, aunque los contextos pueden variar, las fases o pasos básicos del proceso de evaluación resultan ser muy semejantes sino iguales.
Objetivos de la evaluación
Los objetivos más comunes de la ciencia son la descripción, la clasificación, la predicción, la explicación y el control, y cada uno de estos objetivos posee su equivalente en evaluación psicológica. Así, cuando un psiquiatra le pide a un psicólogo clínico que diagnostique a un paciente, el psicólogo ha de describir y clasificar a dicho paciente; cuando se realiza selección de personal, el evaluador ha de ser capaz de predecir la conducta futura de los candidatos; cuando un determinado sujeto pide atención psicológica, el evaluador debe actuar con cautela (y guiado por sólidas hipótesis de evaluación), diagnosticando (cuando resulte apropiado) y prediciendo conductas y, sobre la base de datos apropiados y de hipótesis pertinentes, proponer sugerencias y planes sobre la intervención más adecuada y viable posible. Incluso después de su administración (por un experto competente), debemos comprobar si se han alcanzado las metas de la intervención y si se han satisfecho las demandas del cliente.
Aunque en la historia de la evaluación psicológica, la descripción, la clasificación, la explicación y la predicción han sido los objetivos más destacados, el control de la conducta ha llegado a convertirse, en paralelo con el desarrollo de intervenciones psicológicas efectivas, tanto en una importante fase como en una meta del proceso de evaluación.
Así pues, debido a que el proceso de evaluación psicológica debe ajustarse a las demandas del cliente y a que la consecución de dichas demandas implica varios objetivos científicos y prácticos, la evaluación se convierte en un laborioso proceso compuesto por todo un conjunto de pasos y tareas.
Evaluación y valoración
Aunque los términos "evaluación" y "valoración" se suelen utilizar con frecuencia como sinónimos -estando ambos cercanos en significado a "apreciación", "estimación", o "juicio"-, se refieren a aspectos científicos y profesionales diferentes. Como ha señalado Fernández-Ballesteros (1985), en tanto la evaluación hace fundamentalmente referencia a personas, la valoración se refiere principalmente a objetos. Esto es, la evaluación se refiere a sujetos humanos, en tanto que la valoración lo hace a la apreciación, estimación o enjuiciamiento de un objeto concreto, usualmente un programa, proyecto, tratamiento o intervención puesto en marcha para producir los cambios deseados sobre un objetivo o meta (Scriven, 1991).
Cronbach (1990) destaca que, cuando las peticiones del cliente incluyen o requieren intervención, dicha intervención debe planificarse y, una vez puesta en marcha, ser valorada; para este autor, "valoración" es "la recogida e interpretación de evidencia sobre el funcionamiento y las consecuencias de un servicio social, terapéutico o educativo" (p. 703).
En pocas palabras, en tanto que el objeto de la evaluación en psicología es una determinada persona o grupo de personas, el objeto científico de la valoración es un determinado programa o conjunto de acciones.
No obstante, a pesar del hecho de que evaluación y valoración constituyen campos científicos independientes, ambos comparten muchos aspectos comunes. Cuando se lleva a cabo una evaluación psicológica con el propósito de cambiar determinadas conductas-meta mediante una determinada intervención, por supuesto que dicha intervención debe someterse a valoración. De la misma forma, cuando ha de llevarse a cabo la valoración de un determinado programa con objetivos conductuales, resultará necesario evaluar a los participantes.
Como hemos dicho antes, los objetivos tradicionales de la evaluación han sido la descripción, la clasificación, la explicación, y la predicción; debido a que el control no siempre resultaba factible, el proceso de evaluación no solía incluir una fase de valoración. Sin embargo, el progreso logrado en el terreno de los tratamientos y de la intervención psicológica ha hecho posible el control del comportamiento, haciendo surgir la necesidad de valorar.
Por ello, cuando se necesita intervenir, el proceso de evaluación debe incluir una fase de valoración destinada a determinar los efectos de la intervención.
PROCEDIMIENTO SEGUIDO: GRUPOS DE TRABAJO Y PASOS DADOS
La Asociación Europea de Evaluación Psicológica (European Association of Psychological Assessment, EAPA) decidió patrocinar el desarrollo de las GAP, creando una Comisión destinada a este propósito. Las siglas GAP se han elegido por su significado4, ya que lo que se pretende es poner remedio vacio existente entre la necesidad de regular el proceso de evaluación y las normas actualmente existentes. La meta de esta Comisión ha sido desarrollar unos principios que puedan servir de guía en el proceso de evaluación.
El desarrollo de las GAP ha durado un período de tiempo superior a los tres años, incluyendo (1) las reuniones de la Comisión (siete en total) y (2), sesiones en las que ésta recabó las sugerencias de un cuadro de expertos. La primera reunión de la Comisión tuvo lugar durante el IV Congreso Europeo de Evaluación Psicológica (del 7 al 10 de Septiembre de 1997 en Lisboa). A esta reunión inaugural se invitó a dos tipos de personas: expertos en el proceso de evaluación y miembros de organizaciones psicológicas (fundamentalmente internacionales). El primer grupo de expertos consistió en miembros de la EAPA cuya actividad investigadora principal se relaciona con el proceso de evaluación [E. de Bruyn, de la Universidad de Nimega; A. Godoy, de la Universidad de Málaga; L. Hornke, de la Universidad de Aquisgrán; J. ter Laak, de la Universidad de Utrecht; C. Vizcarro, de la Universidad Autónoma de Madrid; K. Westhoff, de la Universidad de Dresden; H. Westmeyer, de la Universidad Libre de Berlín; J. L. Zaccagnini, de la Universidad de Málaga; y R. Fernández-Ballesteros, de la Universidad Autónoma de Madrid, ex-presidenta de la EAPA y de la División 2 de la IAAP, y Coordinadora de la Comisión encargada de desarrollar las GAP]. Varias organizaciones que habían sido invitadas nombraron representantes, entre ellas la Federación Europea de Asociaciones de Psicólogos Profesionales [J. Muñiz, de la Universidad de Oviedo] y la Comisión Internacional de Tests [D. Bartram, de la Universidad Hull, en el Reino Unido].
El proceso de desarrollo de las GAP ha seguido dos vías:
1. Reuniones periódicas de un equipo fijo (Comisión) de expertos en el proceso de evaluación. Esta Comisión se formó con personas que trabajaban con acercamientos teóricos y metodologías diferentes, así como en distintos campos aplicados. Después del primer encuentro en Lisboa, la Comisión también celebró reuniones en Málaga (Septiembre, 1998), Madrid (Mayo, 1999), Patras (Septiembre, 1999), Nimega (Mayo, 2000), y Málaga (Octubre, 2000). En total, se hicieron cuatro borradores de las GAP, enviándose el último a un panel de expertos. Atendiendo a los comentarios y sugerencias de este panel, la Comisión desarrolló la versión final, que es la que se presenta más abajo.
2. Un panel de 30 expertos y representantes de organizaciones psicológicas dieron sus opiniones sobre el cuarto borrador de las GAP desarrollado por la Comisión.
En total, el proceso pasó por las siguientes fases:
- Fase 1: Constitución de un banco de datos con los principales programas de investigación básica y de expertos en el área.
- Fase 2: Establecimiento de contacto con los auditorios pertinentes (expertos y representantes internacionales).
- Fase 3: Cinco reuniones de dos días de los expertos (1998, 1999, y 2000).
- Fase 4: El primer borrador de las GAP se envía al panel de expertos en 1999.
- Fase 5: La Comisión redacta la versión final de las GAP atendiendo a los comentarios y sugerencias del panel.
- Fase 6: Diseminación en revistas y congresos.
Este artículo constituye la primera publicación destinada a la diseminación de las GAP entre la comunidad científica.
FUNDAMENTACIÓN EN LA INVESTIGACIÓN CIENTÍFICA
A lo largo de los últimos 30 años, varios grupos de investigación, con acercamientos conceptuales y metodológicos diferentes, han venido estudiando los procesos de diagnóstico, evaluación y valoración. Como ya hemos dicho, la evaluación implica un proceso enormemente complejo en el que el evaluador -después de recibir una petición del cliente- realiza preguntas, establece hipótesis, recoge datos relevantes, comprueba las hipótesis (mediante tests, entrevistas, observación, y otras técnicas de evaluación), y analiza e interpreta los resultados. A continuación, informa de los mismos al sujeto o sujetos, toma decisiones con y sobre el sujeto, y responde a las demandas del cliente.
Este proceso se ha investigado desde diferentes perspectivas teóricas (v.g., teorías del razonamiento, del juicio social, modelos de toma de decisiones, paradigma de la inteligencia artificial) y mediante varios tipos de metodología (v.g., tareas experimentales de laboratorio, análisis de protocolos de pensamiento en voz alta, sistemas expertos), y se ha comprobado en distintos tipos de campos aplicados (contextos médico, psicológico, educativo y del trabajo). Por ejemplo, Brehmer (de la Universidad de Upsala, Suecia) ha establecido nexos entre los campos de la evaluación y del tratamiento mediante la aplicación de principios de la teoría del juicio social a procesos secuenciales de evaluación y valoración (vid., Brehmer y Joyce, 1988); Johnson (de la División de Cibernética de la Universidad Brunel, Reino Unido) ha venido trabajando en el estudio de las decisiones clínicas (vid., Johnson, 1982); Clark (de la Unidad de Computación Biomédica del Imperial Cancer Research Center, Reino Unido) ha aplicado el paradigma de la inteligencia artificial al diagnóstico médico (vid., Clark, 1992); Montgomery ha trabajado en el desarrollo de un modelo de dominancia que resulta aplicable para explicar los fallos en la toma de decisiones en varios tipos de plantas industriales (vid., Montgomery, 1993); De Bruyn (de la Unidad de Diagnóstico de la Facultad de Ciencias Sociales de la Universidad de Nimega, Holanda) ha estudiado la toma de decisiones diagnósticas, tanto cuando se realiza de forma individual como cuando se hace en grupo, y está desarrollando herramientas computerizadas inteligentes para ayudar a los evaluadores en este tipo de tareas (vid., De Bruyn, 1992); Westmeyer (del Departamento de Psicología de la Universidad Libre de Berlín) ha considerado el proceso de evaluación desde el punto de vista normativo (vid., Westmeyer, 1975) y ha desarrollado un sistema de evaluación psicológica asistida por ordenador (vid., Westmeyer y Hageböck, 1992); y Adarraga, Zaccagnini y Márquez (de la Facultad de Psicología de la Universidad Autónoma de Madrid), utilizando técnicas de inteligencia artificial, han desarrollado sistemas expertos para el diagnóstico de varias condiciones psicopatológicas, al mismo tiempo que sometían a comprobación la integridad del modelo de proceso de evaluación propuesto por Fernández-Ballesteros (1980, 1993) (vid., Adarraga y Zaccagnini, 1992).
A pesar de que los conocimientos básicos son escasos y de que existe un gran vacío entre dichos conocimientos y su aplicación y diseminación práctica, ha sido posible reunir un conjunto de 498 artículos de investigación. Esta bibliografía básica está disponible en Internet (http://www.hhpub.com/journals/ejpa). No obstante, lo más importante de estos programas de investigación es que han proporcionado los conocimientos básicos acerca de los heurísticos, estrategias y actividades que ocurren en el transcurso del proceso de evaluación -conocimientos básicos que nos han permitido llegar al esquema general utilizado como fundamento para el desarrollo de las GAP.
Así pues, del conjunto de investigación examinada, hemos podido extraer las tres principales características del proceso de evaluación que, junto con algunas referencias claves, se exponen a continuación:
1. El proceso de evaluación implica un proceso de toma de decisiones.
- El proceso de evaluación "...se relaciona con estrategias para tomar decisiones, con planes de toma de decisiones. En lugar de centrarse en la noción de validez, enfatiza el concepto de utilidad" (McReynolds, 1971, p.7).
- "El juicio resultante (del proceso de evaluación) se utiliza para tomar decisiones. Decisiones destinadas a solucionar problemas prácticos importantes" (Maloney y Ward, 1976, p. 5).
2. El proceso de evaluación implica solución de problemas.
- Desde un punto de vista general, Sloves, Doherty y Schneider (1979, pp. 30-32) han propuesto un modelo bastante completo de la evaluación como un proceso científico de solución de problemas: "El proceso de solución de problemas consta de seis fases secuenciales e interrelacionadas que el evaluador psicológico puede utilizar: (a) clarificación del problema, (b) planificación, (c) desarrollo, (d) puesta en marcha, (e) determinación de los resultados, y (f) diseminación" (p. 30).
- "La evaluación psicológica es un proceso mediante el que se responden preguntas y se solucionan problemas" (Maloney y Ward, 1976, p. 5).
3. El proceso de evaluación requiere la generación y comprobación de hipótesis.
- Shapiro (1951, 1970) ha sido uno de los primeros autores en enfatizar que "de hecho, podría decirse que consiste en las hipótesis que el científico aplicado piensa que mejor explican los datos de que dispone, hipótesis que, si se posee el tiempo suficiente y los medios adecuados, serían las primeras en comprobarse" (1970, p. 652).
- También, aunque desde una perspectiva conductual, Fernández-Ballesteros y Staats (1992) han hecho hincapié en que el proceso de evaluación "presupone ligazón entre los eventos conductuales y ambientales cada vez que se realiza el análisis de una nueva conducta y antes de recoger evidencia empírica" (p. 5).
Estos son los pilares científicos en los que se inspiran las GAP.
MARCO DE REFERENCIA Y PASOS DEL PROCESO DE EVALUACIÓN
Como ya se ha dicho, el proceso de evaluación implica una serie de tareas ordenadas según una determinada secuencia. Como proceso de toma de decisiones, se lleva a efecto con el propósito de responder preguntas y solucionar problemas. De la misma forma, incluye pasos semejantes a los utilizados al formular y comprobar hipótesis científicas (v.g., Hempel, 1973). La investigación realizada en varios campos nos permite establecer tareas, operaciones y acciones concretas, así como su secuencia y orden. Es más, la bibliografía científica nos informa de que este proceso puede estandarizarse, y de que esta estandarización ya ha sido comprobada mediante sistemas expertos (Adarraga y Zaccagnini, 1992; Westmeyer y Hageböck, 1992). En cualquier caso, el proceso de evaluación puede dividirse en un número finito de subfases, señaladas por varios autores. Por ejemplo, Westmeyer y Hageböck (1992) han propuesto un modelo prescriptivo del proceso con 11 pasos, en tanto que Maloney y Ward (1996) han propuesto una descripción del proceso con entre dos y siete fases. Así, aunque el proceso puede de alguna forma estandarizarse, los autores no llegan a ponerse de acuerdo ni en el nivel de estandarización ni en el número de pasos básicos.
En resumen, tras una revisión de la bibliografía sobre el proceso de evaluación, hemos llegado a dos conclusiones:
1. Los modelos de evaluación psicológica propuestos difieren bastante con respecto al número de pasos y de reglas que el evaluador debe seguir.
2. Los autores coinciden en que, al tomar decisiones y solucionar problemas, el evaluador genera y comprueba hipótesis.
Por ello, antes de establecer las GAP y para obtener un número limitado de guías, se decidió proponer un marco de referencia (o esquema) básico. De acuerdo con lo que se pretende, este marco de referencia ha de cumplir varios requisitos:
- Debe ser aplicable a distintos contextos de evaluación, así como integrar todo tipo de objetivos (descripción, clasificación, predicción, explicación, y control).
- Debe contener operaciones típicas en evaluación y valoración.
- Debe integrar la generación y comprobación de hipótesis.
La Tabla 1 muestra el marco de referencia y los pasos básicos del proceso de evaluación, con cuatro fases principales. Las dos primeras van dirigidas a la consecución de los tres primeros objetivos, y las dos últimas, al control. Estas fases son las siguientes:
1. Análisis del caso (también denominada "formulación" o "conceptualización del caso"; ver Berman, 1997).
2. Organización e información de los resultados.
3. Planificación de la intervención.
4. Valoración y seguimiento.
Cada una de las fases posee un número distinto de pasos y se encuentra organizada racional y secuencialmente. A continuación, se han formulado 96 guías referidas a estos pasos. Guías que se presentan en el Apéndice 1. Por último, de cara a clarificar algunos de los términos utilizados, se adjunta un Glosario en el Apéndice 2.
CONCLUSIONES
Este artículo delinea nuestra propuesta de guías para el proceso de evaluación y describe la forma en que se ha llevado a cabo, sin entrar en detalles sobre su justificación. Una explicación más detallada de las guías se encuentra en preparación y se publicará en forma de libro.
Nos gustaría hacer hincapié una vez más en que concebimos las GAP como sugerencias procedimentales, esto es como recomendaciones que podrían ayudar al evaluador a enfrentarse a las complicaciones y demandas del proceso de evaluación en varios contextos de aplicación.
Esperamos que el esfuerzo realizado en el desarrollo y diseminación de estas Guías estimule la discusión entre los científicos y los profesionales interesados y, a la larga, contribuya a la mejora de la práctica de la evaluación psicológica, así como de la enseñanza y entrenamiento de los evaluadores. Dichas mejoras van a depender de que las distintas comunidades interesadas expresen los comentarios, sugerencias e indicaciones que consideren adecuados. Agradeceremos cualquier tipo de contribución que se desee hacer a esta propuesta.
(*) Artículo publicado en el European Journal of Psychological Assessment, 2001, 17 (3), traducido por el Prof. A. Godoy y reproducido con autorización y por gentileza de Hogrefe & Huber.
1 Nota de los traductores: Testing, en el original. Dada la definición que posteriormente se da de testing, hemos optado por traducirlo como "aplicación de tests".
2 Nota de los traductores: EAPA son las siglas en inglés de esta asociación psicológica (European Association of Psychological Assessment).
3 Nota de los traductores: GAP proviene de las iniciales de la expresión
en lengua inglesa "Guidelines for the Assessment Process".
4 Nota de los traductores: Los autores hacen un juego de palabras en inglés, que es difícil respetar en castellano, entre GAP (Guidelines for the Assessment Process) y "gap" (brecha, fisura, vacío, corte).
BIBLIOGRAFÍA
Adarraga, P., y Zaccagnini, J. L. (1992). DAI: A knowledge-based system for diagnosing autism. European Journal of Psychological Assessment, 8, 25-46.
American Psychologica1 Association (1999). Standards for educational and psychological tests. Washington, DC: APA.
Bartram, D. (1997). International guidelines for the development of test-user performance standards. Unpublished manuscript.
Bartram, D. (2001). Guidelines for test users: A review of national and internationa1 initiatives. European Journal of Psychological Assessment, 17(3), 173-186.
Berman, P.S. (1997). Case conceptualization and treatment planning: Exercises for integrating theory with clinical practice. Thousand Oaks, California: Sage.
Brehmer, B., y Joyce, C. R .B. (1988). Human judgment: The SJT view. Amsterdam: Elsevier.
C1ark, D.A. (1992). Human expertise, statistica1 models, and knowledge-based systems. En G. Wright y F. Bolger (Eds.), Expertise and decision making. Nueva York: P1enum.
Cohen, R.J., Swerdik, M.E., y Phillips, S.M. (1996). Psychological testing and assessment. Mountain View, California: Mayfield.
Cronbach, J.L. (1990). Psychological testing (5ª ed.). Nueva York: Harper & Row.
De Bruyn, E. E. J. (1992). A normative-prescriptive view on c1inica1 psychodiagnostic decision making. European Journal of Psychological Assessment, 8, 163-171.
De Bruyn, E. E. J., y Godoy, A. (1998). Psychological assessment and testing. Comunicación presentada en el XXIV International Congress of Applied Psychology. San Francisco.
Eignor, D. (2001 ). Standards for the development and use of tests: The standards for educationa1 and psychologica1 testing. European Journal of Psychological Assessment, 17(3), 157-163.
Fernández-Ballesteros, R. (1980). Psicodiagnóstico. Madrid: Cincel-Kapelusz.
Fernández-Ballesteros, R. (1985). Psychological assessment and evaluation. Psychological Assessment: An International Journal, 1, 5-22.
Fernández-Ballesteros, R. (1999). Psychological assessment: Futures, challenges and progresses. European Psychologist, 4, 248-262.
Fernández-Ballesteros, R., y Staats, A.W. (1992). Paradigmatic behavioral assessment, treatment and evaluation: Answering the crisis in behavioral assessment. Advances in Behavior Research and Therapy, 14, 1-27.
Fremer, J. (1997). Elaboration of rights of test-takers. Comunicación presentada en la Michigan School Testing Conference. Ann Arbor, Michigan.
Hambleton, R.J. (1994). Guidelines for adapting educational and psychological tests. European Journal of Psychological Assessment, 10, 229-244.
Hambleton, R.J. (2001). Guidelines for test translation/adaptation. European Journal of Psychological Assessment, 17(3), 164-172.
Hempel, C.G. (1973). Philosophy of natural sciences. Nueva York: Grune & Stratton.
Johnson, P.E. (1982). Cognitive models of medical problem-solvers. En D.P. Connelly y D. Fenderson (Eds.), Clinical decisions and laboratory use. Minneapolis: University of Minnesota Press.
Joint Committee on Standards for Educational Evaluation (1994). The program evaluation standards. Thousand Oaks, California: Sage Publications.
Maloney, M.P., y Ward, M.P. (1976). Psychological assessment. A conceptual approach. Nueva York: Oxford University Press.
McReynolds, P. (1971). Introduction. En P. McReynolds (Ed.), Advances in psychological Assessment. Palo Alto, California: Science and Behavior Books.
Montgomery, H. (1989). From cognition to action: The search for dominance in decision making. En H. Montgomery y O. Svenson (Eds.), Process and structure in human decision making. Chichester: Wiley.
Muñiz, J. et al. (2001). Testing practices in European countries. European Journal of Psychological Assessment, 17(3), 201-211.
Scriven, M. (1991). Evaluation thesaurus (4th ed.). Londres: Sage.
Shapiro, M.B. (1951). An experimental approach to diagnostic testing. Journal of Mental Sciences, 97, 748-764.
Shapiro, M.B. (1970). Intensive assessment of the single case: An inductive-deductive approach. En P. Mittler (Ed.), The psychological assessment of mental and physical handicaps. Londres: Methuen.
Sloves, R.E., Doherty, E.M., y Schneider K.C. (1979). A scientific problem-solving model of psychological assessment Professional Psychology, 1, 28-35.
Sundberg, N. (1977). Assessment of persons. Nueva York: Prentice-Ha1l.
Westmeyer, H. (1975). The diagnostic process as a statistical causal analysis. Theory and Decision, 6, 57-86.
Westmeyer, H., y Hageböck, J. (1992). Computer-assisted assessment: A normative perspective. European Journal of Psychological Assessment, 8, 1-16.
Material adicional / Suplementary material
Tabla 1. Proceso de Evaluación: Estructura Básica y pasos a seguir.
Apéndice 1a. Guías del Proceso de Evaluación (GAP).
Apéndice 1b. Guías del Proceso de Evaluación (GAP). (Continuación).
Apéndice 1c. Guías del Proceso de Evaluación (GAP). (Continuación).
Apéndice 2. Glosario del Proceso de Evaluación.