Papeles del Psicólogo, 1998. Vol. (70).

Rocío Fernández-Ballesteros

Universidad Autónoma de Madrid

La evaluación psicológica es, sin duda, una de las disciplinas de la psicología científica presente en cualquier actividad del psicólogo, sea éste básico o aplicado. Tras enumerar la más importante bibliografía relativa al estado actual de la evaluación en España, se examinan algunas claves de esta disciplina con el objetivo de plantear algunos retos del futuro: vejez y la multiracialidad como poblaciones objetivo; nuestra posición entre Europa e Iberoamérica; la evaluación del cambio; los avances tecnológicos; la valoración de programas, y, finalmente, las normas y los reglamentos desarrollados en este fin de siglo. Finalmente, se incita al Colegio de Psicólogos al debate y la reflexión sobre algunos de estos temas.

La evaluación psicológica es, sin duda, una de las disciplinas de la psicología científica presente en cualquier actividad del psicólogo, sea éste básico o aplicado. Los investigadores y profesionales más conspicuos o menos avezados al hacer psicología han de plantearse, en alguna medida, la evaluación de determinado individuo humano o grupo, sujeto de su trabajo. Que esa evaluación sea hecha mediante sofisticados aparatos (tasquitoscopios, polireactígrafos, polígrafos, etc.) y estrictas mediciones o bien mediante entrevistas nada estructuradas e inferencias cualitativas, la cuestión es que cualquier tarea psicológica encierra algún momento evaluativo.

Que esto es así puede examinarse mediante múltiples fuentes de datos; por ejemplo, través de encuestas sobre las tareas profesionales que realizan los psicólogos (Díaz y Quintana, 1992), la frecuencia de utilización instrumentos evaluativos (Cohen et al., 1996), así como lo que pudiera considerarse base del método experimental, piedra angular de los hallazgos psicológicos generales (Fernández-Ballesteros, 1980)1. De ahí que, por suerte o por desgracia la evaluación psicológica ha venido siendo el rostro bien conocido de la psicología2.

Todo ello nos permite justificar la inclusión de esta temática en el repaso que, en este número de Papeles, se pretende dar a la psicología en sus más importantes áreas.

En esta tarea, nos encontramos con un primer problema: en los últimos años se han publicado muy extensas revisiones de la evaluación psicológica en España por diferentes motivos, como han venido siendo las periódicas reuniones de profesores de evaluación psicológica (por ejemplo, Fernández-Ballesteros, 1991), el II Congreso de Colegio Oficial de Psicólogos (1990), el I Congreso Iberoamericano de Psicología (1992), el 23 Congreso Internacional de Psicología Aplicada (Fernández-Ballesteros, 1994). En todos estos informes se han presentado las fundamentales coordenadas teóricas, metodológicas y tecnológicas, académicas y aplicadas de la evaluación en nuestro país. Dado que todos esos trabajos son fácilmente accesibles y que el lector puede encontrar en ellos un panorama general y muy amplio de la evaluación psicológica española, resultaría redundante tratar de hacer un nueva revisión ya que, además, todo lo dicho en ellos —parafraseando a André Guide— está bien dicho, y volver a repetir lo mismo implicaría o no haber leído con toda atención tales escritos o, bien, caer en odiosas reiteracciones.

Por tanto, no tenga miedo el lector que no voy a realizar, un nuevo análisis racionalista sobre las distintas fuentes que nos permiten situar a la evaluación psicológica según distintas perspectivas (históricas, teóricas, tecnológicas, académicas, aplicadas, etc.). Más bien, lo que pretendo es enunciar y discutir brevemente lo que creo son algunas de las más importantes claves de la evaluación psicológica en este fin de siglo con el objetivo de plantear algunos retos del futuro.

La evaluación psicológica tiene siempre por sujeto al individuo humano o grupo de individuos. Como se sabe, su objetivo esencial se ha centrado en la descripción, predicción, pronóstico, explicación, o cambio del comportamiento del sujeto humano con base en ciertas condiciones o características psicológicas, psicosociales o ambientales. Pero, a lo largo de este siglo ha habido grandes cambios sociodemográficos en las poblaciones atendidas por los psicólogos de forma tal que si bien sigue siendo cierto que el comportamiento del sujeto humano en su contexto es nuestro objeto de estudio, determinadas condiciones de este sujeto han variado. Veamos dos de las que más se han modificado.

A principios de este siglo, en España, la esperanza de vida era, en promedio (varones y mujeres) de 46 años, la natalidad por encima de 4 y, prácticamente, no había inmigración. A finales de siglo, la España de la Unión Europea tienen una de las más altas esperanzas de vida de Europa (mujeres 81 años, hombres 73.3), una de las más bajas tasas de natalidad del mundo (1.15 hijos por mujer) y está empezando a ser un país que recibe tanto a ciudadanos europeos como a emigrantes del norte de Africa, de Latinoamérica e, incluso, de los países del Este de Europa. En otras palabras, el envejecimiento de la población española, la entrada de España en la UE con la libre circulación de ciudadanos y una creciente inmigración han producido importantes cambios en las poblaciones atendidas por los psicólogos y, como es lógico, la evaluación psicológica ha de ajustarse a esos cambios.

La psicología emerge fuertemente ligada a demandas sociales y estas demandas están, a su vez, referidas a las condiciones sociohistóricas de la época. Si examinamos la propia historia de la evaluación, ésta nace de la mano de Binet y otros evaluadores cuyo objetivo esencial era el análisis objetivo de ciertas condiciones en la infancia. Esta y otras muchas circunstancias han influido en que a lo largo de este siglo, se haya hecho más hincapié en la evaluación del niño, el adolescente y el adulto que en la evaluación en la edad media de la vida o, aún menos, en la vejez.

El envejecimiento de la población producido a lo largo del siglo XX , pero más específicamente, en las tres últimas décadas, lleva consigo la necesidad de acomodar a una población más envejecida el proceso de evaluación (por ejemplo, mayor atención a las variables personales del sujeto tales como educación, sus condiciones sensoriales, la familiaridad en los tests, etc.) así como la exigencia de ajustar los instrumentos de evaluación basados en normas a grupos de población que cubran todo el ciclo de la vida.

En otro lugar (Fernández-Ballesteros, 1997), ponía de relieve la importancia de la utilización de baremos ajustados a la población mayor, junto a la ausencia de éstos en los más importantes instrumentos de evaluación así como denunciaba la frivolidad con la que se dice que un instrumentos ha sido baremado para la población "adulta" cuando, en realidad, el mayor grupo de edad utilizado en la baremación contaba con el rango de 40-45 años o aún menor edad (ver, por ejemplo, el WAIS). En resumen, el psicólogo evaluador (así como las empresas dedicadas a la distribución de tests) tiene una importante tarea por delante: tratar de ajustar su instrumentación y sus propias perspectivas de acción profesional a una población envejecida que pertenece a una cohorte alejada en el tiempo, que ha vivido circunstancias distintas (y distantes) del psicólogo. Acomodarse a una mayor distancia generacional con el cliente irá paulatinamente siendo un reto para el psicólogo.

Decía además que nos encontramos ante una población inter-racial. Ello procede, esencialmente, de dos condiciones históricas distintas que han sobrevenido en las últimas décadas del siglo XX. De un lado, la libre circulación de ciudadanos europeos acreedores de los mismos servicios psicológicos que los españoles y, de otro, la inmigración que, poco a poco, es más frecuente. Veamos ambas cuestiones.

La libre circulación de ciudadanos de los países de la Unión Europea (UE), no solo permitirá al psicólogo español trabajar fuera en otros países de la Unión, sino que está influyendo en la llegada de ciudadanos europeos jubilados que buscan en nuestro país, climatológicamente benéfico, mejorar su calidad de vida. En ciertas comunidades españolas (como la Comunidad Valenciana, Andalucía o Baleares) están asentándose amplios grupos de ciudadanos mayores europeos que tienen derecho a protección de salud y que bien pueden requerir atención psicológica. Es de preveer que en el futuro este fenómeno poblacional se va a incrementar. ¿Cómo diagnosticar y asesorar a un alemán de 70 años visitante o residente en uno de los parajes de nuestra costa? El psicólogo ha de estar preparado para evaluar y atender a ciudadanos mayores tanto españoles como de otros países europeos. Si no lo hace, otros psicólogos europeos se trasladaran a esos mismos lugares para ofrecer esa necesaria atención.

Por otra parte, no sólo recibimos a ciudadanos de la Unión sino que, poco a poco, nos estamos convirtiendo de un país emigrante a un país al que se emigra en búsqueda de mejores condiciones o, simplemente, como paso para otros países. Ello ha de hacernos reflexionar que, poco a poco, estamos caminando hacia una sociedad interracial.

Como psicólogos evaluadores, esta condición nos ha de hacer no sólo estar atentos a la hora de evaluar con instrumentos adecuados que no sean discriminatorios a ciertas minorías, sino que la cuestión abarca un amplio margen que traspasa incluso el plano profesional y se adentra en nuestro sistema de valores y creencias. ¿Cómo evaluar y tomar decisiones sobre la petición de reparación del himen en una joven musulmana que a pesar de haber incorporado valores actuales y occidentales tiene que transigir con las normas de la propia cultura si quiere ser aceptada por su grupo de referencia?.

Ello implica muchas cosas: un cambio de mentalidad para ser capaz de entender los valores y creencias de personas pertenecientes a otros contextos culturales a la hora de hacer evaluación, diagnóstico, consejo o tratamiento psicológico. Junto a ello, esta realidad debe alertarnos contra un probable etnocentrísmo, amenaza, al menos potencial, en un país invertebrado en el que también se practican los más variados "fundamentalismos" y que ensaya una tolerancia más próxima al "laissez-faire, laissez-passer" que a una verdadera aceptación del otro que, con su conducta, expresa un sistema de valores distinto y alejado de aquél recién alcanzado por nosotros.

En resumen, el psicólogo evaluador debe ser consciente de que cada vez en mayor medida ha de evaluar (y por supuesto, diagnosticar, orientar, tratar, etc.) a sujetos de más edad del propio país así como de otros países así como también sujetos de distintas culturas. Por todo ello, en mi opinión, el psicólogo requiere una mayor preparación en psicogerontología y en psicología transcultural como así, también, se precisa tener en cuenta que nuestra tecnología psicológica, en términos generales, se ha dirigido esencialmente a la edad infantil y adulta y que, en la mayoría de las pruebas estándares, no se cuenta con datos normativos a través de los cuales realizar más ajustados diagnósticos, predicciones, asesoramiento o, incluso, intervenciones.

MIRADA AL ESTE, MIRADA AL OESTE: Europa e Iberoamérica

Desde la configuración actual de la psicología puede decirse que España ha venido experimentando una enorme influencia norteamericana (Carpintero, 1986). En las últimas décadas, esto está cambiando y existen pruebas de que la psicología española es plenamente consciente de su pertenencia histórica al viejo continente europeo así como de sus estrechos y entrañables lazos con Iberoamérica.

España, no cabe duda, geográfica, histórica y culturalmente mira a (se mira en) dos continentes: Europa y América. En evaluación psicológica, la cuestión está bien clara y aún pudiera ser considerada como paradigmática: hemos progresado teniendo en cuenta ambas realidades.

La Sociedad Española de Evaluación Psicológica (SEEP, creada en 1985) se convirtió en 1990 en la European Association of Psychological Assessment (EAPA) así como la revista Evaluación Psicológica/Psychological Assessment se convirtió en 1992 en el European Journal of Psychological Assessment (aparece en la red APA, Psychlit, Psychalert, Psychinfo, Psychological Abstract así como en los Social Sciences Current Content). Durante los últimos quince años, desde esa organización, se han celebrado cinco Congresos de Evaluación Psicológica (Madrid 1985,1987; Barcelona, 1991; Santiago, 1994; Málaga, 1998) así como cuatro European Conference on Psychological Assessment (Barcelona 1991; Groningen, 1993; Trier, 1995; Lisboa, 1997, el próximo Congreso europeo tendrá lugar en Patras, Grecia, en Septiembre de 1999).

Así, también, con motivo del I Congreso Iberoamericano de Psicología (Madrid, 1992) se constituyó la Asociación Iberoamericana de Diagnóstico y Evaluación Psicológica (AIDEP) que comenzó a publicar, en 1995, la Revista Iberoamericana de Diagnóstico y Evaluación Psicológica. La AIDEP ha organizado distintos Congresos Iberoamericanos de Diagnóstico y Evaluación Psicológica el próximo de los cuales tendrá lugar en Salamanca (Noviembre). Además, hay que resaltar que ambas sociedades han colaborado y colaboran en proyectos comunes.

En definitiva, creo que podemos sentirnos orgullosos al decir que la evaluación psicológica española es germen de acciones científicas, académicas y profesionales tanto en Europa como en Iberoamérica. En el futuro esta comunidad científica deberá ser potenciada y seguir adelante para el cumplimiento de fines comunes.

En estos últimos años, la evaluación ha estado extraordinariamente unida a la valoración de intervenciones y, más aún, a la contrastación de los efectos (eficacia o efectividad) de los tratamientos psicológicos a través del cambio comportamental. Ello es lógico puesto que un modelo de evaluación psicológica debe conllevar no sólo la descripción, diagnóstico o predicción del caso sino que debe también incluir la valoración de esas predicciones y, también la valoración de los resultados obtenidos. De hecho, cada vez han aparecido un mayor número de textos en evaluación en los que se hace referencia a la importancia de la evaluación a la hora de la planificación y valoración de intervenciones (por ejemplo, Marush, 1994; Hurt, Reznikoff y Clarkin, 1991).

Con la evaluación del cambio nos encontramos muy cerca de la valoración de programas desde luego pero, permítaseme tratar ambos temas separadamente por cuanto la evaluación del cambio a la que me refiero ahora versa, esencialmente, sobre intervenciones psicológicas mientras que con la evaluación o valoración de programas nos referimos, más bien, a un amplio ámbito de acciones sociales. Así pues, en el epígrafe siguiente trataré sobre la importancia del psicólogo y la evaluación psicológica en la evaluación de programas, tanto si se ven implicadas variables psicológicas y/o comportamentales como objetivos de cambio como cuando lo son como variables independientes o potencialmente intervinientes. Sin embargo, a continuación trataré de la evaluación del cambio comportamental o, en otras palabras, la contrastación de si las intervenciones psicológicas individuales o grupales producen los esperados cambios lo cual se ha convertido en un ámbito de trabajo propio de la evaluación psicológica pero de suma importancia para la psicología, en general.

En estos últimos años se está produciendo un importante debate sobre los "efectos" de nuestros tratamientos y programas (incluso, en este debate ha terciado recientemente el Presidente de la APA, Prof. Seligman y ha acuñado una nueva significación para los conceptos de eficacia y efectividad en los que no podemos detenernos ahora). La evaluación psicológica es la encargada de poner de relieve estos extremos que posteriormente son analizados mediante meta-análisis (o mega-análisis) con el fin de contrastar la talla del efecto medio de las intervenciones. Cabe señalar que el papel de la evaluación psicológica es esencial desde dos perspectivas distintas: 1) es a través de la evaluación como se toman decisiones sobre qué intervenciones adoptar, y 2) son instrumentos de evaluación los encargados de evaluar o medir el cambio, una vez aplicadas las intervenciones.

Recientemente, Lipsey y Wilson (1993) han examinado 302 estudios de meta-análisis de intervenciones psicológicas, conductuales y educativas. La distribución de la amplitud del efecto se muestra en la Figura 1. Lo que estos autores ponen de relieve es que los efectos medios están en torno a .05 (talla del efecto media equivalente a media desviación típica) pero, también, que la distribución de los efectos está claramente desviada hacia la derecha. En otras palabras, mientras que aproximadamente un 15% de estudios en los que se valoran tratamientos psicológicos no presentan ningún efecto (de entre los que aproximadamente un 2% presentan efectos negativos) una gran parte de intervenciones psicológicas presentan cambios comportamentales por encima de una desviación típica. En resumen, nuestros tratamientos, en general, parecen producir cambios o efectos positivos en los comportamientos problemáticos que tratan.

Pero, esto no es todo, como señala Lipsey (1997), lo importante del meta-análisis es que nos ofrece una lente para observar un conjunto de evaluaciones. En otras palabras, con el adecuado sistema de clasificación de estudios y de variables y mediante un meta-análisis nos permite examinar cuales son los aspectos más relevantes (o de más impacto) de los programas. Así en la Figura 2 observamos cómo se han descompuesto en 302 estudios evaluativos las variaciones en efectos observados. Sólo una cuarta parta de tales efectos se deben al programas (es decir, al tipo de tratamiento, cliente, resultados, etc.). tres cuartas partes están explicadas por el método, los errores de muestreo y los efectos residuales.

Aparte de que la lente con la que se miran los programas parece estar "empañada", la evaluación del cambio sistemática y los meta-análisis y los meta-meta-análisis nos permiten proceder a un examen diferencial de efectos, separando la propia metodología de evaluación y los que verdaderamente deben ser imputados a la bondad del programa y, en este último caso, también permite descomponer el tratamiento psicológico en sus partes esenciales con el fin de comprobar cuáles son sus elementos más activos.

En resumen, la evaluación del cambio es en este final de siglo una de las áreas de mayor importancia de la evaluación psicológica. No intervenir en nuestro sujeto psicológico sin haber previamente evaluado lleva consigo, también, no intervenir sin valorar el cambio producido lo cual es un corolario necesario que debe guiar a cualquier psicólogo en su práctica profesional y que transciende el cientifismo para adentrarse en la ética por lo que, la evaluación del cambio debería estar presente en nuestro código deontológico como un mandamiento más.

AVANCES TECNOLÓGICOS: Desde la administración computorizada a la involucración virtual

Resulta claramente difícil realizar una mínima reseña de los avances que la evaluación psicológica ha experimentado gracias a los desarrollos tecnológicos experimentados a lo largo del siglo XX (como incontables son éstos). Sin embargo, si parece posible presentar algunos de los más revolucionarios cambios de la tecnología evaluativa.

En resumen, son tantos y tan variados los avances tecnológicos producidos durante este siglo que un balance en sus postrimerías nos ofrece un variado espectro de repercusiones extraordinariamente positivas para el quehacer psicológico así, como veremos más adelante, nos plantean nuevas cuestiones y preocupaciones que habrán de ser reguladas.

En distintos foros he puesto de relieve desde hace más de dos décadas que el sujeto de la evaluación psicológica no se reduce al sujeto individual (al ser humano) sino que comprende también la evaluación del cambio comportamental y, por ello, y con ello, la evaluación de programas. Es éste un ámbito relativamente nuevo de la evaluación psicológica en el que conviene detenerse. La evaluación de programas tiene un esencial objetivo (amén de ayudar a contabilidad pública): la mejora de los programas sociales y, en definitiva, la progresión en la calidad de vida de los ciudadanos. La pregunta esencial es doble: cuál es el papel del psicólogo y, en particular, del psicólogo evaluador en la evaluación de programas y cuáles son las perspectivas futuras de la evaluación de programas en la España de la Unión Europea.

Recientemente, en colaboración con Evert y Seyfried (Fernández-Ballesteros, Vedung y Seyfried, en prensa), he tratado de enfatizar y formalizar la importancia de la psicología y los psicólogos en la evaluación de programas. Tres son los principales componentes del mardaje entre la psicología y la evaluación de programas, revisemos brevemente esas tres líneas argumentales.

Como conclusión de este apartado podríamos afirmar que los psicólogos están llamados a ejercer un importante papel en la evaluación de programas. Eso ocurre, realmente, en el mundo norteamericano en el que ocupan un papel realmente importante en la mayor parte de agencias de valoración tanto públicas como privadas (Fernández-Ballesteros, Vedung y Seyfried, en prensa). Pero, ¿quéocurre en España y en general, en el ámbito de la Unión Europea?. Veámos.

Los psicólogos -y en concreto, los psicólogos evaluadores- han asumido un papel importante en la evaluación de programas en España, de hecho, gran parte de los trabajos sobre evaluaciones están firmados por psicólogos y, la evaluación de programas ha llegado a la Universidad en forma de cursos de licenciatura o, incluso de programas master o de doctorado.

Sin embargo, sin poder presentar datos que justifiquen la afirmación que voy a hacer, en la práctica, el trabajo del psicólogo valorador se ha reducido al ámbito de los servicios y programas sociales y de la educación. No parece que los psicólogos hayan entrado, todavía, como valoradores de programas sanitarios, ambientales o jurídicos. En otras palabras, están presentes en aquellos tradicionales ámbitos de actuación de la psicología (clínica, educativa o del trabajo).

Desde aquí, una llamada de atención ante este hecho y una incitación: el psicólogo evaluador debe ser muy consciente de su importancia en la construcción de la evaluación de programas en España, de la relevancia social de esta disciplina y de la importancia coyuntural que la evaluación de programas tiene a la hora de proceder al enjuiciamiento y la mejora de las acciones implantadas (con o sin financiación pública).

La evaluación de programas ha entrado en el ámbito de la Unión Europea con una enorme vitalidad. En lo que va de década se han producido una serie de hechos que pueden probar esto que digo:

Sin embargo, a pesar de que podríamos considerar floreciente la evaluación de programas en el ámbito de la Unión Europea, contrariamente a lo que sucede en USA o en Canada, la presencia de los psicólogos es mínima. Como señalaba recientemente (Fernández-Ballesteros, Evert y Seyfried, en prensa), el psicólogo está prácticamente ausente y la evaluación de programas se acerca más al control contable y la auditoría que a una verdadera evaluación de programas. La EFPPA (Federación Europea de Asociaciones Profesionales de Psicólogos) no parece que esté alarmada por ello o, ni siquiera, interesada. En mi opinión, el papel del psicólogo en el mundo de la evaluación de programas es importante —dado que supone un ámbito profesional— y su preocupante ausencia debería hacer reflexionar y, posteriormente, actuar a los responsables de las asociaciones profesionales de psicólogos.

ESTÁNDARES Y NORMAS EN EVALUACIÓN PSICOLÓGICA: ¿Reglamentísmo de fin de siglo?

La evaluación psicológica, como actividad humana, profesional y científica, conlleva una serie de tareas o acciones así como involucra a distintos tipos de colectivos implicados. A través de este siglo, se han dictado normas a la hora de normalizar esas tareas y actividades profesionales así como códigos deontológicos con el fin de que el psicólogo auto-regule su conducta.

En la Figura 4 se presenta el conjunto de siete grupos de tareas, de la que se derivan estándares o garantías así como audiencias implicadas en el amplio ámbito de la evaluación psicológica. Veamos brevemente esta cuestión.

Juzgue el lector si la producción de todas estas normas mejorara la enseñanza y la práctica de la evaluación psicológica, los diversos especialistas involucrados en todas ellas así lo consideran y, desde luego, con todas ellas se entra en el Siglo XXI, con un bagaje normativo aparentemente sólido.

American Psychological Association (1978, 1985). Standars for test constructions. Washington, D.C.: APA.

Bartram, D. (1995): The Development of Standards for the Use of Psychological Tests in Occupational Settings: The Competence Approach. The Psychologist, May, 219-223.

Carpintero (1986): Historia de la Psicología. Valencia: NAU Leibres.

Cohen, R.J. et al. (1996): Psychological Testing and Assessment. London: Mayfield Pub. Co.

COP (1988): Código Deontológico del psicólogo.Evaluación Psicológica/Psychological Assessment, 4: 113-122.

COP (1992): Libro de Ponencias: Congreso Iberoamericano de Psicología. Madrid: Colegio Oficial de Psicólogos.

COP (1990): Ponencia: Diagnóstico y Evaluación Psicológica. II Congreso del Colegio Oficial de Psicólogos. Madrid: Colegio Oficial de Psicólogos.

Díaz, R. y Quintanilla. I. (1992): "La identidad profesional del psicólogo en el Estado Español". Papeles del Psicólogo. Epoca II, 52, 22-74.

European Commission (1995): Methods for Evaluating Actions of Structural Nature Handbooks Brussels: European Commission.

Fahrenberg, J. y Myrtek, M. (1996): Ambulatory Assessment. Computer-Assisted Psychological and Psychophysiological Methods in Monitoring and Field studies. Gottingen: Gogrefe & Hubber.

Fernández-Ballesteros, R. (1980): Psicodiagnóstico. Concepto y metodología Madrid: Cincel-Kapelusz.

Fernández-Ballesteros, R. (1991) Enseñanza, investigación y aplicación de la evaluación psicológica. Evaluación Psicológica/Psychological Assessment, 7, 5-23.

Fernández-Ballesteros, R. (1993): Evaluación psicológica en sus contextos de aplicación. Revista de Historia de la Psicología, 14: 97-117.

Fernández-Ballesteros, R. (1994): Psychological Assessment. Applied Psychology: An International Review, 43: 157-174.

Fernández-Ballesteros, R. (1997): Evaluación psicológica y tests. En A. Cordero (Dir.): Evaluación psicológica en el año 2000 Madrid:TEA.

Fernández-Ballesteros, R., Vedung, E. y Seyfried, E. (1998): "Psychology in program evaluation". European Psychologist.

Fremer, J. (1997): Elaboration of Rights of test-takers. Documento no publicado: Michigan School Testing Conference, Ann Arbor, Michigan.

Hamblenton, R.K. (1994): Guidelines for Adapting Educational and psychological Tests: A Progress Report. European Journal of Psychological Assessment, 10: 229-244.

Hurt, S.W., Reznikov, M. y Clarkin, J.F. (1991): Psychological assessment, psychiatric diagnosis and treatment planning. New York: Brunner/Mazel Pub.

Lipsey, M.W. y Wilson, D.B. (1993): The Effficacy of Psycological, Behavioral, and Educational Treatment: Confirmation from meta-analysis. American Psychologist, 48: 1181-1209.

Lipsey, M.W. (1997): What can you build with thousand of Bries?. En D.J. Rog y D. Fournier (Eds.): Progress and future directions in evaluation. Jossey-Bass Pub.

Marush, M.E. (Ed.) (1994): The use of psychological testing for treatment planning and outcome assessment. Hillsdale, N.J.: Lawrence Erlbaum, Asso. Pub.

Muñiz, J. (1997): Aspectos éticos y deontológicos de la evaluación psicológica. En A. Cordero (Dir.): Evaluación psicológica en el año 2000 Madrid, TEA.

Vedung, E. (1995): Utilización de la evaluación de programas. En R. Fernández-Ballesteros (Dir): Evaluación de programas: una guía práctica en ámbitos sociales, educativos y de salud Madrid: Síntesis.

Material adicional / Suplementary material

Figura 1. Fuente S de inter-estudios de la amplitud del efecto de la varianza por término medio sobre 300 meta-análisis.

Figura 2. Fuente S de inter-estudios de la amplitud del efecto de la varianza por término medio sobre 300 meta-análisis.

Figura 3. Teoría del programa "póntelo-pónselo".

Figura 4. Taréas , garantías y sujetos implicados en la evolución.