Papeles del Psicólogo es una revista científico-profesional, cuyo objetivo es publicar revisiones, meta-análisis, soluciones, descubrimientos, guías, experiencias y métodos de utilidad para abordar problemas y cuestiones que surgen en la práctica profesional de cualquier área de la Psicología. Se ofrece también como foro para contrastar opiniones y fomentar el debate sobre enfoques o cuestiones que suscitan controversia.
Papeles del Psicólogo, 2003. Vol. 23(84).
Gualberto Buela-Casal, J. Ramón Fernández-Hermida y Wilson López
El IBERINDEX fue propuesto recientemente durante la celebración de un Symposium Internacional de Editores de Revistas de Psicología de Iberoamérica, celebrado durante el III Congreso Iberoamericano de Psicología, que se realizó en Julio del 2002 en Bogotá, organizado por W. López. Este Symposium tenía como objetivo principal discutir y proponer alternativas que potencien la visibilidad y la calidad de las revistas de psicología en Iberoamérica. En el grupo de trabajo participaron unos veinte representantes de revistas de psicología de distintos países de Iberoamérica (editadas en castellano y portugués). Como resultado de las sesiones de trabajo se hicieron las siguientes propuestas:
- Es imprescindible potenciar las revistas científicas de psicología editadas en castellano y portugués. Para ello hay que potenciar la calidad las revistas publicando artículos de más calidad. Esto a su vez tendrá un efecto sobre los investigadores que enviarán sus mejores trabajos a revistas iberoamericanas (Pelechano, 2002; Polaino, 2002).
- Es necesario crear un sistema de evaluación de la calidad de las revistas iberoamericanas, dado que los sistemas como el "factor de impacto" o el "factor de prestigio" marginan en gran medida todas aquellas publicaciones que no se editan en inglés (Buela-Casal, 2001, 2002; Gil Roales-Nieto y Luciano, 2002; Pérez Álvarez, 2002).
- Hay que concienciar a los responsables políticos de los sistemas de evaluación de la investigación científica (revistas, investigadores, proyectos de investigación, centros de investigación, etc.) que si sólo se recurre a criterios como el factor de impacto, además de no ser un buen criterio para evaluar la calidad, se penalizan las revistas editadas en castellano y en portugués (Diaz et al., 2001; Echeburúa, 2002; Jiménez-Contreras, Faba y Moya, 2001).
- Los índices bibliométricos, que se basan, de forma directa o indirecta, en el número de citas, no son adecuados para evaluar la calidad de las revistas científicas, incluso aunque fuesen índices específicos que analizaran publicaciones en castellano y portugués (Pelechano, 2000).
- Propuesta de criterios para crear el Iberindex. Este se define como un índice de calidad de las revistas y no un índice bibliométrico basado en citas. La creación del Iberindex se estableció a dos niveles: a) el proceso de evaluación y selección de los evaluadores, b) los criterios de evaluación.
a) El proceso de evaluación y la selección de los evaluadores. Este se basa en el modelo de Psychology in Spain, revista editada electrónicamente por el Colegio Oficial de Psicólogos. Psychology in Spain no publica artículos originales sino que su número anual se conforma con una selección de los artículos publicados durante el año anterior en las revistas del COP. El propósito de la revista es difundir los mejores trabajos publicados en español dentro del ámbito angloparlante y para ello se seleccionan los artículos que más destaquen para luego proceder a su traducción. El trabajo de evaluación lo realiza un amplio comité de revisores (del que no formarían parte los directores de las revistas). Este comité evaluaría cada artículo publicado en las revistas, otorgando puntuaciones para cada uno. Posteriormente se promedian las puntuaciones otorgadas por los distintos evaluadores y se obtienen las puntuaciones definitivas.
Este procedimiento de selección no carece de inconvenientes. En primer lugar se encuentra el problema de la composición de la comisión evaluadora. Dicha composición puede estar sesgada por el sistema de nombramiento (alguien debe nombrar a los evaluadores y ese alguien puede tener un determinado sesgo que rompa la independencia de criterio que se busca) y/o por la simple disponibilidad de los elegidos para participar en la comisión (un nombramiento no supone siempre que el elegido acepte). El resultado puede ser que la comisión se conforme según criterios de grupo (relaciones personales, bandería académica, etc.) que dé al traste con la aplicación ecuánime de criterios objetivos. En segundo lugar, el funcionamiento de la comisión tampoco está exento de dificultades. Una vez que ya está conformada una comisión es necesario que dicho grupo trabaje conforme se espera de él, y que no se produzcan bajas en sus miembros que desvirtúen completamente los resultados que se obtengan. Esta condición es especialmente difícil de conseguir con participantes voluntarios que no reciben ninguna gratificación directa por el trabajo que hacen. Además, la complejidad de los artículos que se valoran hace necesario que se establezca un cierto grado de especialización en los evaluadores. Sin embargo no resulta fácil cruzar cada trabajo con los evaluadores más indicados, por múltiples razones que sería prolijo explicar aquí, con lo que esto puede suponer de arbitrariedad en la evaluación.
Estos y otros problemas hace completamente necesario que se analicen profundamente los problemas que se derivan de la formación y funcionamiento de un comité o comisión de valoración. Al menos, deberían existir las siguientes condiciones:
1. Una definición clara de las áreas de evaluación y el correspondiente nombramiento de una comisión para cada una.
2. La pertenencia a las comisiones debería vincularse lo más posible a criterios de mérito y capacidad.
3. El funcionamiento de las comisiones debería estar garantizado financieramente.
b) Los criterios de evaluación. Se acordó usar como documento de trabajo un conjunto de veinte criterios propuestos por Sternberg (1988, 1999) y Buela-Casal (2003), los cuales se enuncian a continuación:
1. Aportar resultados sorprendentes que tienen sentido en algún contexto teórico.
2. Aportar resultados de gran importancia teórica o práctica.
3. Las ideas planteadas son nuevas e interesantes y pueden aportar un nuevo enfoque para tratar un viejo problema.
4. La interpretación que se hace de los resultados es inequívoca.
5. Se consigue integrar en un marco nuevo y más simple resultados que antes implicaban un marco más complejo y farragoso.
6. Se desacreditan ideas anteriores que parecían incuestionables.
7. Se presentan investigaciones en la que hay un paradigma especialmente ingenioso o novedoso.
8. La investigación tiene suficiente validez interna debido a que se utiliza un diseño y una metodología adecuada.
9. La investigación tiene suficiente validez externa dado que los resultados y/o la teoría presentados son generalizables.
10. En las investigaciones se describe de forma suficiente el método y procedimiento para que otros investigadores puedan replicarlas.
11. Los resultados teóricos o prácticos tienen un alto grado de implementación.
12. En la investigación se aportan resultados teóricos o prácticos que son útiles a la sociedad.
13. Se especifica el tipo de estudio (metodología) de que se trata.
14. Se realiza una adecuada formulación e interpretación de las hipótesis.
15. En los estudios clínicos se utilizan técnicas y programas de tratamiento de eficacia/eficiencia contrastada.
16. Los instrumentos de evaluación utilizados tienen calidad y garantías científicas.
17. En los estudios de casos se siguen unas normas adecuadas para la presentación del caso.
18. En los estudios sobre construcción de instrumentos se sigue la metodología adecuada.
19. En los estudios sobre adaptación de instrumentos se sigue la metodología adecuada.
20. Se cumplen las normas y los principios deontológicos.
c) La elaboración de un índice de calidad. La construcción de un índice de calidad, independientemente del número de citas, es posible si se utilizan, por ejemplo, los criterios mencionados anteriormente. Cada evaluador debe seguir un manual de instrucciones. Un buen ejemplo son las normas propuestas por Bobenrieth (2002) para evaluar artículos originales en ciencias de la salud. Siguiendo las pautas y criterios del manual, los evaluadores evalúan cada uno de los artículos de la revista, otorgando puntuaciones según los criterios establecidos. De esta forma se consigue una puntuación de cada revista, promediando las puntuaciones de los distintos artículos y una puntuación final que es el promedio de las puntuaciones de los distintos evaluadores. El resultado se puede transformar en una escala única (de cero a cien o de cero a mil). Un sistema como este permitiría obtener los siguientes índices (Buela-Casal, 2003):
1. Índice de calidad para cada artículo.
2. Índices de calidad anual de cada revista.
3. Análisis de las variaciones intraanuales de los índices de calidad según los distintos números editados en el mismo año.
4. Análisis de las variaciones entre años de los índices de calidad según los distintos volúmenes editados por la revista en distintos años. Lo cual permite establecer índices de crecimiento o decremento de las revistas en función de la calidad.
5. Índices específicos para cada uno de los criterios establecidos en la revisión, por ejemplo: índice de validez externa/interna, índice de innovación, índice de implementación, índice de utilidad, etc.
6. Una comparación de la calidad entre revistas de un mismo área temática y entre revistas de distintas áreas dado que se usa la misma escala.
7. Una clasificación de las revistas según categorías relacionadas con los índices. Esto permite a los investigadores orientarse sobre que revistas son más adecuadas según su investigación: las que potencian la utilidad y/o implementación, las que priman la validez interna y/o externa, las que prefieren investigaciones innovadoras, etc.
8. Análisis de la relación entre índices de calidad e índices basados en citas (factor de impacto, factor de prestigio, etc.)
Por otra parte, los distintos índices de calidad no estarían afectados por el número se citas y por los factores que afectan al factor de impacto y al factor de prestigio, y por tanto no se confundiría calidad con difusión.
BIBLIOGRAFÍA
Bobenrieth, M. A. (2002). Normas para la revisión de artículos originales en ciencias de la salud. Revista Internacional de Psicología Clínica y de la Salud / International Journal of Clinical and Health Psychology, 2, 509-523.
Buela-Casal, G. (2001). La psicología española y su proyección internacional. El problema del criterio: internacional, calidad y castellano y/o inglés. Papeles del Psicólogo, 79, 53-57.
Buela-Casal, G. (2002). La evaluación de la investigación científica: el criterio de la opinión de la mayoría, el factor de impacto, el factor de prestigio y "Los Diez Mandamientos" para incrementar las citas. Análisis y Modificación de Conducta, 28, 455-475.
Buela-Casal, G. (2003). Evaluación de la calidad de los artículos y de las revistas científicas: Propuesta del factor impacto ponderado y de un índice de calidad. Psicothema, 15, (en prensa).
Buela-Casal, G., Carretero-Dios, H., De los Santos-Roig, M. (2002). Análisis comparativo de las revistas de Psicología en castellano con factor de impacto. Psicothema, 14, 837-852.
Díaz, M., Asensio, B., Llorente, G., Moreno, E., Montori, A., Palomares, F., Palomo, J., Pulido, F., Senar, J. C. y Tellería, J. L. (2001). El futuro de las revistas científicas españolas: un esfuerzo científico, social e institucional. Revista Española de Documentación Científica, 24, 306-314.
Echeburúa, E. (2002). El sistema de sexenios en la evaluación de la actividad investigadora en el ámbito de la psicología clínica: Una primera reflexión. Análisis y Modificación de Conducta, 28, 391-404.
Gil-Roales, J. y Luciano, M. C. (2002). A la calidad por the quantity (porque la cantidad no vale). Algunas reflexiones sobre los criterios de evaluación de la evaluación de la calidad de la investigación psicológica. Análisis y Modificación de Conducta, 28, 431-454.
Jiménez-Contreras, E., Faba, C. y Moya, A. (2001). El destino de las revistas científicas nacionales. El caso español a través de una muestra (1950-90). Revista Española de Documentación Científica, 24, 147-161.
Pelechano, V. (2000). Psicología sistemática de la personalidad. Barcelona: Ariel.
Pelechano, V. (2002). Valoración de la actividad científica en psicología? pseudoproblema, sociologismo o idealismo?. Análisis y Modificación de Conducta, 28, 323-362.
Pérez Álvarez, M. (2002). La psicología en el contexto de la cultura española. Análisis y Modificación de Conducta, 28, 405-430.
Polaino, A. (2002). Ciencia, política y política de la investigación. Análisis y Modificación de Conducta, 28, 363-390.
Sternberg, R. J. (1988). The psychologist`s. A guide to scientific writing for students and researchs. Nueva York: Cambridge University Press.
Sternberg, R. J. (1999). A propulsion model of types of creative contributions. Review of General Psychology, 3, 83-100.
ESPAÑOL
ENGLISH