La utilización de los expertos en la evaluación de las publicaciones periódicas primarias

Lic. Rubén Cañedo Andalia¹

1. Licenciado en Información Científico-Técnica y Bibliotecología. Departamento Recursos de Información. Centro Nacional de Información de Ciencias Médicas.

RESUMEN

La evaluación de expertos constituye una modalidad de estudio de la literatura científica de amplia utilización por parte de los selectores de publicaciones periódicas primarias en las instituciones de información. Sin embargo, la forma en que dichas evaluaciones se han realizado tradicionalmente, generan resultados que, en muchas ocasiones, poseen un carácter eminentemente subjetivo y, por lo tanto, resultan de dudosa validez para su aplicación en el contexto de la actividad científico informativa. Se aborda la evaluación de expertos, como herramienta de importancia vital para la actividad de selección de publicaciones científicas, con especial énfasis en las limitantes de su forma de realización tradicional. Por último, se propone una nueva metodología para su ejecución.

Descriptores: EVALUACION DE PUBLICACIONES; SISTEMAS DE EXPERTOS; SELECCION; PUBLICACIONES; METODOLOGIA

La evaluación de expertos es una modalidad de valoración de la literatura científica, ampliamente utilizada por los especialistas en información, mediante la que se solicita a los primeros una relación o enumeración de los títulos considerados por ellos de mayor calidad, utilidad o significación para la realización de su trabajo.

La importancia de este tipo de evaluación radica en que permite determinar el valor real de las distintas fuentes de información disponibles para los especialistas de una materia en una comunidad específica, así como contextualizar las valoraciones potenciales realizadas por los expertos en información, siguiendo criterios generales tales como los índices de citación, de solapamiento y otros.

Ahora bien, el comportamiento de los expertos resulta a menudo incompetente, porque éstos ignoran importantes avances en el conocimiento de sus respectivas áreas del saber1 como consecuencia de la falta de una metodología y de una acción sistemática para la extracción efectiva del entorno informacional de aquellos avances validados correctamente de utilidad directa a la actividad del especialista.2

A pesar de que las publicaciones periódicas son la vía de difusión mas rápida de los nuevos conocimientos3 y de que la lectura de revistas es la forma mas popular de informarse en términos de preferencia, frecuencia de utilización y tiempo que se le dedica,4 el gran volumen, la dudosa validez y la probable inutilidad de muchos trabajos convierte en poco razonable el intento de leerlas todas.

Actualmente existen cerca de 40 000 revistas biomédicas5,6 y se publican alrededor de cuatro millones de trabajos,2,6 es decir, más de 75 000 semanales. Su revisión haría necesario leer alrededor de 25 000 artículos en cada una de las tres horas que manifiestan los médicos disponer para la lectura semanalmente.2

La carencia de un diseño de investigación adecuado de gran parte de los trabajos científicos, la existencia de distintos sesgos que afectan al proceso de investigación y publicación, las deficiencias del sistema de arbitraje y de las políticas editoriales de las revistas, provocan que sólo un reducido número de publicaciones contribuya al progreso de la ciencia y al ejercicio de la práctica profesional.7 El número de trabajos científicos de alta calidad se duplica cada 20 años, tiempo en el que el total de trabajos se cuatriplica.6

A su vez, el carácter preliminar de muchos de los resultados publicados, insuficientes para justificar la acción; la estrechez de perspectiva de los trabajos; la ausencia de los elementos metodológicos necesarios para determinar su validez científica; su falta de relevancia para las cuestiones propias de la actividad del lector;2,5,7 la redundancia de la información; así como la carencia de suficiente similitud con el objeto, objetivos, lugar, condiciones y recursos empleados por el investigador;2,5 unido a la forma incorrecta de abordar la literatura científica que utilizan la mayor parte de los especialistas de cualquier rama del conocimiento, aun cuando se han publicado metodologías efectivas para su realización;2 imponen la necesidad de desarrollar una vía eficaz de evaluación de la literatura científica.

El presente trabajo se propone, a partir de la identificación de las principales limitantes que presentan las evaluaciones de expertos, proponer una metodología para su realización y para superar las deficiencias fundamentales de este tipo de estudio.

PRINCIPALES LIMITACIONES DE LAS EVALUACIONES DE EXPERTOS

• Tendencia de los expertos a evaluar la validez de los resultados de los trabajos científicos contra su propia experiencia.

En un estudio realizado con 432 médicos prácticos y 88 líderes de sociedades científicas y otros organismos, se obtuvo que el 90 % de éstos determinaban la validez de los trabajos que revisaban mediante la comparación de los resultados contra su propia experiencia. Solo el 30 % de los médicos prácticos y el 60 % de los líderes examinaban los métodos y técnicas utilizadas en el estudio.8

Estos datos indican cuan poco seguros están los médicos de la validez científica de los resultados de los trabajos que consultan, si se conoce que la confiabilidad de estos últimos depende en su totalidad de la metodología aplicada, así como de la carencia, entre muchos especialistas, de los medios y métodos adecuados para validar y obtener información probada de las innovaciones en los campos médicos.

• Propensión de las publicaciones a obtener un prestigio ante los expertos, que persevera en detrimento de su mérito científico.

Las revistas reconocidas tradicionalmente pueden desplazar, según la evaluación de los expertos, a las revistas nuevas en términos de prestigio, aunque en términos profesionales éstas publiquen artículos más importantes.9

• Falta de sistematicidad de los especialistas en la búsqueda de nuevas publicaciones de valor en su disciplina. Esta se manifiesta en la carencia de una metodología y acción sistemática para el estudio del rendimiento real de las publicaciones para la satisfacción de sus necesidades; conformismo; ley del menor esfuerzo; empirismo.

La valoración objetiva de las publicaciones periódicas y la selección efectiva de los trabajos científicos, requiere de una metodología adecuada para su realización y de una disciplina por parte de los expertos.2

Esta acción comienza por escoger aquellos materiales con suficientes elementos para determinar la credibilidad de los resultados expuestos. Los artículos originales son los más adecuados para conocer los avances en el campo de acción del especialista o solucionar cuestiones específicas de su actividad, al posibilitar el examen de los métodos empleados para realizar la investigación. El análisis de éstos comprende la determinación de la utilidad y calidad de cada trabajo, así como el registro del rendimiento de cada publicación.

La evaluación de calidad abarca tanto la evaluación metodológica -para determinar si existe un soporte moderadamente fuerte como para fundamentar las inferencias- como de contenido y presentación.

• Combinación indeterminada de los productos de los procesos cognitivos (percepción, pensamiento) afectivos (emociones, sentimientos) y pulsacionales (necesidades, motivos) o de la actividad en los juicios de valor que emiten los individuos (Cañedo Andalia R, Acosta Alegre M. Los expertos y los especialistas en información en la evaluación de las publicaciones periódicas primarias en el sector biomédico. Principales vías y formas para su realización. [Informe de investigación]. Ciudad de La Habana: Centro Nacional de Información de Ciencias Médicas, 1993).

Describir, comprender y predecir el comportamiento de los usuarios en cuanto al consumo de productos y servicios, permite a la institución de información elevar la calidad de su trabajo. Ahora bien, la explicación de las actitudes del individuo, incluidas las de consumo, depende, en gran medida, del estudio de los mecanismos de evaluación de los sujetos.

El juicio humano como resultado intrínseco de la actividad espiritual del individuo, constituye un producto indescifrable de la acción de los distintos procesos psicológicos propios del ser humano en la mayoría de las ocasiones y, por lo tanto, de escaso valor para el trabajo de las instituciones de información.10

• Utilización de factores de pronóstico auxiliares en sustitución de las evaluaciones de calidad científica como medio fácil de orientación y respuesta al crecimiento de la literatura científica.

Constituyen factores de pronóstico en la evaluación de trabajos científicos aquellas variables ajenas al diseño de la investigación, que se utilizan para predecir la calidad y utilidad de dichos trabajos. Los más comunes son: autores, instituciones, editoriales, países, título de la publicación, así como el carácter positivo o negativo de los resultados.11

A modo de ilustración, se puede decir que los estudios realizados han demostrado que el 80% de las publicaciones metodológicamente inadecuadas reclamaron resultados positivos, en comparación con el 25% de las publicaciones metodológicamente adecuadas.12 De igual forma, el hecho simple de que un informe se publique en una revista prestigiosa, no es garantía de su calidad.6

METODOLOGÍA PARA REDUCIR LAS LIMITACIONES DE LAS EVALUACIONES DE EXPERTOS

Identificación de las disciplinas o actividades en las que se enmarcará la evaluación, según las prioridades de la institución y selección de una muestra representativa de todas las disciplinas y cada una de las actividades en las que se realizará la evaluación

En esta etapa se debe velar porque todos los segmentos de la comunidad de usuarios de la institución se encuentren proporcionalmente representados de acuerdo con las prioridades que ostentan para su atención.

En el sector médico, se dividen con frecuencia los mercados según categoría de la especialidad -básica, clínica, etcétera-; la especialidad -endocrinología, cardiología, etcétera- y la actividad esencial -asistencia, docencia, investigación, dirección- que realizan los usuarios. Para la segmentación de la comunidad de usuarios, la institución puede utilizar cuantos criterios entienda convenientes. Excepto en presencia de muestreo intencional, no se seleccionarán personalidades e instituciones líderes en -representación- de los demás miembros de un grupo o categoría de usuarios.

Establecimiento de una guía o modelo de evaluación, en la que se defina la calidad y la utilidad, preferentemente según indicadores de presencia-ausencia, reglas de decisión y escalas de puntuación

Como se expresó anteriormente, los juicios humanos son un producto de la actividad psicológica propia del individuo. Se impone, entonces, descubrir las variables, los valores y su significación para los especialistas que realicen la evaluación. En tal sentido, resulta de gran utilidad la creación de un algoritmo-guía para la evaluación, en el que los expertos constaten sólo la existencia de determinados elementos considerados como inherentes al tipo de trabajo que valoran. Cuantos más requisitos cumpla un trabajo, mayor número de puntos acumulará en su evaluación.

Existen distintas normas publicadas para evaluar los diferentes tipos de trabajos científicos, propuestas por organizaciones de prestigio internacional.5 Éstas pueden utilizarse para elaborar normas particulares adecuadas al contexto de los especialistas que atiende la institución de información. Por ejemplo, si se considera el valor de un trabajo que proponga la utilización de una nueva prueba diagnóstica, el primer indicador a constatar será:

¿Se realizó una comparación independiente y a ciegas con la prueba de oro de diagnóstico de esa enfermedad ?

Este indicador presenta cuatro subindicadores:

- Número de pacientes verdaderos-positivos.
- Número de pacientes falsos-negativos.
- Número de pacientes falsos-positivos.
- Número de pacientes verdaderos-negativos.13 Igualmente ocurre con el análisis de utilidad. Éste, como se planteó anteriormente, contempla la determinación del grado de similitud existente entre el contexto en que se realizó la investigación y en el que el lector pretende introducir sus resultados. Por ejemplo, en el orden médico, la diferencia de nivel entre las instituciones generadoras y consumidoras en cuanto a los recursos tecnológicos, condiciones de trabajo, tipo de pacientes, experiencia profesional y otras, imposibilitan la utilización de los resultados de los trabajos.

Esta forma de realización de las evaluaciones, elimina gran parte de la subjetividad en dichas valoraciones, al revelar los criterios y procedimientos para su ejecución y reducir al mínimo las apreciaciones de los expertos.

Selección de una muestra representativa de publicaciones y trabajos para su valoración

La selección inicial de los trabajos potencialmente útiles, puede realizarse mediante la ejecución de un conjunto de búsquedas bibliográficas en la base de datos de mayor exhaustividad en el cubrimiento de la literatura de la especialidad, preferentemente en régimen de diseminación selectiva de la información.14

El total de trabajos obtenidos y los recursos de los que dispone la institución para realizar la investigación, determinarán la utilización de muestras o la revisión de todos los materiales recuperados. Este proceder preestablece que las estrategias de búsqueda representan las exigencias de contenido, estructura y condiciones en que se produce la actividad que genera las necesidades, así como las características psico-socio-culturales de los que las experimentan.

Eliminación de los factoresde pronóstico en los trabajos a evaluar. Evaluación independiente y a ciegas

Como ya se apuntó, a menudo los expertos, carentes de una metodología y un conocimiento adecuado, además de presionados por la propia necesidad de hallar rápidamente los trabajos que necesitan, se auxilian de elementos externos al diseño de la investigación para seleccionar los materiales que consultarán.

Sin embargo, las valoraciones producidas de esta manera, poseen un valor sumamente limitado y su utilización conduce con frecuencia a costosos errores que trascienden, en muchas ocasiones, mas allá de los propios consumidores, como es el caso de la actividad médica asistencial. De ahí la importancia de que los especialistas evalúen los aspectos de los trabajos que corresponden a su esfera del conocimiento y no aquellos que son objeto de estudio de otras áreas del saber como son, por ejemplo, productividad, índice de citación, etcétera.

Para ilustrar el nivel de conocimiento de los expertos acerca del mundo de las publicaciones, se mostrarán a continuación los resultados principales de una investigación realizada en el Instituto de Ciencias Básicas y Preclínicas "Victoria de Girón", que utilizó la evaluación independiente y a ciegas, en la que se obtuvo que:

• De un total de 1 057 títulos de publicaciones periódicas relevantes a los temas de investigación del conjunto de expertos estudiados, sólo 162 (15,33 %) se identificaron por éstos.
• Las revistas conocidas por los expertos aportaron solo el 28,40 % del total de citas relevantes recuperadas.
• El índice general de pertinencia que alcanzaron las publicaciones conocidas por los especialistas, resultó ser del 20,37 % (una de cada cinco referencias recuperadas), mientras que en los títulos desconocidos dicho índice alcanzó el 56,87 % (más del doble del que alcanzaron las revistas conocidas).
• De las 1 237 citas relevantes, sólo el 6,47 % pertenecieron a las revistas conocidas. De las 80 citas relevantes en este grupo de 46 revistas, el 57,50% resultó pertinente, mientras que, en el conjunto de publicaciones desconocidas de las 1 157 citas relevantes recuperadas, fueron pertinentes 592 (51,17 %), proporción que resulta ligeramente menor que la hallada en el grupo de las revistas conocidas por los expertos (Cañedo Andalia R, Musulí Hernández M. Determinación del grado de conocimientos sobre fuentes de información que poseen los especialistas del ICBP "Victoria de Girón" y su relación con el nivel profesional. [Informe de investigación]. Ciudad de La Habana: Centro Nacional de Información de Ciencias Médicas, 1992).

Obtención del juicio de los expertos y de los valores de calidad y utilidad promedio de cada publicación. Determinación de su nivel de acuerdo

La participación de múltiples especialistas en la evaluación, exige el hallazgo de valores promedio de utilidad y calidad de cada trabajo y publicación, así como la determinación de su nivel de acuerdo.

El nivel de acuerdo o consistencia de la evaluación es el grado de semejanza que existe entre los juicios que se emiten en forma independiente y a ciegas por los diferentes especialistas que participaron en la valoración de un mismo trabajo o publicación.11

Establecimiento de la relación utilidad-calidad/precio de cada publicación mediante la determinación de su coeficiente de valoración 

Coeficiente          Factor de corrección x Utilidad) + Calidad
de           =       --------------------------------------------
valoración            Precio de la publicación

El factor de corrección es un valor opcional entero -generalmente 2 ó 3- que se multiplica por la utilidad de la publicación con el objetivo de ponderar dicho índice por encima del de calidad.

Los valores generales de utilidad y calidad son el resultado de la sumatoria de los valores particulares, que aportan a la evaluación la presencia de distintos parámetros en los trabajos considerados, los cuales se toman como indicadores de la utilidad y calidad de la publicación y se expresan en puntos.

El precio de la publicación es el importe de una suscripción anual que incluye, tanto sus gastos de producción como de distribución. Antes de realizar esta división es necesario convertir los precios de todas las publicaciones a una misma moneda.

CONSIDERACIONES FINALES

La utilización de dos métodos de selección de publicaciones como el propuesto por M. Bonitz,14 para escoger inicialmente los trabajos potencialmente útiles, y el de evaluación de expertos de R. B. Haynes,2 permite un filtraje superior de los trabajos que se evalúan. A este método, se le denominó Filtro II o Método Bonitz-Haynes.

El análisis de la utilidad, la calidad y los costos de las publicaciones según su rendimiento, proporciona una potente estrategia institucional para enfrentar la evaluación, selección y adquisición de las publicaciones científicas.

Las ideas expuestas en este trabajo resultan válidas para la utilización de los expertos, tanto en la evaluación de cualquier entidad o proceso científico, como de los distintos productos o servicios que ofrecen las instituciones de información.

ABSTRACT

Using Experts in the Assessment of Primary Serial Publications

The assessment by experts constitutes a study modality of the scientific literature with a broad use by the selectors of primary serial publications at the information institutes. However, the way in which such assessments have been carried out traditionally generates results that, in many occassions, have a predominantly subjective character and therefore are of doubtful validity for its application in the context of information scientific activity. The assessment by experts is analyzed as a tool of vital importance for the selecting activity of scientific publications with special emphasis on the limitative elements in its way of traditional fulfiment. Finally, it is proposed a new methodology for its carrying out.

Subject headings: PUBLISHING EVALUATION; EXPERTS SYSTEMS; SELECTION; PUBLICATIONS; METHODOLOGY

REFERENCIAS BIBLIOGRÁFICAS

1. Stross JK, Harlan WR. The dissemination of new medical information. JAMA 1979;241:2622-4.
2. Haynes RB, Mckibon KA, Fitzgerald D, Guyatt GH, Walker CJ, Sackett DL. How to keep up with the medical literature: II. Deciding which journals to read regularly. Ann Intern Med 1986,105:309-12.
3. Grogan D. Science and technology. An introduction to the literature. La Habana: Universidad de La Habana, 1973:108-33.
4. Haynes RB, Mckibon KA, Fitzgerald D, Guyatt GH, Walker CJ, Sackett DL. How to keep up with the medical literature: I. Why try to keep up and how to get started. Ann Intern Med 1986;105:149-53.
5. Mcmaster University. Health Sciences Centre. Department of Clinical Epidemiology and Biostatistics. How to reed clinical journals: I. Why to read them and how to start reading them critically. Can Med Assoc J 1981;124:555-8.
6. Solla Price DJ de. Hacia una ciencia de la ciencia. Barcelona: Ariel, 1973:33-69.
7. Benach de Rovira J, Tapia Granados JA. Mitos o realidades: a propósito de la publicación de trabajos científicos. Mundo Científico 1995;15(154):124-30.
8. Williamson JW, German PS, Weiss R, Skinner EA, Bowes F. Health science information management and continuing education of physicians. Ann Intern Med 1989;110:151-60.
9. Garfield E. Prestige versus impact: established images of journals, like institutions, are resistant to change. Current Contents 1987;15(38):3-4.
10. Swanson RW. Performing evaluation studies in information sciences. JASIS 1979;26(3):58-65.
11. Oxman AD, Guyatt GH. Guideliness for reading litearature reviews. Can Med Asoc J 1988;138:697-703.
12. Williamson JW, Goldschmidt PG, Colton T. The quality of medical literature: an analysis of validation assessments. En: Bailar III JC, Mosteller F. Medical uses of statistics. Waltham: NEJM Books,1986:383.
13. Mcmaster University. Health Sciences Centre. Department of Clinical Epidemiology and Biostatistics. How to read clinical journals: II. To learn about a diagnostic test. Can Med Assoc J 1981;124:703-10.
14. Bonitz M. Journals ranking by selective impacts. New methods on SDI results and journals impact factors. Scientometrics 1985;13:471-85.

Recibido: 28 de mayo de 1998.
Aprobado: 11 de junio de 1998. Lic. Rubén Cañedo Andalia. Centro Nacional de Información de Ciencias Médicas. Calle E No. 454 e/ 19 y 21. El vedado. Ciudad de la Habana, Cuba. CP 10400.