Descriptores: EVALUACION DE PUBLICACIONES; SISTEMAS DE EXPERTOS; SELECCION; PUBLICACIONES; METODOLOGIA
La evaluación de expertos es una modalidad de valoración de la literatura científica, ampliamente utilizada por los especialistas en información, mediante la que se solicita a los primeros una relación o enumeración de los títulos considerados por ellos de mayor calidad, utilidad o significación para la realización de su trabajo.
La importancia de este tipo de evaluación radica en que permite determinar el valor real de las distintas fuentes de información disponibles para los especialistas de una materia en una comunidad específica, así como contextualizar las valoraciones potenciales realizadas por los expertos en información, siguiendo criterios generales tales como los índices de citación, de solapamiento y otros.
Ahora bien, el comportamiento de los expertos resulta a menudo incompetente, porque éstos ignoran importantes avances en el conocimiento de sus respectivas áreas del saber1 como consecuencia de la falta de una metodología y de una acción sistemática para la extracción efectiva del entorno informacional de aquellos avances validados correctamente de utilidad directa a la actividad del especialista.2
A pesar de que las publicaciones periódicas son la vía de difusión mas rápida de los nuevos conocimientos3 y de que la lectura de revistas es la forma mas popular de informarse en términos de preferencia, frecuencia de utilización y tiempo que se le dedica,4 el gran volumen, la dudosa validez y la probable inutilidad de muchos trabajos convierte en poco razonable el intento de leerlas todas.
Actualmente existen cerca de 40 000 revistas biomédicas5,6 y se publican alrededor de cuatro millones de trabajos,2,6 es decir, más de 75 000 semanales. Su revisión haría necesario leer alrededor de 25 000 artículos en cada una de las tres horas que manifiestan los médicos disponer para la lectura semanalmente.2
La carencia de un diseño de investigación adecuado de gran parte de los trabajos científicos, la existencia de distintos sesgos que afectan al proceso de investigación y publicación, las deficiencias del sistema de arbitraje y de las políticas editoriales de las revistas, provocan que sólo un reducido número de publicaciones contribuya al progreso de la ciencia y al ejercicio de la práctica profesional.7 El número de trabajos científicos de alta calidad se duplica cada 20 años, tiempo en el que el total de trabajos se cuatriplica.6 ]]>
A su vez, el carácter preliminar de muchos de los resultados publicados, insuficientes para justificar la acción; la estrechez de perspectiva de los trabajos; la ausencia de los elementos metodológicos necesarios para determinar su validez científica; su falta de relevancia para las cuestiones propias de la actividad del lector;2,5,7 la redundancia de la información; así como la carencia de suficiente similitud con el objeto, objetivos, lugar, condiciones y recursos empleados por el investigador;2,5 unido a la forma incorrecta de abordar la literatura científica que utilizan la mayor parte de los especialistas de cualquier rama del conocimiento, aun cuando se han publicado metodologías efectivas para su realización;2 imponen la necesidad de desarrollar una vía eficaz de evaluación de la literatura científica.El presente trabajo se propone, a partir de la identificación de las principales limitantes que presentan las evaluaciones de expertos, proponer una metodología para su realización y para superar las deficiencias fundamentales de este tipo de estudio.
Estos datos indican cuan poco seguros están los médicos de la validez científica de los resultados de los trabajos que consultan, si se conoce que la confiabilidad de estos últimos depende en su totalidad de la metodología aplicada, así como de la carencia, entre muchos especialistas, de los medios y métodos adecuados para validar y obtener información probada de las innovaciones en los campos médicos.
Esta acción comienza por escoger aquellos materiales con suficientes elementos para determinar la credibilidad de los resultados expuestos. Los artículos originales son los más adecuados para conocer los avances en el campo de acción del especialista o solucionar cuestiones específicas de su actividad, al posibilitar el examen de los métodos empleados para realizar la investigación. El análisis de éstos comprende la determinación de la utilidad y calidad de cada trabajo, así como el registro del rendimiento de cada publicación. ]]>
La evaluación de calidad abarca tanto la evaluación metodológica -para determinar si existe un soporte moderadamente fuerte como para fundamentar las inferencias- como de contenido y presentación.El juicio humano como resultado intrínseco de la actividad espiritual del individuo, constituye un producto indescifrable de la acción de los distintos procesos psicológicos propios del ser humano en la mayoría de las ocasiones y, por lo tanto, de escaso valor para el trabajo de las instituciones de información.10
A modo de ilustración, se puede decir que los estudios realizados han demostrado que el 80% de las publicaciones metodológicamente inadecuadas reclamaron resultados positivos, en comparación con el 25% de las publicaciones metodológicamente adecuadas.12 De igual forma, el hecho simple de que un informe se publique en una revista prestigiosa, no es garantía de su calidad.6
En esta etapa se debe velar porque todos los segmentos de la comunidad de usuarios de la institución se encuentren proporcionalmente representados de acuerdo con las prioridades que ostentan para su atención.
En el sector médico, se dividen con frecuencia los mercados según categoría de la especialidad -básica, clínica, etcétera-; la especialidad -endocrinología, cardiología, etcétera- y la actividad esencial -asistencia, docencia, investigación, dirección- que realizan los usuarios. Para la segmentación de la comunidad de usuarios, la institución puede utilizar cuantos criterios entienda convenientes. Excepto en presencia de muestreo intencional, no se seleccionarán personalidades e instituciones líderes en -representación- de los demás miembros de un grupo o categoría de usuarios.
Establecimiento de una guía o modelo de evaluación, en la que se defina la calidad y la utilidad, preferentemente según indicadores de presencia-ausencia, reglas de decisión y escalas de puntuación ]]>
Como se expresó anteriormente, los juicios humanos son un producto de la actividad psicológica propia del individuo. Se impone, entonces, descubrir las variables, los valores y su significación para los especialistas que realicen la evaluación. En tal sentido, resulta de gran utilidad la creación de un algoritmo-guía para la evaluación, en el que los expertos constaten sólo la existencia de determinados elementos considerados como inherentes al tipo de trabajo que valoran. Cuantos más requisitos cumpla un trabajo, mayor número de puntos acumulará en su evaluación.Existen distintas normas publicadas para evaluar los diferentes tipos de trabajos científicos, propuestas por organizaciones de prestigio internacional.5 Éstas pueden utilizarse para elaborar normas particulares adecuadas al contexto de los especialistas que atiende la institución de información. Por ejemplo, si se considera el valor de un trabajo que proponga la utilización de una nueva prueba diagnóstica, el primer indicador a constatar será:
¿Se realizó una comparación independiente y a ciegas con la prueba de oro de diagnóstico de esa enfermedad ?
Este indicador presenta cuatro subindicadores:
Esta forma de realización de las evaluaciones, elimina gran parte de la subjetividad en dichas valoraciones, al revelar los criterios y procedimientos para su ejecución y reducir al mínimo las apreciaciones de los expertos.
El total de trabajos obtenidos y los recursos de los que dispone la institución para realizar la investigación, determinarán la utilización de muestras o la revisión de todos los materiales recuperados. Este proceder preestablece que las estrategias de búsqueda representan las exigencias de contenido, estructura y condiciones en que se produce la actividad que genera las necesidades, así como las características psico-socio-culturales de los que las experimentan.
Sin embargo, las valoraciones producidas de esta manera, poseen un valor sumamente limitado y su utilización conduce con frecuencia a costosos errores que trascienden, en muchas ocasiones, mas allá de los propios consumidores, como es el caso de la actividad médica asistencial. De ahí la importancia de que los especialistas evalúen los aspectos de los trabajos que corresponden a su esfera del conocimiento y no aquellos que son objeto de estudio de otras áreas del saber como son, por ejemplo, productividad, índice de citación, etcétera. ]]>
Para ilustrar el nivel de conocimiento de los expertos acerca del mundo de las publicaciones, se mostrarán a continuación los resultados principales de una investigación realizada en el Instituto de Ciencias Básicas y Preclínicas "Victoria de Girón", que utilizó la evaluación independiente y a ciegas, en la que se obtuvo que:El nivel de acuerdo o consistencia de la evaluación es el grado de semejanza que existe entre los juicios que se emiten en forma independiente y a ciegas por los diferentes especialistas que participaron en la valoración de un mismo trabajo o publicación.11
Los valores generales de utilidad y calidad son el resultado de la sumatoria de los valores particulares, que aportan a la evaluación la presencia de distintos parámetros en los trabajos considerados, los cuales se toman como indicadores de la utilidad y calidad de la publicación y se expresan en puntos.
El precio de la publicación es el importe de una suscripción anual que incluye, tanto sus gastos de producción como de distribución. Antes de realizar esta división es necesario convertir los precios de todas las publicaciones a una misma moneda.
El análisis de la utilidad, la calidad y los costos de las publicaciones según su rendimiento, proporciona una potente estrategia institucional para enfrentar la evaluación, selección y adquisición de las publicaciones científicas.
Las ideas expuestas en este trabajo resultan válidas para la utilización de los expertos, tanto en la evaluación de cualquier entidad o proceso científico, como de los distintos productos o servicios que ofrecen las instituciones de información.
The assessment by experts constitutes a study modality of the scientific literature with a broad use by the selectors of primary serial publications at the information institutes. However, the way in which such assessments have been carried out traditionally generates results that, in many occassions, have a predominantly subjective character and therefore are of doubtful validity for its application in the context of information scientific activity. The assessment by experts is analyzed as a tool of vital importance for the selecting activity of scientific publications with special emphasis on the limitative elements in its way of traditional fulfiment. Finally, it is proposed a new methodology for its carrying out.
Subject headings: PUBLISHING EVALUATION; EXPERTS SYSTEMS; SELECTION; PUBLICATIONS; METHODOLOGY