Página del Editor

Algunas precisiones necesarias en torno al uso del factor de impacto como herramienta de evaluación científica

Lic. Rubén Cañedo Andalia,1 Dr. Mario Nodarse Rodríguez,2 Dr. Julio C. Guerrero Pupo3 y Dr. Raúl E. Ramos Ochoa4

Resumen

Con el objetivo de realizar un grupo de precisiones entorno al uso del factor de impacto como herramienta de evaluación académica, tanto de la literatura como de los especialistas, se estudió la importancia de las referencias bibliográficas en el trabajo científico, algunos factores que influyen en los índices de citación de los artículos, así como el factor de impacto: sus principales limitaciones y su empleo en la evaluación del quehacer académico. Finalmente, se ofrecen algunos consejos para obtener una publicación visible.

Palabras clave: Citas bibliográficas, índice de citación, factor de impacto, evaluación académica.

Abstract

In order to determine the use of the impact factor as a tool of academic evaluation, both of literature and specialists, the importance of the bibliographical references in the scientific work, some factors that influence in the citation indices of articles, as well as the factor of impact, its main limitations and its use in the evaluation of the academic work are studied. Finally, some advices are given to obtain a visible publication.

Key words: Bibliographic citations, citation index, impact factor, academic evaluation.

Copyright: © ECIMED. Contribución de acceso abierto, distribuida bajo los términos de la Licencia Creative Commons Reconocimiento-No Comercial-Compartir Igual 2.0, que permite consultar, reproducir, distribuir, comunicar públicamente y utilizar los resultados del trabajo en la práctica, así como todos sus derivados, sin propósitos comerciales y con licencia idéntica, siempre que se cite adecuadamente el autor o los autores y su fuente original.

Cita (Vancouver): Cañedo Andalia R, Nodarse Rodríguez M, Ramos Ochoa RE, Guerrero Pupo JC. Algunas precisiones necesarias en torno al uso del factor de impacto como herramienta de evaluación científica. Acimed 2005;13(5). Disponible en: http://bvs.sld.cu/revistas/aci/vol13_5_05/aci01505.htm Consultado: día/mes/año.

Desde hace algún tiempo y, cada vez, con mayor frecuencia, se escucha hablar genéricamente y, muchas veces, sin el conocimiento adecuado sobre términos propios de las disciplinas métricas de la información y que manejados popularmente, han adquirido significaciones indistintas e imprecisas; así, por ejemplo, se oye sobre autores que publican o que no tienen publicaciones en revistas con un alto factor de impacto, lectores que desean saber cuáles son las revistas núcleos en un tema, entre otras cuestiones similares.

Derivado del interés de los autores y de las propias autoridades académicas, estimulado por la necesidad de mejorar los mecanismos de evaluación del quehacer científico y catalizado por un movimiento de recalificación constante de los recursos humanos, derivado del nacimiento de una sociedad del aprendizaje, el tema de la cantidad y la calidad científica de las publicaciones ha cobrado renovado interés.

Así, son muchos los autores novatos que incursionan en el mundo de la publicación, junto a otros, experimentados, todos en busca de una mayor visibilidad para los resultados de sus respectivos trabajos y experiencias. Y ciertamente, si "publicar o perecer" es una máxima que describe la importancia de este proceso como etapa de cierre del ciclo de la investigación científica, es aún más importante para un buen cierre, publicar en aquellas fuentes donde los resultados sean, en toda la extensión posible, visibles y accesibles. Si una publicación se realiza en una revista con una visibilidad y accesibilidad escasa es muy probable que todo el esfuerzo anterior se pierda.

Es precisamente en esta búsqueda donde, entre varios tópicos, ha nacido un interés especial por el factor de impacto y otros conceptos propios de las disciplinas métricas de la información, en particular de la informetría, como herramienta para seleccionar las publicaciones más apropiadas para difundir con el mayor éxito posible los resultados de la actividad científica de los individuos, las organizaciones y los países en general.

Antes de comenzar, hagamos una aclaración sobre una diferencia sutil pero importante: una referencia bibliográfica es el reconocimiento que realiza el autor de un trabajo al autor de otro útil en alguna forma al desarrollo del suyo; una cita bibliográfica es el reconocimiento que recibe el autor de un trabajo por parte de otro autor.

Pero bien, ¿cuál es la importancia y las funciones de las referencias bibliográficas empleadas en la realización de un trabajo científico?

Las referencias bibliográficas y el trabajo científico

El entorno informacional influye significativamente en el proceso de investigación y condiciona sus principales etapas. Dicho entorno comprende al conjunto de fuentes de información con los que se relaciona el autor de un trabajo a la luz de sus objetivos, fines y metas. La consulta de la literatura posibilita a los investigadores determinar nuevos problemas o problemas sin resolver, relaciones de interés entre distintas variables -hipótesis-, métodos más frecuentes empleados para realizar estudios similares, así como comparar los resultados hallados en trabajos similares.1

Una revisión bibliográfica exhaustiva, imparcial, representativa y actualizada, realizada, a partir de estrategias de búsqueda bien conformadas, en las bases de datos apropiadas y con criterios objetivos para la valoración y selección de los trabajos que se emplearán en la elaboración de uno nuevo es una condición esencial y garantía previa de la calidad de sus resultados.

Ahora bien, la intensidad del empleo de una publicación -su citación- proporciona una medida razonable de su utilidad. Puede considerarse el uso de un trabajo a partir de las citas que de éste hacen otros.2

Si se reconoce que los autores se refieren a materiales previos para soportar o elaborar sobre un punto en particular, el acto de citar se considera teóricamente una expresión de la importancia que se atribuye al material indicado. En general, cuando un investigador cita una publicación, reconoce que ella influyó de alguna manera sobre su trabajo. Cuanto más frecuente se cita un documento, más a menudo la comunidad científica reconoce su influencia o impacto.3

Sin embargo, el acto de citar propiamente dicho es una función de muchas variables y las citas, en general, pueden estar motivadas por razones diversas.

Entre las variables que influyen en el índice de citación de un trabajo se encuentran su visibilidad, accesibilidad, circulación, reputación o prestigio científico, etcétera. Dichas variables, a su vez, son el resultado de la acción de otras, por ejemplo, la visibilidad es el producto del cubrimiento por grandes bases de datos generales o especializadas, la presencia en grandes repositorios de información y en bibliotecas tradicionales o virtuales con un alto número de visitas, el tamaño de la tirada de la versión impresa, entre otras no menos importantes.

Aunque existen evidencias concretas de que la mayor cantidad de citas a los trabajos son motivadas profesionalmente y no por razones alejadas de la práctica científica honesta, a menudo, una cita o una "no cita" es el resultado de la acción de múltiples factores cuya influencia es prácticamente imposible de determinar.

Algunos factores que influyen en el índice de citación de una publicación seriada

Entre los factores que influyen en el índice de citación de una revista, se encuentran:1,4,5

- La visibilidad, accesibilidad y disponibilidad de la revista

Es un factor decisivo. La visibilidad de un trabajo es un factor determinante en el proceso de citación. Un trabajo que no se encuentra visible, accesible y disponible no puede considerarse, evaluarse o utilizarse en la realización de otro. Una variable importante en este sentido es la posibilidad de acceder libremente al texto completo de la contribución.

En este sentido, el movimiento actual pro acceso abierto en el campo de las publicaciones científicas ha colisionado poderosamente el modelo tradicional de edición en la esfera de la ciencia. La fuerza de la colisión está produciendo un cambio dramático en el terreno de las publicaciones que comprende el incremento del apoyo de las agencias de financiamiento al modelo de publicación de acceso libre a las contribuciones y los archivos institucionales, la disponibilidad mayor de artículos con acceso libre y alternativas a los modelos de suscripción establecidos y la creación de nuevas revistas de acceso abierto.

- Distinto número de artículos que presentan descubrimientos científicos originales.

Los artículos originales y de revisión son las clases de trabajos más citados.

- Diferente número de investigaciones básicas y clínicas

La aplicabilidad de las investigaciones básicas no está limitada como la de las investigaciones clínicas. Las políticas económica y de salud, así como los factores geográficos, entre otros, condicionan en cierta medida la variedad de problemas de salud que se presentan en determinados países y regiones; estas son algunas de las razones por las cuales las investigaciones clínicas poseen un contexto estrecho de aplicación.

- La internacionalidad de la revista

Se relaciona con la segunda condición. Está determinada por el carácter de sus artículos, así como por sus posibilidades de aplicación en distintos puntos geográficos.

- La longitud de los artículos

Los artículos más extensos atraen mayor cantidad de citas porque ofrecen más material citable, metodologías más detalladas, conclusiones más abarcadoras, etc. A su vez, las cartas que presentan descubrimientos originales se citan con gran frecuencia y sistematicidad.

- La longitud y el propósito de las cartas

La extensión y los objetivos (críticas, estudios de casos, iniciativas y otros) influyen en la mayor o menor citación de la carta, que por otra parte, pueden generar también citas negativas, muchas veces, por el carácter incipiente de su tema.
Los factores referidos son sólo algunos de los que influyen en el índice de citación o el impacto que alcanza una entidad científica en su actividad.

El Science Citation Index, el Journal Citation Reports y el factor de impacto

Antes de abordar las cuestiones propiamente relacionadas con el factor de impacto es necesario conocer primero qué es el Sciente Citation Index (SCI) y el Journal Citation Reports (JCR)

Science Citation Index- SciSearch

Producida por el Instituto para la Información Científica (ISI, por sus siglas en inglés) de los Estados Unidos, es una base de datos multidisciplinaria en el campo de la ciencia y la tecnología. Cubre unas 3 700 publicaciones seriadas líderes en más de 100 disciplinas. Su versión en línea, denominada SciSearch, procesa unas 5 900 revistas. La particularidad más importante de esta base de datos es que registra, además de los datos propios del trabajo y de su autor, las referencias bibliográficas empleadas para su realización.

Journal Citation Reports

Es un informe estadístico anual que sintetiza el comportamiento métrico -productividad, citación y obsolescencia- de las publicaciones procesadas por el SCI- SciSearch. Proporciona indicadores como el número contribuciones aportadas, las citas que han recibido, el factor de impacto, el índice de inmediatez y la vida media -tiempo en que una revista, por ejemplo, realiza o recibe la mitad del total de citas que recibirán sus contribuciones durante toda la vida- de las revistas cubiertas por la referida base de datos.

Factor de impacto

El factor de impacto de una revista puede considerarse el indicador más conocido entre los utilizados en los llamados análisis de citas. El factor de impacto se calcula a partir del recuento de las referencias/citas realizadas entre las fuentes citantes y citadas, cubiertas por el SCI-SciSearch.

El factor de impacto de una revista para un año específico se halla dividiendo el número total de citas recibidas durante el año, por los artículos publicados en los dos años precedentes, entre el total de artículos publicados en dichos años. Por ejemplo, para determinar el factor de impacto de una revista durante el año 2004, se debe dividir el total de citas recibidas durante el año (2004) por los artículos publicados en los años 2002 y 2003, entre el total de artículos publicados en estos mismos años.

El resultado representa el promedio de citas recibidas por los artículos publicados por una revista en un periodo determinado.

Una de sus variantes, el llamado índice de inmediatez, una medida de la rapidez con que se citan las contribuciones publicadas en una revista, se calcula en la misma forma que el factor de impacto pero la relación citas/artículos publicados se realiza sobre la base del año para el que se determina. Por ejemplo, el índice de inmediatez de una revista para el año 2004, relaciona las citas recibidas durante el año 2004 con los artículos publicados durante ese mismo año.

Limitaciones del factor de impacto

Entre las principales limitaciones del factor de impacto como instrumento de evaluación de los autores y las publicaciones científicas se encuentran:1,6,7

• El factor de impacto de una publicación seriada concilia las diferencias entre los índices de citación de los artículos - la mitad de los artículos más citados se citan 10 veces más a menudo que la mitad de los artículos menos citados.
• El factor de impacto de una revista se calcula a partir de una serie de tecnicismos ajenos a la calidad de sus artículos.
  

El factor de impacto de una revista depende del campo de investigación al que pertenezca; es probable que revistas que cubren amplias áreas de las investigaciones básicas, con un crecimiento y, por tanto, con un envejecimiento también rápido de la literatura, presenten un alto factor de impacto.

• Los índices de citación de los artículos determinan el factor de impacto de las revistas y no a la inversa.
  

Se asume en general, que una publicación con un alto factor de impacto realzará el impacto del artículo. Esto no es cierto. En una comparación realizada con dos grupos de científicos con preferencias de publicación similares por cierto grupo de revistas pero que diferían en el doble según sus índices personales de citación, se obtuvo que la diferencia relativa entre ellos fue la misma, es decir, el doble, aun cuando publicaron sus trabajos en revistas cuyo factor de impacto variaba en el amplio rango de 0.5 a 8. Si una revista con un alto factor de impacto concediera una serie de citas a un artículo, con independencia de su contenido, la diferencia relativa disminuiría como una función del incremento del impacto de la revista. Por tanto, el alto impacto de una revista no concede un alto impacto a sus artículos.

• El factor de impacto de una revista no es estadísticamente representativo del índice de citación de sus artículos.
  

El factor de impacto de una revista se correlaciona pobremente con el índice de citación de sus artículos.

• Los autores utilizan múltiples criterios, diferentes al factor de impacto, para enviar sus contribuciones a una revista.
• Las citas a los materiales considerados "no citables" por el Science Citation Index, se incluyen erróneamente en el cálculo del factor de impacto.
  

El Science Citation Index comprende sólo artículos normales, notas y revisiones como registros citables en el denominador (de la fórmula utilizada para el cálculo del factor de impacto), sin embargo, las citas (cuyo número se coloca en el numerador), abarcan toda clase de documentos (editoriales, cartas, resúmenes de conferencias, etc.). Las citas a revistas publicadas en su idioma original y con una versión traducida, por ejemplo, dos idiomas por ejemplo, se consideran doblemente.

Por ello, una revista que incluya resúmenes de conferencias, editoriales interesantes y una sección activa de correspondencia puede tener un factor de impacto "inflado" con respecto a las que carecen de esta clase de materiales.

Los editores que desean incrementar el factor de impacto de sus revistas con referencia se refieren a editoriales previos, porque no existen mecanismos de corrección para el cálculo del factor de impacto que considere las autocitas.

Las autocitas no se tratan correctamente al momento de calcular el factor de impacto.

• Los artículos de revisión reciben grandes cantidades de citas que "inflan" el factor de impacto de las revistas.
• La extensión de los artículos influye en el factor de impacto de una revista. Los artículos largos atraen muchas más citas que los artículos con extensión promedio o cortos.
• Las revistas que publican "comunicaciones" breves y presentan una frecuencia de publicación alta - muchos números al año -, generan un gran número de autocitas y con esto, un factor de impacto mayor en esta clase de revistas.
  

Debido a que los artículos de una revista tienden a citar otros artículos en la misma revista, una frecuencia alta de publicación, contribuye positivamente al impacto de la revista y se correlaciona significativamente con ella.

• Los autores de una revista prefieren citar la revista en el idioma nacional.
• Los autores de los artículos prefieren citar otros artículos en la misma revista.
• El cubrimiento de revistas en las bases de datos del Institute for Scientific Information no es exhaustivo.
  

El Science Citation Index - que más adelante se tratará - procesa unas 3 700 revistas de un estimado total de unas 126 000. Su cubrimiento de cada campo varía notablemente de uno a otro, desde el 90 % de las revistas autorizadas en química hasta el 30 % de ellas en biología. Como el factor de impacto de una revista es proporcional a la cobertura del campo en la base de datos, estas discrepancias o variaciones generan que los campos con una baja representación reciban bajos factores de impacto. En matemática, por ejemplo, las publicaciones líderes no incluidas en el SCI se citan con más frecuencia que las procesadas por dicha base de datos. Estas omisiones generan sesgos serios en las evoluciones basadas en el factor de impacto.

• Dichas bases de datos no procesan libros.
  

En muchos campos de investigación una parte sustancial de los resultados científicos se publican en forma de libros, que no son procesados por esta base de datos.

• Las bases de datos del ISI presentan un claro sesgo hacia el idioma inglés.
  

La preferencia del SCI por las publicaciones en idioma inglés contribuye al bajo factor de impacto de las pocas revistas en otros idiomas procesadas por dicha base de datos, porque la mayor parte de las citas a artículos en idiomas distintos al inglés se realizan a otros trabajos en el mismo idioma.

• Las publicaciones estadounidenses dominan dichas bases de datos.
  

Específicamente, los científicos estadounidenses, quienes presentan una inclinación a citarse entre ellos, dominan estas bases de datos (más de la mitad de las citas) hasta incrementar el índice de citas y el impacto medio de la ciencia norteamericana un 30 % por encima del promedio mundial.

Por ejemplo, en el Journal Citation Reports del 2003, se incluyeron 2 267 revistas de los Estados Unidos y 1 219 de Gran Bretaña, mientras que las correspondientes a algunos países no anglófonos de incuestionable peso científico como Francia e Italia fueron 147 y 65, respectivamente, y de las 29 revistas españolas incluidas

Este sesgo se agrava por el uso de un periodo corto de tiempo para el cálculo del indicador, por ejemplo, en las publicaciones norteamericanas en medicina clínica, el 83% de las referencias en el mismo año se realizaron a otros trabajos publicados por norteamericanos (muchos de ellos probablemente autocitas), un valor 25 % superior al nivel estable alcanzado después de tres años.

Entonces, tanto la aparente calidad de líder de los norteamericanos como los factores de impacto de varias de sus revistas están, en gran parte, determinados por el gran volumen de autocitas y los sesgos de citación nacional que caracteriza a la ciencia norteamericana.

• El conjunto de revistas procesadas varía de un año al otro.
• El factor de impacto de una revista es una función del número promedio de referencias por artículo en el campo de investigación donde se desarrolla su actividad.
  

El impacto de citación de un campo de investigación es directamente proporcional al promedio de referencias por artículo, que varía considerablemente de un campo a otro (es el doble más alto en bioquímica que en matemática, por ejemplo)

Los campos de investigación cuya dinámica genera que la literatura envejezca rápidamente presentan factores de impacto promedio altos.

Los campos de investigación dinámicos y con cortos periodos de publicación como la bioquímica y la biología molecular presentan altas proporciones de citas a las publicaciones recientes -y por tanto altos factores de impacto-, mucho mayores que ecología y matemática, por ejemplo.

Los hábitos y la dinámica de citación pueden ser muy diferentes de un campo de investigación a otro. Es imposible hacer comparaciones sobre el factor de impacto de revistas entre un campo y otro. Por ejemplo, los artículos sobre bioquímica y biología molecular se citan unas cinco veces más que los que tratan sobre farmacia.

• El factor de impacto depende de la dinámica (expansión-contracción) del campo de investigación.
  

En disciplinas jóvenes y de rápida expansión, el número de publicaciones que se citan es relativamente grande con respecto al total de material citable, ello produce índices de citación altos y por tanto, revistas con un alto factor de impacto.

• Los campos de investigación pequeños tienden a carecer de revistas con alto factor de impacto.
  

En un campo de investigación extenso y autocontenido, el índice promedio de citas de la revista o de sus artículos es independiente del tamaño del campo, pero el rango absoluto será más amplio en un gran campo, y ello significa mayor factor de impacto para las revistas punteras. Estas diferencias se vuelven obvias cuando se comparan revistas de revisión, que tienden a ubicarse en la cima del campo. Los científicos líderes en campos pequeños se encuentran en desventaja en comparación con sus colegas en los grandes campos, porque ellos carecen de acceso a revistas con un alto factor de impacto.

Sin embargo, la mayoría de los campos de investigación no son auto-contenidos, el factor con relación al campo de investigación más importante probablemente sea la habilidad de un campo de investigación para hacerse citar por campos vecinos. La relación entre medicina clínica y básica es un ejemplo: la medicina clínica descansa pesadamente en las ciencias básicas, esto no sucede a la inversa. El resultado es que la medicina básica se cita entre 3 y 5 veces más que la medicina clínica. El resultado de una evaluación basada en el factor de impacto en medicina depende entonces de la posición de los grupos de investigación o las instituciones en el eje básico-clínico.

Las relaciones entre los campos (por ejemplo, investigación básica y clínica) determinan con fuerza el factor de impacto de la revista.

• El uso de un espacio de tiempo extremadamente corto para el cálculo del indicador (citas a los artículos publicados sólo en los dos años anteriores) en el cálculo del factor de impacto introduce un sesgo temporal fuerte.
  

Las revistas con una alta frecuencia de publicación presentarán citas relativamente más actualizadas y ello contribuirá poderosamente a su factor de impacto.

Campos con una literatura más duradera, como la matemática, reciben un número menor de citas en los dos primeros años utilizados para calcular el factor de impacto que otros campos con una gran dinámica.

El factor de impacto, como mecanismo de evaluación no sólo de la calidad, sino también de la utilidad, presenta una falta de universalidad para su aplicación y por ello, su uso debe restringirse a los campos donde su aplicación demuestre un claro valor, como sucede con los campos ricos en investigaciones, amplios, con una expansión geométrica, por ejemplo, las ciencias biológicas y preclínicas.

Muchas revistas y periódicos no se dirigen a un público con ánimo de que se citen, sino con el simple propósito de informar, existen comunidades de lectores que son sólo esencialmente consumidoras de información, por ejemplo, los médicos del sector asistencial de primera línea, las enfermeras, los técnicos de laboratorio, de radiología, etcétera. Aplicar el factor de impacto, como herramienta para medir el valor de estas publicaciones, puede conducir a juicios erróneos y decisiones injustas.

Por otra parte, existen pocas propuestas, y menos consenso, sobre como establecer el límite para diferenciar un factor de impacto alto de uno moderado o de otro bajo. Por demás, este análisis debe realizarse en cada área temática por separado, porque cada campo o disciplina tiene un comportamiento particular en cuanto al impacto. Hallar el factor de impacto promedio de las revistas del área es una posibilidad; entonces, determinar cuáles se encuentran por encima de ese promedio, sin dudas, permitiría determinar las que tienen un comportamiento por encima de la media en el grupo; pero esto, cuando existen revistas con factores de impacto muy altos, determina un corrimiento del promedio hacia arriba y entonces muchas revistas quedan fuera.

Una posibilidad para superar esta deficiencia sería utilizar en lugar de la media, la mediana, que no es influida por los valores extremos en una distribución o realizar un acumulado de los promedios y dividir la columna en tres zonas: alto, moderado y bajo. Hasta el momento ninguna de estas alternativas tiene un fundamento estadístico que las sostenga; la mayor parte de las estimaciones realizadas son apreciaciones mucho más subjetivas que estas y carecen de valor como medio de cálculo.

Algo sí es importante: es muy difícil que una revista sea procesada por el SCI; el simple hecho de superar las barreras que impone, sobre todo a una revista que no proceda de los Estados Unidos o el Reino Unido, el sistema de evaluación desarrollado por el ISI, constituye un mérito editorial indiscutible.

El factor de impacto y la evaluación académica

El análisis de citas es uno de los criterios que se emplea con mayor frecuencia para la evaluación de la literatura, los autores y las organizaciones científicas.1

Sin embargo, el uso que se hace del factor de impacto en algunos círculos académicos y científicos desde hace algunos años ha producido malestar entre amplios sectores de investigadores, debido a sus limitaciones y sesgos y a las injusticias que se cometen cuando se aplica en la evaluación de sus actividades científicas y profesionales.6

El uso del factor de impacto como índice para medir la calidad de las publicaciones se fundamenta en la idea de que la frecuencia con que se cita una revista mide exactamente su importancia para la comunidad de especialistas, el área o la disciplina a la que pertenece. Existe una tendencia a hacer equivalentes los conceptos de visibilidad, alto impacto y prestigio y esto no es totalmente cierto.

Aunque el factor de impacto se utiliza con menos frecuencia explícitamente para la evaluación académica, su contraparte implícita, el prestigio de la revista, se encuentra ampliamente extendido como criterio de evaluación y es probablemente el indicador más utilizado junto al conteo crudo de publicaciones.7

El "prestigio" es una combinación indeterminada de productos de los procesos cognitivos (percepción, pensamiento), afectivos (emociones, sentimientos) y pulsacionales (necesidades, motivos) o de la actividad que surgen cuando los individuos emiten juicios de valor.1

El juicio humano como resultado intrínseco de la actividad espiritual del individuo, constituye un producto indescifrable de la acción de distintos procesos psicológicos, propios del ser humano en la mayoría de las ocasiones y, por lo tanto, de escaso valor para su empleo como mecanismo de evaluación científica.10

Existe una propensión de las publicaciones a obtener un prestigio ante los expertos, que persevera en detrimento de su mérito científico. Las revistas reconocidas tradicionalmente pueden desplazar, según la evaluación de los expertos, a las revistas nuevas en términos de prestigio, aunque en términos profesionales estas publiquen artículos más importantes.8

Asimismo, el hecho simple de que un informe se publique en una revista prestigiosa, no es garantía de su calidad.
Si bien, una alta visibilidad es una condición indispensable para las demás propiedades hay revistas con muy buena visibilidad que no presentan un alto factor de impacto o prestigio; un alto prestigio tampoco es garantía de un buen factor de impacto: la madeja de factores que inducen altos valores de impacto y prestigio y su influencia específica es aún un tema que requiere más estudios

Uno de los criterios que utilizan los expertos del SCI para la selección de las revistas candidatas a ingresar a su base de datos es que éstas hayan recibido un número suficiente de citas, de manera que las revistas no citadas se excluyen de su posible cobertura. Sin embargo, estas revistas poco citadas no necesariamente poseen una baja calidad, sino que simplemente pueden presentar algunas características como idiomas, temáticas, tipo de contenido o distribución que hacen que sean poco citadas por otras revistas.7 También las revistas procedentes de campos poco desarrollados o incipientes, con escaso número de investigadores, reciben menos citas, simplemente por el hecho de que existen menos revistas y menos artículos publicados para citar.

La verdadera evaluación del trabajo de un científico debe realizarse por su contenido y no por el factor de impacto de las revistas donde se publique.

Como se ha observado, el impacto de una revista no puede considerarse, en forma alguna, como representativo de sus artículos. Y si así fuera, el factor de impacto de una revista estaría aún lejos de ser un indicador de calidad: el impacto de citación es esencialmente una medida de utilidad más que de calidad científica y la selección de las referencias por parte de los autores, está sujeta a fuertes sesgos sin relación alguna con la calidad.7

Otro tanto, sucede con el término "revistas núcleo", también ampliamente popularizado y que se asocia frecuentemente con alto factor de impacto y prestigio. Nada más lejano de la realidad, la noción de revistas núcleo se vincula con la esfera de la productividad y no del consumo como sucede con el factor de impacto y el prestigio.

El concepto de núcleo se relaciona con la llamada Ley de Bradford, que plantea: Si un número determinado de publicaciones periódicas se ordenan de forma descendente, según su productividad de artículos y se dividen en tres zonas de análisis, cada una con igual cantidad de contribuciones, entonces existirá una zona núcleo con un reducido número de fuentes donde se encontrará la mayor cantidad de artículos y dos zonas restantes con una mayor dispersión. La relación matemática del número de publicaciones periódicas entre la zona 1, 2 y 3 es 1:n:n2 .

Por lo tanto, si no se ha realizado un estudio de productividad en un área determinada del conocimiento no es posible establecer cuáles son las revistas núcleos de dicha área. Por demás, la productividad de una revista y su índice de citación no se correlacionan significativamente. Es decir, publicar más no significa ser más citado.

Tampoco, una revista extranjera es más visible, accesible, prestigiosa o importante que una nacional, como piensan muchos científicos de los países subdesarrollados, que buscan a toda costa publicar fuera de sus fronteras nacionales, en detrimento de la ciencia de su país.

Gran parte de estas desviaciones son el producto de un desconocimiento por parte de autores y autoridades, así como de un deficiente trabajo profesional y educativo de las casas editoras en el tercer mundo.

Algunos consejos útiles para obtener una publicación visible

Elaborar un trabajo científico con rigor es una tarea ardua, pero ello lamentablemente no asegura su visibilidad y el reconocimiento de su autor.

Si usted ha realizado una investigación en el campo de las ciencias preclínicas o clínicas y desea publicar un informe sobre sus resultados, porque cree firmemente que ellos son valiosos para la comunidad científica regional o internacional, el primer paso es asegurarse que su contribución -artículo original o de revisión, editorial, carta, informe breve, etc.- alcance una visibilidad adecuada.

Para ello, usted debe proponerse como condición mínima que la revista seleccionada se encuentre entre las que procesa PubMed y alternativamente en alguna de las dos grandes bases de datos siguientes: Embase y SCI.

Ahora bien, ¿por qué en PubMed?

PubMed (http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?linkbar=jsmenu2), accesible por medio de Entrez -el sistema integrado de recuperación y búsqueda basada en texto, desarrollado por el Centro Nacional para la Información Biotecnológica (NCBI por sus siglas en inglés)- en la Biblioteca Nacional de Medicina de los Estados Unidos, una entidad con rango de instituto nacional de salud, es el resultado de un proyecto conjunto desarrollado por estas instituciones en colaboración con los editores de la literatura biomédica como una herramienta de búsqueda para acceder a las referencias bibliográficas y enlazar las revistas a texto completo en los webs de las editoriales participantes. El anuncio oficial de la apertura de PubMed se realizó el 26 de junio de 1997.9

PubMed es el recurso bibliográfico más utilizado en el área de la salud en Internet. Su acceso es gratuito. Medline, su base de datos principal, es una base de datos insigne y la más popular en el campo de la salud desde hace varias décadas.

Producido por la Biblioteca Nacional de Medicina de los Estados Unidos, PubMed cubre los campos de la medicina, la enfermería, la estomatología, la veterinaria, la gestión de salud, las ciencias preclínicas y algunas áreas de las ciencias de la vida. Sus archivos contienen unos 15 millones de referencias desde mediados desde el año 1950 hasta la fecha. Medline, por su parte, procesa unas 4 800 revistas de unos 70 países.9 PubMed recibe decenas de millones de visitas anuales de usuarios de todo el mundo debido a que su acceso es gratuito, a diferencia por ejemplo del SCI. Contiene, a su vez, muchos más registros que los procesados para versiones como las distribuidas en discos compactos.

Junto a PubMed, es posible acceder a múltiples bases de datos en el área de las ciencias de la vida, a partir de las facilidades que ofrece la plataforma del NCBI.

Como se refería, alternativamente podíamos trazarnos como meta que la revista fuera procesada por SCI o Embase. El SCI, a pesar de ser una base de datos multidisciplinaria, cubre con fuerza del sector de las ciencias clínicas, preclínicas y de la vida.

Su carácter extremadamente selectivo, como decíamos, hace un mérito para una revista no anglosajona, la entrada a dicho repertorio. El ISI también ofrece uno de los mejores servicios de tablas de contenido (que incluye resumen) en ciencias de la vida y medicina clínica, nos referimos a los conocidos Current Contents. Ni SCI ni estos servicios son gratuitos.

Y ¿Embase?

Producida por Elsevier, es la gran contraparte europea del Medline estadounidense. Embase cubre el mundo de la biomedicina con especial énfasis en la información farmacológica. Procesa más de 6 500 revistas de unos 70 países. Actualmente, facilita acceso a Embase y Medline en forma conjunta. Como ocurre con el SCI, su gran limitación para los países subdesarrollados es que su distribución y acceso se realiza bajo régimen de suscripción.

Ahora que conocemos a tres de los grandes colosos de la información biomédica mundial, el próximo paso es cómo saber si una revista preseleccionada por un autor es procesada por ellos. PubMed dispone de un servicio dirigido a sus usuarios que informa sobre las revistas cubiertas: Journal Database (http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?db=journals) en el que es posible buscar por el título de la publicación o alguna de sus palabras. Requiere que se especifique en "Limits", "Only PubMed journals". También desde http://www.ncbi.nlm.nih.gov/entrez/citmatch_help.html#JournalLists es posible descargar todos los títulos que se procesan en PubMed.

SCI ofrece también gratuitamente una relación de las más de 3 700 publicaciones seriadas que procesa, que es posible consultar en: http://www.isinet.com/cgi-bin/jrnlst/jlresults.cgi?PC=K, no así Embase que exige de una clave de acceso, sólo disponible para sus suscriptores. Si usted desea saber si una publicación aparece en alguna de las bases de datos del ISI o en sus servicios de Current Contents, puede verificarlo en: http://www.isinet.com/journals/

Si usted además desea conocer el factor de impacto de una revista procesada en SCI, según los datos disponibles para la edición del Journal Citation Report - 2003 Science Edition, usted puede hacerlo en: http://www.starrepublic.org/encyclopedia/wikipedia/i/impact/2003a.html Usted también puede acceder al factor de impacto de las revistas española en forma independiente en http://147.156.181.37/imecitas/impacto_ime.asp

Es decir, que, al menos, podemos acceder gratuitamente a dos de las listas de fuentes procesadas por los colosos analizados y al factor de impacto de las seriadas del SCI. Cada una de estas bases de datos distribuye previo pago, repertorios con información sobre todas las fuentes que procesan y, en el caso del ISI, sucede igual con el JCR, que puede adquirirse incluso en disco compacto y que ofrece múltiples facilidades, entre ellas, la organización de las revistas por temas según su factor de impacto u otros indicadores.

Y es precisamente la adquisición de estos repertorios la respuesta a una pregunta más común todavía que las anteriores: ¿cuáles revistas procesa una base de datos X en el tema Y? y que es imposible de responder con los repertorios disponibles gratuitamente hasta el momento. Incluso algunos de los repertorios disponibles por suscripción no disponen de una organización por temáticas o por países y por ello, es necesario verificar esta facilidad con sus editores antes de adquirirlos.

Una organización por países permite identificar a un autor las revistas de su país o región, por ejemplo, América Latina, que procesa cada base de datos. Generalmente es más fácil publicar en una revista de la región a la que pertenece el autor que en otra ajena.

Apartándonos del tema de la cobertura de las revistas en las grandes bases de datos biomédicas, un factor muy importante en la visibilidad de las publicaciones, debemos abordar, aunque, con brevedad, otro factor: la forma de distribución de la revista ¿Es la revista una publicación de acceso abierto? Y aunque el tema es muy novedoso, la tendencia parece ser que muchas revistas de acceso abierto y de excelente calidad alcanzarán con prontitud un alto prestigio y factor de impacto porque su accesibilidad está garantizada, al menos, para quienes tienen acceso a Internet. Usted puede acceder al Directory of Open Access Journals en http://www.doaj.org/ que es posible explorar por grandes áreas temáticas.

Una vez que usted ha seleccionado una revista para publicar su trabajo, preferiblemente varias, porque el índice de rechazo entre las revistas renombradas es generalmente muy alto, debe mediante la búsqueda del título completo en un buscador como Google por ejemplo, hallar la ubicación de la revista, con vistas a determinar su alcance temático, tipos de trabajos que publica, entre otros aspectos de interés, como las instrucciones a los autores de cuyo cumplimiento depende, en gran medida, la aceptación inicial de su trabajo.

Si la revista escogida se rige por lo requisitos de Vancouver, usted puede consultar una edición actualizada de ellos en: http://www.icmje.org/.

Antes de concluir esta exposición, es oportuno destacar la conveniencia del empleo de los servicios de un bibliotecario o un editor, especializado e instruido en estas labores, con el objetivo de obtener la mayor cantidad posible de información de referencia útil a la tarea de publicación.

Consideraciones finales

Para la evaluación de la calidad científica, parece no existir otra alternativa que no sea la lectura de las publicaciones por expertos calificados. Mucho puede hacerse para perfeccionar y normalizar los principios, los procedimientos y los criterios empleados en la evaluación del trabajo científico y la comunidad científica debe concentrarse en eso más que en el desarrollo de versiones más sofisticadas de indicadores inútiles. En palabras de Sidney Brenner "Lo que importa en absoluto es el contenido científico del trabajo y nada sustituirá su conocimiento o lectura"7

El factor de impacto no debe utilizarse como una medida única en la evaluación de la actividad científica sino que debe complementarse con otros indicadores para medir correctamente la actividad científica, sobre todo, en zonas como América Latina.10

Referencias bibliográficas

1. Cañedo Andalia R. Los análisis de citas en la evaluación de los trabajos científicos y las publicaciones seriadas Acimed 1999;7(1). Disponible en: http://bvs.sld.cu/revistas/aci/vol7_1_99/aci04199.htm [Consultado: 20 de julio del 2005].

2. Solla Price DJ de. Hacia una ciencia de la ciencia. Barcelona: Ariel, 1973:128.

3. Garfield E. Which medical journals have the greatest impact? Ann Intern Med 1986;105(2):313-20.

4. Shaw JG. Article-by-article citation analysis of medical journals. Scientometrics 1987;12(1-2):101-10.

5. Parthasarathy H (2005) Measures of Impact. PLoS Biol 3(8): e296. Disponible en: http://biology.plosjournals.org/perlserv/?request=get-document&doi=10.1371/journal.pbio.0030296 [Consultado: 26 de julio del 2005].

6. Benavent RA, Valderrama Zurián JC, González de Dios J, de Granda Orive JI, Miguel-Dasit A. El factor de impacto: un polémico indicador de calidad científica
http://www.economiadelasalud.com/Ediciones/13/08_lafirma/firmaimpacto.htm

7. Reglen PO. Why the impact factor of journals should not be used for evaluating research. BMJ 1997;(314):497. Disponible en: http://bmj.bmjjournals.com/cgi/content/full/314/7079/497 [Consultado: 28 de julio del 2005].

8. Garfield E. Prestige versus impact: established images of journals, like institutions, are resistant to change. Current Contents 1987;15(38):3-4.

9. PubMed Overview. Disponible en: http://www.ncbi.nlm.nih.gov/entrez/query/static/overview.html [Consultado: 28 de julio del 2005].

10. Quispe Gerónimo C. ¿Es el factor de impacto un buen indicador para medir la calidad de las revistas científicas?: análisis de algunos problemas generados por su uso http://eprints.rclis.org/archive/00001656/ [Consultado: 2 de agosto del 2005].

Recibido: 25 de septiembre del 2005.
Aprobado: 5 de octubre del 2005.

Lic. Rubén Cañedo Andalia Licenciado en Información Científico-Técnica y Bibliotecología. Red Telemática de Salud en Cuba (Infomed). Centro Nacional de Información de Ciencias Médicas-Infomed. Calle 27 No. 110 e/ N y M, El Vedado. Plaza de la Revolución. Ciudad de La Habana. Cuba. Correo electrónico: [e-mail]

1Licenciado en Información Científico-Técnica y Bibliotecología. Centro Nacional de Información de Ciencias Médicas-Infomed.
2Doctor en Estomatología. Centro Nacional de Información de Ciencias Médicas-Infomed.
3Doctor en Medicina. Especialista de Segundo Grado en Higiene y Epidemiología. Profesor Asistente. Facultad de Ciencias Médicas "Mariana Grajales Coello", Holguín. Cuba.
4Doctor en Medicina. Especialista de Primer Grado en Medicina General Integral. Profesor Asistente. Facultad de Ciencias Médicas "Mariana Grajales Coello", Holguín. Cuba.

Ficha de procesamiento

Términos sugeridos para la indización

Según DeCS1
BIBLIOMETRÍA.
BIBLIOMETRICS.

Según DeCI 2
CIENCIOMETRÍA; CIENTIFICOS; FACTOR DE IMPACTO; PRODUCCIÓN CIENTÍFICA; EVALUACIÓN.
SCIENTOMETRICS; SCIENTISTS; IMPACT FACTOR; SCIENTIFIC PRODUCTION; EVLUATION.

1BIREME. Descriptores en Ciencias de la Salud (DeCS). Sao Paulo: BIREME, 2004.
Disponible en: http://decs.bvs.br/E/homepagee.htm
2Díaz del Campo S. Propuesta de términos para la indización en Ciencias de la Información. Descriptores en Ciencias de la Información (DeCI). Disponible en: http://cis.sld.cu/E/tesauro.pdf