Los análisis de citas constituyen actualmente uno de los tipos de investigaciones que se realizan con mayor frecuencia para determinar el impacto que obtienen distintas entidades informacionales como autores, instituciones, editoriales, países y publicaciones, en los procesos científicos. Se exponen los fundamentos teóricos de este tipo de valoraciones; las motivaciones de los autores para citar otros trabajos; algunos de los factores que influyen en el número de citas que alcanzan los trabajos y las publicaciones en el sector biomédico, así como el impacto de la correspondencia científica en el volumen total de citación de un título.
Descriptores: ANALISIS DE CITAS; PUBLICACIONES SERIADAS; EVALUACION DE PUBLICACIONES; FACTOR DE IMPACTO.
El análisis de citas es uno de los criterios que se emplea con mayor frecuencia para la selección de la literatura científica. De igual forma, constituye una de las alternativas más controvertidas tanto para la evaluación de la actividad científica como de las publicaciones.
El entorno informacional en el que se desarrolla el proceso de investigación influye poderosamente en este último. Dicho entorno comprende al conjunto de fuentes y canales de información, así como las líneas de comunicación y los trabajos con los cuales el autor se relaciona a la luz de los objetivos, fines y metas de su actividad.
Si bien existen notables diferencias entre la importancia que se concede a los distintos tipos de fuentes y canales de información, según el sector (directivo, docente práctico, etc.) de la actividad que se trate, los investigadores adjudican el mayor valor a las líneas de comunicación documentales como son por ejemplo las publicaciones seriadas y los libros, entre otros.
La consulta de sus mensajes -trabajos- posibilita a los investigadores determinar problemas y objetivos de estudio realmente importantes, relaciones novedosas de interés entre las variables -hipótesis-, métodos más frecuentes empleados para realizar estudios similares, así como la comparación de los resultados hallados en otros trabajos de igual categoría entre otros.
La utilización de las citas bibliográficas -como criterio de evaluación de los trabajos y las publicaciones científicas- se fundamenta en su carácter condicionante de las principales etapas de la investigación científica. De aquí la importancia de la realización de una revisión bibliográfica exhaustiva, imparcial, representativa y actualizada, bajo criterios objetivos de valoración y selección tanto para el proceso de investigación como para la evaluación de los trabajos científicos.
]]> Durante décadas, "la tradición científica ha exigido que cuando un investigador publique un trabajo refiera los anteriores relacionados con el tema. Dichas citas conducen a las fuentes de las ideas que aparecen en el trabajo, es decir, sirven para identificar aquellos estudios previos cuyas teorías, conceptos, métodos, aportes, u otros se utilizaron o inspiraron al autor a desarrollar una nueva investigación. El análisis de dichas citas según temáticas y subtemáticas, fuentes, antigüedad, u otros parámetros permite identificar los rasgos característicos del interés científico en una comunidad concreta o en general".1La intensidad del empleo de una revista o de la obra de un autor proporciona una medida razonable de su importancia científica. Puede considerarse el uso de un trabajo a partir de las citas que de éste hacen otros.2
Si se reconoce que los autores se refieren a materiales previos para soportar o elaborar sobre un punto en particular, el acto de citar es una expresión de la importancia que se atribuye al material indicado. Cuando un investigador cita una revista, evidencia que la revista influyó de alguna manera sobre él. Cuanto más frecuente se cita un documento, más a menudo la comunidad científica reconoce la influencia o el impacto de la revista citada.3
Si bien, está demostrado que sólo unas pocas revistas acumulan la mayor parte de las citas realizadas sobre un tema específico y que la cita constituye una de las formas donde mejor se refleja la utilización de un trabajo o publicación científica, resulta que el acto de citar propiamente dicho es una función de muchas variables y las citas, en general, pueden estar motivadas por razones distintas.
Entre las variables que influyen en el índice de citación se encuentran su visibilidad general, circulación -es decir, el número de ejemplares en cada tirada-, disponibilidad en instituciones de información, cubrimiento por servicios de información secundaria, reputación o prestigio científico, etcétera.
La visibilidad de un trabajo es un factor determinante en el proceso de citación. Un trabajo es visible cuando el autor de otro relacionado con él puede conocer de su existencia al menos de forma indirecta. Cuando un trabajo no es visible es imposible considerarlo y, por tanto, evaluarlo. Su desconocimiento impide su uso y hasta la intención de acceso. De lo que se conoce se seleccionará aquello que parezca más adecuado con las necesidades del investigador o consumidor.
La visibilidad, la accesibilidad y la disponibilidad influyen necesariamente en la conducta de consumo o utilización en un contexto determinado.
Para emplear el criterio de análisis de citas, "se deberá ignorar la mala costumbre de algunos autores de citar preferentemente sus propios trabajos, los de sus amigos o los de científicos importantes e influyentes que confieren categoría a su obra".2
Ante las críticas hechas a los estudios de citas, principalmente contra los motivos que las inducen, se muestra un esquema a continuación en el que se recogen al azar los resultados de varios estudios realizados sobre las motivaciones que presentan los autores para citar determinados trabajos.
| Autores | Tamaño de la muestra (en número de citas) | Resultados |
| Oppenhein y Renn4 | 978 | De las citas realizadas de trabajos antiguos, 40 % fueron motivadas por razones históricas. |
| ]]> T. A. Brooks5 | 437 | El factor fundamental que estimuló la realización de una cita fue su carácter persuasivo y la información instrumental (técnicas) que contenía el documento citado. La segunda razón, resultó ser su posición a favor, la actualización y el consenso social existente sobre las opiniones expuestas en el trabajo. Como tercer factor se consideró a los lectores potenciales del trabajo. La última razón fue su posición en contra. |
| Moravcsik y Morugesan6 | 575 | Una de cada 7 citas resultaron negativas, una de cada 3 resultaron redundantes y 2 de cada 5, superficiales e innecesarias. |
| Spriegel y Rosing7 | 2 309 | De las citas, 80 % correspondió a los trabajos que contenían un punto para más información o confirmaban la exposición y los principios enunciados; 60 % discutían la historia o el estado del área de investigación; 5 % citaban datos comparativos y 5 % de los restantes se dividió entre otras razones. |
| P. Vinkler8 | ]]> 484 | De las citas, 81 % obedecieron a motivaciones exclusivamente profesionales (necesidad de complemento de información, utilización de teorías, fórmulas, métodos para confirmar o rechazar teorías, etc.); 17 % se produjo como consecuencia de razones profesionales y de conexión (conexión profesional con el autor del trabajo o deseo de establecerla); 2% de las citas se debió a la esperanza de beneficio con ella, a partir de la importancia del trabajo citado en revistas relevantes, etcétera. |
Aun cuando la naturaleza del enlace conceptual que existe entre el trabajo que cita y el trabajo citado no resulta perceptible con claridad, existen evidencias concretas de que la mayor cantidad de citas a los trabajos son motivadas profesionalmente y no por razones alejadas de la práctica científica honesta.
Ante estas evidencias, se ha de suponer que la costumbre de escribir primero un artículo y después añadirle una decoración de una decena de citas, no altera de manera sensible la conducta habitual consistente en reconocer los trabajos que han proporcionado la base informacional necesaria para el desarrollo de uno posterior.2
Como información complementaria a los resultados expuestos, a continuación se mostrarán con más detalles las causas de la diferencia de impacto o de los índices de citación que presentan los artículos y las publicaciones científicas, a partir de distintos estudios realizados en el sector biomédico.
Los trabajos científicos influencian en sus respectivas audiencias de forma diferente. En muchas ocasiones, las diferencias de impacto entre una y otra revista se deben a la amplitud del espectro temático que abarcan, al carácter básico o aplicado de sus trabajos, a la política editorial, a su novedad, y a la distribución en el cuerpo de la publicación de los diferentes materiales (artículos originales, editoriales, reportes, cartas, revisiones, etc.), entre otros.
Algunas diferencias observadas, en la comparación entre The Lancet y British Journal of Medicine,9 permiten descubrir algunas de las razones de las diferencias en los niveles de impacto entre las revistas biomédicas.
Entre estas diferencias se encuentran:
]]> Distinto número de artículos que presentan descubrimientos científicos originalesEl grupo de artículos que más se cita son aquéllos que exponen estos descubrimientos.
Diferente número de investigaciones básicas y clínicas
La aplicabilidad de las investigaciones básicas no está limitada como la de las investigaciones clínicas. Las políticas económica y de salud, así como los factores geográficos, entre otros, condicionan en cierta medida la variedad de problemas de salud que se presentan en determinados países y regiones; éstas son algunas de las razones por las cuales las investigaciones clínicas poseen un contexto estrecho de aplicación.
En el sector médico clínico, cada revista está interesada en satisfacer las necesidades de su propia comunidad. Es posible, también, que la comunidad de lectores y su orientación aparentemente similar presente diferencias (por ejemplo, distinto número de especialistas dedicados a la investigación) internas, hecho que afectará su conducta de citación.
Se relaciona con la segunda condición. Está determinada por el carácter de sus artículos, así como por sus posibilidades de aplicación en distintos puntos geográficos. Es importante conocer la distribución internacional de la comunidad de lectores de una revista. El número de investigadores y asistentes que conforman la comunidad a la que se dirige una publicación, será un factor de consideración a la hora de predecir su nivel de citación. El sector asistencial como se conoce, citará muy pocos trabajos, porque sus miembros publican un número muy reducido de éstos.
El conocimiento de la existencia del trabajo por parte de sus lectores potenciales resulta una condición importante para su citación posterior.
La extensión y los objetivos (críticas, estudios de casos, iniciativas y otros) influyen en la mayor o menor citación de la carta, que por otra parte, pueden generar también citas negativas, muchas veces, por el carácter incipiente de su tema.
En éste acápite, se exponen, a partir de una tabla que se elaboró con los datos proporcionados por E. Garfield,3 las características que se observan en la conducta de citación de algunas variedades de trabajos científicos, publicados en revistas (tabla).
Tabla. El tipo de trabajo científico y el impacto de citación.
| Categoría de trabajo | ]]> Productividad (77/82) | Citación (77/82) | ||
| Porcentaje que representa la categoría en el total de cate- gorías | Porcentaje citado por categoría de trabajo (al menos una vez) | Porcentaje que representa el total de citación | Factor de impacto promedio por categoría* | |
| Artículos originales | 16,1 | 92,0 | 59,3 | ]]> 23,1 |
| Editoriales | 12,4 | 47,0 | 3,5 | 5,1 |
| Cartas | 59,5 | 39,4 | 15,2 | ]]> 3,0 |
| Notas | 8,5 | 72,8 | 12,9 | 8,3 |
| Reseñas | 0,5 | 93,9 | 4,2 | ]]> 32,5 |
| Materiales de Conferencias | 0,8 | 90,5 | 3,1 | 19,0 |
| Discusiones | 0,6 | 32,2 | 1,8 | ]]> 14,5 |
| Otros tipos de trabajos | 1,2 | 4,8 | 0,0 | 13,33 |
Total de registros analizados: 42 114
* Número total de citas recibidas entre 1977 y 1982 dividido por el total de trabajos
producidos en el mismo período.
]]> La carta representa cerca de 60% de la producción de trabajos científicos, según su frecuencia de aparición, seguida de los artículos originales (16,1 %) y los editoriales (12,4 %).Los artículos de revisión o reseñas (93,9 %), los artículos originales (92,0 %) y los materiales de conferencia (90,5 %) constituyen las categorías de trabajos con mayores posibilidades de citarse.
Los artículos originales reciben 59,3 % del total de las citas realizadas a todos los trabajos, seguido de las cartas (15,2 %) y las notas (12,9 %).
El factor de impacto promedio por categoría más alto correspondió a los materiales de reseña (32,5). Le siguieron los artículos originales (23,1) y los materiales de conferencia (19,0).
A continuación, se mostrarán algunos de los rasgos más generales que caracterizan a la correspondencia científica en las publicaciones periódicas.
Tanto las revistas generales -Journal of the American Medical Society, New England Journal of Medicine y otras- como las especializadas -por ejemplo, British Heart Journal- en la esfera biomédica dedican una parte de su espacio editorial a la publicación de cartas científicas.10 Sin embargo, la publicación de la correspondencia a los editores en cada uno de los grupos de revistas mencionados presenta un conjunto de características propias. Las principales diferencias son:10
El estudio de las cartas científicas es un tipo de actividad importante porque permite identificar los temas y motivos más frecuentes de debate, el surgimiento de nuevas áreas de interés, etcétera.
Los elementos considerados, permiten suponer que el número de citas que recibe un trabajo, no puede considerarse po sí solo como una medida de su calidad científica propiamente dicha, aunque la sistema-ticidad de la citación, cuando es producto de una selección consciente por parte de los diferentes autores, puede indicar, además de su utilidad, el cumplimiento de ciertas normas generales de calidad científica exigidas, a menudo, por los investigadores como para considerar a los trabajos en realidad valiosos.
Es difícil predecir en un conjunto de citas, qué proporción de ellas se debe a su utilidad y calidad intrínseca, y cuántas a otros factores como son el prestigio de la revista el de la institución, el del autor, etcetera.1
Mientras que el impacto de un trabajo (medido mediante el número de citas recibidas) muestra su eficacia y tal vez su valor, la falta de impacto no indica necesariamente su inutilidad, sobre todo, porque para ser citado se necesita como condición indispensable estar visible y disponible, condiciones que no presentan una correlación clara con la calidad de éste. Al investigar el impacto de un trabajo, es necesario considerar que depende también de la revista en que fue publicado.1 Sucede, además, que trabajos de alta calidad no se citan nunca. Cunado los resultados de un trabajo científico se generalizan e integran en el cuerpo de conocimientos que forma parte de un campo, no se citarán explícitamente.1
Algunas revistas no reciben muchas citas, por cuanto los científicos leen, a veces, las revistas por iguales razones que las de el pueblo para leer los periódicos o porque, aunque se utilizan con gran frecuencia, son revistas cuyos trabajos son básicamente de índole práctica.
El sector práctico de un campo del conocimiento con frecuencia no cita otros trabajos porque el propósito de la lectura, en la mayoría de las ocasiones, difiere del de la realización de trabajos científicos para publicar. La denominada área asistencial dentro de la medicina publica con escasez y, por tanto, cita de igual forma; por lo que resulta realmente difícil contemplar a esta esfera en los análisis de citación que de la literatura médica se realicen.
La influencia de una publicación, por ejemplo, con una alta orientación clínica puede reconocerse de forma diferente a cómo se realiza con una revista que contiene un gran número de investigaciones básicas. La primera no se citará con frecuencia en otros trabajos, porque está dirigida a un sector que de manera habitual no escribe sino que consume y aplica. Su influencia puede medirse fundamentalmente mediante sus efectos (por ejemplo, cambio de conducta diagnóstica y terapéutica) en la práctica clínica.
]]> El uso sin previo análisis de los datos que se derivan de los estudios de citas, como criterio único o, incluso, como el más importante para valorar la literatura científica puede generar errores graves al no proporcionar un panorama real. En la mayoría de los estudios que han tratado de establecer correlaciones entre éstos y otros indicadores de calidad científica, se han generalizado dichas relaciones, desde ejemplos de científicos eminentes hasta la totalidad de las poblaciones de éstos (extrapolación a poblaciones con condiciones diferentes a las de los estudios).1En los mencionados grupos de científicos eminentes, los análisis de las citas y las evaluaciones generales emitidas por ellos acerca de los trabajos estudiados se han correlacionado bien, con valores que oscilan entre 0,5 y 0,8.11
En este sentido, también es bueno recordar la variabilidad natural y circunstancial que presenta la evaluación de expertos en general. Se ha de considerar que la cita es una acción de consumo o utilización y que dichas acciones obedecen, en cierta medida, a la valoración positiva o negativa que del trabajo o de la publicación haya realizado el especialista con antelación. Es de suponer, entonces, que las valoraciones positivas de las publicaciones se confirmen más tarde, al menos en la esfera de las investigaciones, mediante la realización de citas a esas publicaciones valoradas como satisfactorias anteriormente. El análisis de citas contiene, en cierta medida, una valoración -que casi en la totalidad de los casos resulta positiva- de los expertos sobre la publicación que se estudia por cuanto la utilización de cualquier trabajo científico, en la mayoría de las veces, está acompañada de una valoración del material utilizado.
Sin embargo, sucede con cierta frecuencia que los especialistas citan revistas en sus trabajos, las cuales no han considerado en sus opiniones e incluso en algunos momentos han valorado negativamente. Esto hace pensar, que los métodos tradicionales de recogida de las valoraciones (opiniones, juicios, preferencias, etc.) de los expertos acerca de las publicaciones por ellos conocidas, no son capaces de abarcar el conjunto total de revistas que después citan. Esto ocurre porque los especialistas en general sólo recuerdan un pequeño conjunto de publicaciones que en ciertas ocasiones le han proporcionado trabajos útiles.
Aun con lo expuesto antes, sucede en pocas ocasiones que las revistas que se han valorado negativamente se citen en forma regular después. Existe, por tanto, un enlace necesario y determinante entre la valoración que emite un individuo y su acción de utilización. La no utilización o consumo de objetos valorados en forma positiva por los sujetos obedece, en general, a limitantes situacionales como la accesibilidad, los costos, las barreras idiomáticas, la falta de preparación para su utilización, etc. La cita como producto final de un proceso valorativo resulta algo tan complejo y difícil de desentrañar en sus verdaderos mecanismos motivacionales, como las evaluaciones tradicionales de los expertos.
Existen reservas en cuanto a la utilización de los análisis de citas para la selección de publicaciones periódicas en las instituciones de información. Muchos de dichos estudios no responden al contexto particular de la institución que exhiben, por demás, una considerable variación en sus entornos.
Los análisis de citas generales no se ajustan a ninguna comunidad o situación en particular sino que se basan en el análisis de la corriente internacional de publicaciones -que con frecuencia no abarca a los países subdesarrollados y sus comunidades de científicos-, razón por la cual no se corresponden con las necesidades de ninguna institución en particular. Poseen sólo una utilidad general. En ellos, con frecuencia, no se consideran los costos, la disponibilidad de las publicaciones, el número de trabajos potencialmente útiles, el cubrimiento en los servicios de información secundaria, todos los cuales son factores influyentes en la utilización final de una entidad informacional.
Un análisis de citas, por sí solo, no puede sustituir el juicio humano objetivo y explícito, único en verdad válido para decidir directamente la utilidad real y la calidad de un trabajo.
Ahora bien, antes de terminar con esta sección, se mostrarán brevemente algunas medidas consideradas como de interés para las evaluaciones de las publicaciones periódicas dentro de esta alternativa metodológica.
Otro indicador que se utiliza para evaluar revistas es aquél que divide el número total de citas que recibe una publicación determinada en un conjunto de revistas estudiadas, por el número total de referencias que realiza la revista estudiada a todas las demás revistas analizadas. En este caso, se está ante una medida que pretende hallar el balance que existe entre la importación (citas recibidas) y la exportación de referencias. Cuando el valor de este indicador es superior a 1, indica que la importación (es decir, el número de citas que recibe) es mayor que la exportación (es decir, el número de referencias que ésta realiza de todas las demás revistas). Cuando el valor es igual a la unidad existe, entonces, un balance entre la importación y la exportación de referencias. En el caso de que la exportación de referencias sea menor que la importación de citas, la evaluación de la revista es considerada como deficiente.
Una alternativa a los indicadores expuestos la constituye aquélla en la cual se divide el número de veces que las revistas de un conjunto en estudio citan a la publicación que se evalúa, por el número total de citas realizadas por dicho conjunto a todas las revistas. Este tipo de medida pertenece a las denominadas como de influencia. Este indicador mide qué proporción del total general de citas realizadas por todas las revistas, corresponde a la revista evaluada. Puede expresarse en porcentaje mediante la multiplicación del valor obtenido por 100.
Para la aplicación de cualesquiera de estos indicadores y la interpretación de sus resultados, es necesario el cumplimiento de algunas condiciones esenciales como son que en el conjunto de revistas evaluadas no se deben mezclar publicaciones de distintas especialidades o temáticas, ni de diferentes esferas -especialmente las del sector investigativo y práctico-; y se debe separar del análisis aquellas revistas cuyo tipo de trabajo básico publicado sea el artículo de revisión o reseña. Las revistas que contribuyen al conocimiento de una disciplina se diferencian en sus patrones de citación de las revistas que soportan su práctica.
La presencia de estas condiciones resulta de gran importancia, por cuanto se ha podido determinar que el comportamiento de los parámetros de citación varía, con gran frecuencia, cuando cambia el campo temático, el sector analizado o el tipo de trabajo básico publicado en la revista.
Por último, es preciso aclarar que las citas y las referencias mencionadas en este trabajo no son aquéllas que aparecen como resultado del procesamiento analítico-sintético que de las publicaciones primarias se realiza regularmente en los servicios de información secundaria, sino a aquellas entidades reconocidas por el autor de un trabajo como fuentes de las ideas o conocimientos por él expuestos y que en general se ubican en el contenido de trabajo o en una lista al final de éste.
Las referencias registradas en los productos de información secundaria contienen, además de los datos -autor; título del trabajo; título, volumen, número y páginas de la publicación donde se encuentra- exigidos regularmente para identificar cualquier trabajo, otros elementos como la institución o afiliación del autor, los términos índices que representan la temática y los países, entre otros. Esto ofrece posibilidades más diversas de describir un flujo de literatura que el que proporcionan las citas contenidas en los trabajos científicos.
Aun cuando las referencias de los trabajos científicos ofrecen un número menor de elementos, objetos de posibles análisis, éstos contienen, en sí mismos, el reconocimiento de la importancia o la influencia que ejerció el trabajo citado en la realización de la obra del propio autor.
Las referencias registradas en los productos de información secundaria, son el resultado de una selección general realizada por la institución que los crea; sin embargo, no involucran una evaluación de su utilidad real tal y como la indican las citas aparecidas en los trabajos científicos.
Los elementos expuestos a lo largo del presente trabajo permiten valorar tanto la confiabilidad y la adecuación de los resultados de las evaluaciones obtenidas mediante los análisis de citas, como posibilitar su mejor conocimiento y uso en el contexto de las instituciones de información. ]]>
Currently, the analysis of quotations constitutes one of the types of researches that is more frequently carried out so as to determine the impact on different information entities such as authors, institutions, publishing houses, countries and publications in the scientific processes. The theoretical bases of this type of assessment, the motivation of authors to quote other papers and some of the factors that influence on the number of quotes present in papers and publications from the biomedical sector are exposed. It is also expressed the impact of scientific mailing in the total volume of quotations from a title.
Subject headings: CITATION ANALYSIS; SERIALS; PUBLISHING EVALUATION; IMPACT FACTOR.
Recibido: 15 de junio de 1998.
Aprobado: 14 de julio de 1998.
Lic. Rubén Cañedo Andalia. Centro Nacional de Información de Ciencias Médicas. Calle E No. 452 e/19 y 21. El Vedado. Ciudad de La Habana. Cuba. CP 10400. ]]>