ARTÍCULO DE REVISIÓN

 

Criterios, clasificaciones y tendencias de los indicadores bibliométricos en la evaluación de la ciencia

 

Criteria, classifications and tendencies of bibliometric indicators in the evaluation of the science

 

 

María Josefa Peralta González,^I Maylín Frías Guzmán,^I Orlando Gregorio Chaviano^II

^I Universidad Central "Marta Abreu" de Las Villas, Santa Clara, Villa Clara, Cuba.
^II Departamento de Ciencia de la Información. Pontificia Universidad Javeriana. Bogotá, Colombia.

---

RESUMEN

El presente trabajo se realiza con el objetivo de enunciar los referentes teóricos sobre clasificación de indicadores bibliométricos en la literatura científica a partir de criterios, clasificaciones y tendencias que se manifiestan en el contexto internacional. Se enfatiza en el desarrollo de los indicadores de impacto en los sistemas de información científica a través de valoraciones respecto al uso del factor de impacto y sus derivados, así como en la normalización y ponderación matemática para establecer comparación entre diferentes disciplinas científicas. Se abordan conceptualmente las nuevas tendencias de la medición del impacto científico en la Web: los llamados altmetrics.

Palabras clave: bibliometría, bases de datos, indicadores bibliométricos, sistemas de información científica.

---

ABSTRACTS

The objective of this work is to state the theoretical framework about the classification of bibliometric indicators in the scientific literature from the criteria, classifications and trends emerging in the international context. The emphasis is on the development of impact indicators in systems of scientific information through assessments regarding the use of impact factor and its derivatives, as well as standardization and mathematical weighting to establish comparisons between different scientific disciplines. New trends to measure the scientific impact on the Web, called almetrics, are conceptually addressed.

Key words: bibliometric, databases, bibliometric indicators, scientific information systems.

---

 

INTRODUCCIÓN

La Bibliometría se entendió, desde sus orígenes, como la disciplina encargada de la medida de los libros.^1-3 En las primeras décadas del siglo XX, su alcance fue limitado al ámbito de los libros y sus análisis se concentraron en el comportamiento del discurso escrito de las publicaciones y de un área temática en particular, en un momento en que la proliferación de una variedad de soportes comenzó a ser evidente.

El objeto de estudio de la Bibliometría y su condición de herramienta o disciplina instrumental de la Bibliotecología se debatió en la literatura especializada. Su génesis en el ámbito bibliotecológico se asoció a la gestión bibliotecaria.⁴ Durante la década del 70 y del 80 del siglo XX, consolidó su carácter interdisciplinar y se reconoció como el método de análisis y medición de los documentos científicos. Estos se convirtieron en su principal interés sin obviar los fines que ocasionaron su génesis.²

En el campo de las disciplinas informativas, se convirtió en un método para la contabilización de la cantidad de documentos y adecuar los recursos disponibles a las necesidades de información de los usuarios, así como cubrir tasas de información en un área de la ciencia. Por su parte, en la recuperación de información se auxilió del desarrollo de mapas cognitivos para facilitar la obtención de información relevante y de aspectos estadísticos del lenguaje natural y los lenguajes documentarios.

"Reducir las posibilidades de la Bibliometría a la modelación bibliográfica, como es el análisis de la dispersión de la fuentes, la productividad de los autores o la obsolescencia de la literatura (algunas de sus aplicaciones más conocidas) es condenarla a una suerte de subdesarrollo disciplinar (...); aplicar sus modelos exclusivamente a la selección y adquisición de la literatura es limitar sus potencialidades. Sin embargo, los límites de esta ciencia aún no han sido encontrados".⁵

En la actualidad constituye "un medio para situar la producción de un país con respecto al mundo, una institución en relación con su país y hasta los científicos en relación con sus propias comunidades".⁶ Presta también atención al estudio del comportamiento de comunidades y disciplinas científicas a través de los resultados de las investigaciones,⁷ así como las motivaciones y proyectos de redes de investigadores, grupos e instituciones. Proporciona indicadores para medir la producción y la calidad científica, y ofrece una base para la evaluación y orientación de la investigación y desarrollo (I+D). Las tendencias de la ciencia y la tecnología son examinadas a través del comportamiento de la producción de artículos científicos y registros de propiedad intelectual.

Su uso no se restringe al listado cuantitativo de referencias publicadas o no publicadas de un autor, país, temática o región. Abarca, además, las frecuencias y tendencias de las citas bibliográficas que inciden en el impacto y la visibilidad, las relaciones de colaboración internacional o nacional que se establecen entre autores o instituciones, así como los canales por los que circula la información registrada.

Las herramientas fundamentales para la aplicación de la Bibliometría lo constituyen los indicadores bibliométricos, utilizados ampliamente en la evaluación de las producciones científicas en diferentes dominios del conocimiento y de las comunidades científicas. Su definición se ha producido vinculada a las particularidades de la producción bibliográfica y del desarrollo de la ciencia y la técnica. Estas herramientas describen y evalúan un fenómeno a través de medidas cuantitativas. Cumplen dos importantes funciones: la descriptiva —en la medida que caracteriza el estado de un sistema— y la valorativa, que juzga ese estado, según una perspectiva deseable.

La selección de los indicadores a utilizar en determinados estudios depende de múltiples factores y se complejiza por la gran variedad de propuestas existentes en la literatura científica sobre el tema y la aplicación de estos a diferentes casos de estudio. En la actualidad continúan evolucionando fundamentalmente en la medición del impacto científico desde el factor de impacto hasta los indicadores altmetrics, que miden la comunicación científica en la Web 2.0, de gran utilidad en la evaluación y gestión de la investigación.

Este fenómeno ha condicionado la existencia de una vasta tipología para el uso de los indicadores bibliométricos, que dificulta, en ocasiones, su selección en el contexto de investigación. ¿Qué criterios se establecen para su agrupación? ¿Qué clasificaciones se identifican en la literatura? ¿Qué tendencias se vislumbran en el desarrollo de indicadores bibliométricos en el ámbito internacional? Estas son interrogantes que guían el presente trabajo.

Conocer y entender las diversas clasificaciones, criterios y tendencias en torno al uso de los indicadores, posibilita ampliar el espectro y la concepción sobre el tema; encauza la organización metodológica de estudios bibliométricos sin obviar relaciones de subordinación, exclusión e inclusión de estos y favorece su aplicación según necesidades y acorde con el objeto de estudio planteado, importante para investigaciones futuras.

 

LOS INDICADORES BIBLIOMÉTRICOS EN LA LITERATURA CIENTÍFICA

El presente trabajo es una investigación documental que muestra y analiza los fundamentos y clasificaciones de los indicadores bibliométricos y sus tendencias actuales, a partir de la amplia dispersión de clasificaciones y fundamentos existentes sobre el tema en la literatura científica. Desde los objetivos del trabajo se caracteriza como descriptiva.⁸

Los indicadores bibliométricos constituyen herramientas de la Bibliometría. Como instrumentos de evaluación cuentan con una historia reciente. Su empleo se inició en los años 70; sin embargo, a partir de la década del 80 del siglo XX se impulsó la investigación sobre estos, lo que repercutió en la proliferación de una variedad de términos utilizados por un sinfín de estudiosos del tema. En la década del 90 se consolidó su uso y se combinaron con técnicas de representación visual. Desde su nacimiento pretendieron examinar el comportamiento de la información registrada en los libros y publicaciones científicas; sin embargo, la intención no se circunscribe a estas solamente. Permiten cuantificar el comportamiento de la producción bibliográfica y la comunicación científica. El cuadro 1 muestra su alcance a partir del examen del objeto de estudio de la Bibliometría considerado por algunos teóricos. Existen diversos criterios de clasificación, pero de manera general convergen en dos agrupaciones esenciales: una división en indicadores de productividad, visibilidad o impacto y colaboración, y otra en unidimensionales y multidimensionales.

En las definiciones anteriores se observa que el objeto de análisis son los documentos en su conjunto para el estudio de elementos vinculados a su creación y uso. Los libros y las publicaciones periódicas constituyeron el centro de atención de los estudios bibliométricos. Se destaca la particularidad de atender aquellos que han sido publicados. Su aplicación en la evaluación de fondos y colecciones en las bibliotecas propició el análisis de otras tipologías documentales.

"Los elementos cuantificables en los cuales se basan los estudios bibliométricos provienen de dos fuentes: las referencias y las citas, vocablos con significado y papel específicos. El primero se usa para designar a la unidad fuente o documento de origen, mientras que la cita corresponde al documento citado".⁹ Su vínculo con la actividad científica relaciona su empleo en la evaluación de la calidad de la producción científica.¹⁰ Se definen como medidas basadas habitualmente en recuentos de publicaciones, que persiguen cuantificar los resultados científicos atribuibles bien a unos agentes determinados, bien a agregados significativos de esos agentes.¹¹

Sanz y Martín no limitan la concepción del término a los datos extraídos de las publicaciones. Amplían la definición a los datos que solicitan los usuarios, y permiten el análisis de la producción y el consumo de información.^12,13 Por su parte, algunos autores no reducen el campo de aplicación de los indicadores a la literatura científica. Para ellos constituyen una medición agregada y compleja que permite describir un fenómeno, su naturaleza, su estado y su evolución. Ofrecen el alcance y el límite de los fenómenos a través de medidas cuantitativas.^13-15

Varios modelos matemáticos se emplean en los estudios métricos que derivan indicadores de comportamiento de la información. Vinculados a la Bibliometría, son significativos los que analizan el comportamiento de la producción y la comunicación científica (cuadro 2).²

Por su parte, la distinción entre indicadores es a veces difusa en el ámbito bibliométrico por la variedad de tipologías existentes derivadas de los diferentes intereses evaluativos. Algunos investigadores prefieren nombrarlos sin especificar su categoría, lo cual genera polémicas en el plano teórico, mientras que otros los agrupan en clasificaciones específicas (cuadro 3).

También, la tipología está en función del recuento, uso y relaciones de los elementos bibliográficos. Para Sancho, los indicadores de calidad están basados en percepciones (peer review).^15,16 De manera general las clasificaciones básicas corresponden a la producción o actividad e impacto o calidad. En ocasiones se desglosan separados los referidos a la colaboración y relación. El cuadro 4 revela una clasificación general a partir de los juicios de varios autores, basados en las variables publicaciones y citas. Las tipologías de indicadores fueron perfeccionándose en el tiempo mediante la práctica bibliométrica.

Los indicadores de producción o actividad se basan en la enumeración y cuantificación de los documentos que se generan. Para Maltrás, "persiguen cuantificar los resultados científicos atribuibles bien a unos agentes determinados, bien a agregados significativos de esos agentes (...). Los agentes elementales son los investigadores, pero es más frecuente calcular indicadores de producción referidos a agregados como instituciones, regiones, países o disciplinas".¹¹ Los indicadores de impacto, visibilidad o calidad son los más polémicos y cuestionables en el ámbito bibliométrico. Se refieren al valor final, influencia o repercusión de los documentos en el resto de las publicaciones. Están asociados a las direcciones que alcanzan las citas bibliográficas y generalmente se vinculan al factor de impacto e índice de citaciones. Son indicadores parciales de la originalidad, claridad, importancia e influencia de las publicaciones, aunque su resultado final está condicionado por la producción científica de la variable o agregado que se está evaluando.¹¹

Los indicadores de colaboración miden las relaciones que se establecen entre los productores en la elaboración de un resultado que surge del esfuerzo cooperativo. Se dividen en dos categorías: simple y relacional. Los indicadores simples ofrecen información sobre las características o el nivel de colaboración que exhibe la producción científica, mientras los relacionales se centran en la representación gráfica de las redes de colaboración que se establecen.¹¹ En el cuadro 5 se agrupan indicadores con categorías de acuerdo con los criterios de Maltrás y Camps, donde se recogen los más importantes indicadores existentes a la fecha.

Callón y Courtial ofrecen un desglose de indicadores acorde con una segmentación general que agrupa los de producción, visibilidad e impacto, y colaboración, como indicadores de actividad.¹⁹ En ese apartado se inscriben los indicadores de colaboración simple. Una clasificación similar a la realizada por Callón y Courtial se utilizó en estudios bibliométricos en universidades españolas.^20-25 Esta clasificación amplía y actualiza los indicadores basados en el factor de impacto incluyendo los incorporados por el WoS y Scopus, así como el índice h. Incorpora una clasificación de indicadores no bibliométricos útiles para medir el número de documentos producidos a nivel institucional incluyendo otra tipología de productos de investigación (cuadro 6).

Otra clasificación general está en función de la técnica estadística utilizada en la obtención de los indicadores bibliométricos. Según este criterio, se clasifican y agrupan en dos categorías esenciales: unidimensionales y multidimensionales (cuadro 7). Los unidimensionales están basados en la estadística univariable y reflejan una única característica del objeto estudiado. Para Sanz y Martín, miden una característica de los documentos publicados o de los recursos económicos invertidos en la actividad científica, sin tomar en cuenta algún vínculo común entre ellos. Los bi o multi dimensionales se basan en técnicas estadísticas multivariables y su aplicación facilita el estudio conjunto de distintas variables, así como de las relaciones que se establecen entre estas.

Según Sanz y Martín, "permiten tener en cuenta, de modo simultáneo, las distintas variables o las múltiples interrelaciones que pueden ser observadas en los documentos, o en los hábitos y necesidades de información de los usuarios".¹² Su examen se produce sobre la base del conteo de matrices de datos y la representación de la coocurrencia de las variables comunes. La agrupación de los indicadores bibliométricos, según esta clasificación, varía en la literatura. El cuadro 8 muestra una tipología a partir del criterio de Sanz y Martín. Los indicadores de producción y visibilidad se corresponden con los unidimensionales, aunque existen algunos indicadores de colaboración que se integran al criterio anterior. Su examen y representación depende, en la mayoría de los casos, de análisis multivariante que los subordinan a los multidimensionales.

 

DESARROLLO DE LOS INDICADORES BIBLIOMÉTRICOS EN LOS SISTEMAS DE INFORMACIÓN CIENTÍFICA

Los indicadores bibliométricos han sido tan criticados como definitivos en la evaluación científica. Por muchos años, los indicadores bibliométricos del antiguo Institute for Information Science (ISI), ahora Thomson Reuters, han sido el recurso fundamental para la toma de decisiones en materia de políticas científicas. El factor de impacto (FI) de Eugene Garfield, fue el punto de partida de una avalancha de indicadores basados en el número de publicaciones y en el conteo de citas, a pesar de las críticas y sesgos. Seglen los resume desde cuatro sesgos fundamentales:^26,27

- No muestra la diferencia de la citación de los artículos en una revista. Estadísticamente no es una representación estadística de un artículo individual.

- El FI de una revista no tiene en cuenta la calidad científica de los artículos.

- Depende del comportamiento y desarrollo de la investigación en las áreas o campos científico. Los hábitos de citación, la frecuencia y la dinámica son diferentes en los campos de investigación.

- Las tasas de citaciones de los artículos determina el FI de una revista y no viceversa.

Los sesgos planteados por Seglen están sustentados en que resulta inapropiado realizar comparaciones entre el número de citas generadas por diferentes campos científicos, ya que el potencial de citación puede variar significativamente de un campo a otro;^26,30 en otras palabras, diferentes campos científicos poseen diferentes prácticas de citación.^31,32

Otros criterios abordados en la literatura redundan en las diferencias en el impacto según la tipología de artículos publicados por las revistas. Por ejemplo, los artículos de revisión “review” son altamente citados, e influyen en el FI de una revista. La extensión de los artículos también puede influir o no en el promedio de citas por documento, así como en la preferencia idiomática para referenciar artículos del mismo idioma por parte de los autores. El sesgo idiomático y la cobertura incompleta respecto a la tipología documental continúan predominando en los sistemas de información científica.

Las principales limitaciones señaladas al factor de impacto se refieren a la medición de la cantidad y no de la calidad de los resultados de los trabajos publicados, la asignación de iguales valores a todos los artículos, la influencia igualitaria de las citas en la totalidad de los trabajos en una muestra y la totalidad de las publicaciones las cuales no reflejan toda la actividad científica de un contexto determinado, factores a tener en cuenta en los procesos evaluativos de dominios científicos.

El desarrollo de indicadores bibliométricos basados en el factor de impacto ha estado aparejado con la aparición de competencias entre sistemas de información científica y sistemas de rankings. Thomson Reuters y Scopus han creado una gama de indicadores bibliométricos que permiten la realización de análisis cuantitativos y cualitativos de diferentes dominios científicos, según sea el objeto a medir; sin embargo, las propias limitaciones reflejadas por los especialistas en el tema han propiciado el desarrollo y el perfeccionamiento en su aplicación. En este sentido, la calidad de un trabajo publicado no debe ser entendido como el conteo de las citas recibidas, aunque en este punto el supuesto trabajo ha transitado por un método de evaluación científica: la revisión por pares.

La evaluación por pares, continúa siendo estudiada como método o procedimiento llevado a efecto en la ciencia para evaluar la calidad de un artículo y por qué llega a ser publicado o no. Este punto tiene sus controversias tanto económicas como subjetivas desde los procesos editoriales con el movimiento de acceso abierto a la información científica, acrecentado con la reciente inclusión de Scielo al Thomson Reuters y los esfuerzo de Latindex por elevar la visibilidad e impacto a la producción científica en Latinoamérica.³³ Lo cierto es que cantidad no es igual a calidad, pero ambas pueden complementarse según los propósitos y alcances de un estudio bibliométrico.

La asignación de iguales valores a la totalidad de los artículos en la metodología bibliométrica, es un elemento al que han aparecido alternativas matemáticas con el surgimiento de los indicadores alternativos al factor de impacto. Scopus y Thomson Reuters apuestan por modelaciones de indicadores bibliométricos aplicados a revistas científicas que utilizan la ponderación matemática, eliminan las autocitas y amplían el período de citación; tal es el caso de los indicadores alternativos al factor de impacto: El Eigenfactor (Eigen) y el Scimago Journal Rank.33-36 A pesar de estas alternativas, permanece la limitación referida al traslado del valor del indicador general de una revista a los artículos que la componen, si se tiene en cuenta que no todos los artículos contribuyen de forma similar al total de citas recibidas.³⁷

El Scimago Journal Rank (SJR),³⁸ es un indicador con acceso abierto, basado en los datos de la información científica indizada en Scopus; toma las variables de las citas y los trabajo publicados de manera similar al factor de impacto, pero en este caso le asigna diferentes pesos a la citación teniendo en cuenta el prestigio de la revista citante (estimado con el algoritmo del Page Rank de las revistas en la red) y elimina las autocitas.^39,40 Las ventajas del SJR frente al FI se refieren a la facilidad de acceso a los datos, mayor cobertura y variedad de tipología documental, lenguaje y países de las publicaciones.³⁹

Otros indicadores como el Article influence score (Score) y el Source normalized impact per paper (SNIP) son utilizados por Thomson Reuters y Scopus en la búsqueda competitiva de nuevos análisis cada vez más normalizados, con el fin de disminuir los sesgos que los análisis de citas introducen en los estudios bibliométricos. El Score se origina del Eigenfactor; se define como la influencia media del Eigen e incluye la variable trabajos publicados. Article influence mide la influencia media de los artículos de las revistas y se basa en el mismo cálculo iterativo que Eigenfactor, pero teniendo en cuenta el número de artículos de la revista. Se asemeja más al FI y SJR.^37,41

Por su parte, el SNIP se define como la razón del número de citaciones por artículo y la citación potencial en un campo científico determinado. Desarrolla las nociones de Eugene Garfield sobre "citación potencial", definido como la longitud media de las listas de referencias en un campo y la determinación de la probabilidad de ser citado.

Algunos estudios analizan este fenómeno para introducir y estudiar estos indicadores en evolución. Han sido utilizados en revistas de diferentes campos científicos y se ha demostrado el funcionamiento similar entre los indicadores bibliométricos adquiridos por Thomson Reuters (Eigenfactor y Article influence score) y los de Scopus en la evaluación bibliométrica de revistas científicas; así también la similitud entre el AIS y el FI al proveer similares rankings de revistas médicas.^38,42 Se visualiza en estos casos la necesidad de complementar indicadores en determinados campos científicos, teniendo en cuenta el rango de años que utilizan y la cantidad de citas según la variabilidad de las disciplinas científicas.

Los indicadores bibliométricos basados en el FI deben ser normalizados, ponderados y relativizados necesariamente para disminuir los sesgos en comparaciones de revistas científicas. La Bibliometría lleva más de 40 años contando con el factor de impacto y su evolución se despliega a la búsqueda de normalizaciones para estudios de dominios con comportamientos científicos diferentes. Resulta necesario para la interpretación de los resultados de la medición de indicadores bibliométricos, los aspectos cualitativos que caracterizan un dominio científico o el campo científico sujeto a un estudio de este tipo. Esta situación se presenta cuando la unidad de análisis en la metodología bibliométrica pretende comparar producción científica originada no solo de diferentes campos, sino de diferentes estructuras científicas; por ejemplo: instituciones multidisciplinarias, regiones o países y dentro de estos dominios los agregados deseados a comparar.

De manera general, cuando la variable citas interviene en el cálculo del impacto científico se introducen sesgos en la evaluación bibliométrica. Las críticas permanecen aún vigentes: desde el punto de vista editorial, es conocida la manipulación para aumentar dicho indicador, lo que proporciona, indica o sugiere, en los mejores casos, referenciar artículos de revistas prestigiosas. Esto, a su vez, se ha vuelto una estrategia para la publicación de artículos y forma parte del "ABC" cuando los investigadores, profesores o académicos construyen un artículo científico, teniendo en cuenta que la citación de artículos de autores prestigiosos y revistas influyentes puede incidir en el FI de la revista fuente.^42,43

El factor de impacto —entendido como el promedio de citas por documentos, ya sea en dos o 5 años, según en el cálculo— es una medida en una distribución no asimétrica; es decir, la distribución del FI de una revista en ese período de tiempo no se corresponde con una distribución normal, teniendo en cuenta la mencionada contribución no equilibrada de cada “artículo” dentro de la propia revista. Es por eso que en la evolución de la evaluación de impacto científico está implícito el tratamiento matemático. Se observan diferentes tendencias: ponderación de las citas, ampliación de los períodos para reflejar más acertadamente la realidad del impacto, unos incluyen el número de publicaciones de las revistas, otros solo incluyen el conteo de citas.

Lo anterior viene aparejado con la cobertura territorial, lingüística y de campos científicos en ambas bases de datos multidisciplinarias. Thomson Reuters, por ser el iniciador de la indización automática de citas, fue el más criticado en la literatura; sin embargo, continúa siendo una plataforma en constante desarrollo, selectiva en sus políticas de inclusión y tan utilizada como Scopus. Los nuevos indicadores mencionados, o también llamados más recientemente indicadores bibliométricos alternativos heredados del factor de impacto, se resumen en la tabla.

Sobre el uso de una u otra base de datos para estudios bibliométricos de la producción científica se ha demostrado lo siguiente:⁴⁴

- WoS no debe ser utilizado solamente para estudiar la citación de un autor o trabajo publicado, ni como como único recurso para análisis de citas e impacto de un autor o publicación.

- Scopus y Google Scholar pueden ayudar a identificar un considerable número de citaciones que no se encuentran en el WoS, dado que ofrecen una imagen más completa y abarcadora del carácter internacional e interdisciplinario de la comunicación científica.

- Se presenta la problemática de las técnicas de medición de Google Scholar para analizar con precisión y eficacia las citas.

- La utilización de uno u otro recurso para la medición depende del dominio científico que se analice.

- En el caso de Scopus una de las limitantes señaladas se refiere a la indización de las citas solamente de 1996.⁴⁵

Teniendo en cuenta estos criterios se han desarrollado estudios para comprobar la capacidad en WoS y Scopus en cuanto al control de autoridades y su repercusión en la visibilidad e impacto de autores e instituciones. Persisten errores en los nombres de los autores, lo cual puede influir en el cálculo del índice h en ambas bases de datos como indicador incluido.⁴⁶ Por otra parte, se ha comprobado que no existen diferencias entre ambas fuentes de datos en cuanto a los datos de las publicaciones. Se encontró mejor representación de la temática en las categorías, así como las omisiones de datos de afiliación de autores de Scopus.

 

ALTMETRICS O INDICADORES ALTERNATIVOS EN LA MEDICIÓN DEL IMPACTO DE LA INVESTIGACIÓN CIENTÍFICA

Los altmetrics o indicadores alternativos se refieren a las posibilidades de recuento en la Web social, exactamente a los "me gusta", de Facebook, favoritos compartidos, tweets para evaluar la información científica.⁴⁷ De aparición reciente, se definen como creación y estudio de nuevos indicadores basados en la Web 2.0 para el análisis de la actividad académica y considerados alternativos al medir formas no convencionales de la evaluación de la actividad científica.^47,48 Las menciones en blogs, el número de tweets o el de personas que guardan un artículo en un gestor de referencias como, Mendeley, puede ser una medida válida del uso y la repercusión de las publicaciones científicas. En este sentido, estas medidas se han situado en el centro del debate de los estudios bibliométricos y han cobrado especial relevancia.^48,49 Un punto de partida es la Declaración de San Francisco, la cual reconoce la necesidad de mejorar la forma en que se evalúan los resultados de la investigación científica y de fomentar un cambio hacia la evaluación basada en el contenido científico del artículo en lugar de métricas sobre la revista en que fue publicado.⁴⁹

El origen de estos indicadores se relaciona con la webmetría al tener en cuenta variables de medición a sitios online, con lo que justifican métodos y modelos bibliométricos e informétricos al estudio de la información científica disponible en la web.^2,48 En la terminología conceptual respecto a los indicadores alternativos, confluyen varias disciplinas científicas, entre ellas la comunicación, teniendo en cuenta las evidentes relaciones de comunicación científica y el contenido hipertextual a través de los links.

El estudio del impacto de la información científica en la Web se extrapola a partir de la concepción de la cita mediante el estudio de links. La diferencia entre las citas y los links radica en la dirección manifiesta. La cita es unidireccional porque solo una publicación anterior puede ser referenciada y recibir una cita por parte de otra publicada posteriormente y no de forma inversa. Las relaciones entre los links son de forma bidireccional por las características del contenido. El contexto o propósito que generan los links son totalmente diferentes a los que genera una cita o referencia; estas últimas incluyen una relación de responsabilidad con los contenidos del documento referenciado o citado, mientras que en los links esto no sucede.^2,50

Con el surgimiento de múltiples plataformas que permiten compartir de manera libre todo tipo de información y enlazarse a través de la Web 2.0, la actividad científica y académica también se ha visto beneficiada: redes sociales académicas, gestores de referencias online, repositorios de acceso abierto e índices de citas abiertos, como Google Scholar y Data Sharing, son tendencias que han permitido obtener mayor rendimiento de los recursos invertidos en la ciencia y mayor transparencia.⁵¹

De cara a la medición del impacto científico, las técnicas webmétricas y las bibliométricas experimentan una imbricación, a partir de las críticas históricas del factor de impacto y con el surgimiento y desarrollo de los recientes productos del Google Académico. La fortaleza fundamental de los indicadores altmetrics radica en que ofrecen datos, casi a tiempo real, de la repercusión de un trabajo en diferentes niveles de agregación. Las principales limitaciones se refieren a:

- La difícil jerarquización de los indicadores, de cara a las variables a medir. En este sentido el ordenamiento en forma de rankings, teniendo en cuenta la fuente o plataforma utilizada.

- Algunos artículos científicos apenas tienen impacto en las redes sociales; sin embargo, en otras fuentes —como bases de datos e índices de citas— poseen resultados más sólidos.

- Impacto científico versus impacto social de la actividad científica.

- Variabilidad de los indicadores altmetrics producto del surgimiento y permanencia de las fuentes, así como su validez, por lo que la información es efímera, lo que dificulta reproducir los resultados al ámbito científico.

A su vez, se han realizado taxonomías o clasificaciones de los indicadores altmetrics. Los criterios de clasificación se basan en las plataformas para la medición⁴⁸ y las variables a medir.⁵² Aunque algunas de estas plataformas miden la reputación de un investigador de forma individual, un grupo de colegas pueden ser el reflejo de una institución. La reputación de un investigador y la interacción entre los grupos incide en su score, pues no solo tiene en cuenta cómo los colegas contribuyen y evalúan los trabajos sino también en quiénes son estas personas, lo cual significa que cuanto mayor sea la puntuación de los que interactúan, más posibilidades de aumentar el RG Score de un investigador y reflejar una posición dentro de la comunidad científica.⁵³

 

CONSIDERACIONES FINALES

Los indicadores bibliométricos deben su surgimiento y evolución a las particularidades de la producción bibliográfica, lo que permite el estudio del comportamiento de comunidades y disciplinas científicas a través de los resultados de las investigaciones.

La literatura científica sobre indicadores bibliométricos recoge amplia variedad de criterios y clasificaciones según la bibliografía referenciada. Pueden ser utilizados desde los diferentes objetos de estudios de la Bibliometría como especialidad métrica de la información. Se derivan de dos regularidades fundamentales: la producción científica y la comunicación científica, y estas, a su vez, originan tipologías agrupadas en la producción, visibilidad e impacto, y colaboración científica. La tipología de los indicadores bibliométricos resulta difusa en la literatura. Está en función del recuento, uso y relaciones de los elementos bibliográficos, y fueron perfeccionándose a partir de la propia práctica de los procedimientos bibliométricos. Los indicadores bibliométricos basados en el factor de impacto y el número de citas han sido los más polémicos en la literatura científica, cuyas causas están centradas en la motivación para la citación, el peso de la cita de un artículo respecto al total de las citas que recibe la revista y el comportamiento de la citación en diferentes áreas temáticas de la ciencia. Este fenómeno ha originado la evolución hacia indicadores alternativos en los sistemas de información científica, para la evaluación de la ciencia en revistas, instituciones y países.

El desarrollo y evolución de los indicadores bibliométricos ha estado inclinada a los indicadores derivados del factor de impacto en busca de normalizaciones para la comparación entre campos científicos. Los sistemas de información científica los incluye con el fin de minimizar sesgos en los estudios comparativos y ranking de dominios científicos. Más recientemente la Bibliometría se imbrica con el desarrollo de la Webmetría, y ha generado los llamados indicadores altmetrics para medir las formas no convencionales de la actividad científica y académica. Estos indicadores posibilitan medir, casi a tiempo real, el impacto científico a través de la interacción de los dominios en la Web 2.0. Los indicadores bibliométricos ofrecen en la actualidad perspectivas interesantes a partir de la posibilidad de su uso en la gestión y evaluación de la investigación, a niveles micro, meso y macro, específicamente en la selección de revistas para publicar resultados de la investigación, gestionar proyectos de colaboración, diseñar políticas científicas y agendas de investigación, entre otras.

 

REFERENCIAS BIBLIOGRÁFICAS

1. Martínez A. Estudios métricos de la información: selección de lecturas. La Habana: Editorial "Félix Varela"; 2004.

2. Gorbea Portal S. Modelo teórico para el estudio métrico de la información documental. Gijón, España: Ediciones Trea; 2005.

3. Egghe L, Rousseau R. Introduction to informetrics: Quantitative methods in library, documentation and information science. New York: Elsevier Science Publishers; 1990.

4. Pritchard A. Statistical bibliography or bibliometrics? J Document. 1969;25(4):348-9.

5. Blatt Oldira ML. Producao Científica em Biblioteconomía no estado de Santa Catarina. Transinformacao. 1997;9(3):68-87.

6. Macías-Chapula CA. Papel de la informetría y de la cienciometría y su perspectiva nacional e internacional. São Paulo: Seminario sobre Evaluación de la Producción Científica; 1998.

7. Leydesdorff L. The evaluation of research and the evolution of science indicators. Studies in Science of Science. 2004;22(3):225-32.

8. Moed HF, Burger WJ, Frankfort JG, Van Raan AF. The use of bibliometric data for the measurement of university research performance. Res Pol. 1985;14:131-49.

9. Hernández-Sampieri R, Fernández-Collado C, Baptista-Lucio P. Metodología de la Investigación. México: McGraW-Hill; 2006.

10. Licea De Arenas J. Indicadores de la actividad científica Scientometrics indicators. Cienc Inform. 1993;24(1):2-6.

11. Maltrás B. Los indicadores bibliométricos: fundamentos y aplicacion al análisis de la ciencia. Gijón, España: TREA, S. L.; 2003.

12. Sanz Casado E, Martín Moreno C. Aplicación de técnicas bibliométricas a la gestión bibliotecaria. Invest Bibliotecol. 1998;12(24):24-40.

13. Iribarren Maestro I. Producción científica y visibilidad de los investigadores de la Universidad Carlos III de Madrid en las bases de datos del ISI, 1997-2003 [Tesis Doctoral]. Getafe: Universidad Carlos III de Madrid; 2006.

14. Arencibia-Jorge R, de Moya-Anegón F. La evaluación de la investigación científica: una aproximación teórica desde la cienciometría. Acimed. 2008 [citado 12 de marzo de 2014];17(4). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352008000400004

15. Elizagaray Fernández B. Ciencias sociales en Cuba: análisis métrico de la producción científica en el período 2000-2008 a partir de la base de datos Cubaciencia [Trabajo de Diploma]. La Habana: Universidad de La Habana; 2010.

16. Sancho-Lozano R. Indicadores bibliométricos utilizados en la evaluación de la ciencia y la tecnología. Revisión Bibliográfica. Rev Esp Docum Cient. 1992;13(34):842-65.

17. Scheneider JW. Concept symbols revisited: Namish clusters by parsing and filtering of nouns phrases from citation contexts of symbols. Scienciometrics. 2006 [citado 12 de marzo de 2014];68(3). Disponible en: http://www.akademiai.com/doi/abs/10.1007/s11192-006-0131-z

18. López Piñero JM, Terrada ML. Los indicadores bibliométricos y la evaluación de la actividad médico-científica (I). Usos y abusos de la bibliometría. Med Clin. 1992;98:64-8.

19. Callon M, Courtial JP, Penan H. Cienciometría. El estudio cuantitativo de la actividad científica: de la bibliometría a la vigilancia tecnológica. Gijón, España: Ediciones TREA; 1995.

20. Bordons M, Zulueta MÁ. Evaluación de la actividad científica a través de indicadores bibliométricos. Rev Esp Cardiol. 1999;52(10):790-800.

21. Camps D. Limitaciones de los indicadores bibliométricos en la evaluación de la actividad científica biomédica. Colomb Med. 2008:74-9.

22. Cabezas-Clavijo Á. Estudio bibliométrico de la producción, la actividad y la colaboración científica en grupos de investigación: el caso de la Universidad de Murcia [Tesis Doctoral]. Granada, España: Universidad de Granada; 2013.

23. Torres-Salinas D. Diseño de un sistema de información y evaluación científica. Análisis ciencimétrico de la actividad investigadora de la Universidad de Navarra en el área de ciencias de la salud. 1999-2005. Granada, España: Universidad de Granada; 2007.

24. de Moya-Anegón F, Solís Cabrera FM. Indicadores bibliométricos de la producción científica de Andalucía: Junta de Andalucía, Consejería de Innovación, Ciencia y Empresa; 2005.

25. Van Raan AFJ. Measurement of Central Aspects of Scientific Research: Performance, Interdisciplinarity, Structure. Measurement. 2005:1-19.

26. Seglen PO. Why the impact factor of journals should not be used for evaluating research. Brit Med J. 1997;314:498-502.

27. Garfield E. Citation indexing. Its theory and application in science, technology and humanities. New York: Wiley; 1979.

28. Garfield E. The use of journal impact factors and citation analysis for evaluation of science. Cell Separation, Hematology and Journal Citation Analysis. Mini Symposium in tribute to Arne Bøyum Cell Separation. Rikshospitalet, Oslo: The Scientist; 1998.

29. Garfield E. Journal impact factor: a brief review. Canadian Medical Association Journal. 1999;161(8):979-80.

30. Aleixandre-Benavent R, Valderrama-Zurián JC, González-Alcaide G. El factor de impacto de las revistas científicas: limitaciones e indicadores alternativos. El profesional de la información. 2007;16(1):4-11.

31. Waltman L, van Eck NJ. Source normalized indicators of citation impact: an overview of different approaches and an empirical comparison. Scientometrics. 2013;2013(96):699-716.

32. Baiget T, Castro P, Aguillo I, Tramullas J. Editoriales OA estafadoras y sin escrúpulos. Indicadores en Ciencia y Tecnología. 2013 [citado 12 de marzo de 2014] Disponible en: https://digitum.um.es/jspui/handle/10201/36536

33. Why eigenfactor. 2014 [citado 10 de marzo de 2014]. Disponible en: http://www.eigenfactor.org/whyeigenfactor.php

34. Grupo Scimago. Scimago Journal & Country Rank: About us. 2014 [citado 10 de marzo de 2014]. Disponible en: http://www.scimagojr.com/aboutus.php

35. Bergstrom CT. Eigenfactor measuring the value and prestige of scholarly journals. Colege & Research Libraries News. 2007:314-6.

36. Bergstrom CT, West JD, Wiseman MA. The Eigenfactor metrics. J Neurosc. 2008:11433-4.

37. Torres-Salinas D, Jiménez-Contreras E. Introducción y estudio comparativo de los nuevos indicadores de citación sobre revistas científicas en Journal Citation Reports y Scopus. El profesional de la información. 2010;19(2):201-7.

38. SJR. SCImago Journal & Country Rank. 2014 [citado 31 de mayo de 2014]; Disponible en: http://www.scimagojr.com/journalsearch.php?q=5100155014&tip=sid&clean=0

39.Falagas ME, Kouranos VD, Arencibia-Jorge R, Karageorgopoulos DE. Comparison of SCImago Journal Rank indicator with journal impact factor. The FASEB Journal. 2008;22:2623-8.

40. Richardson M, Domingos P. The intelligent surfer: probabilistic combination of link and content information in PageRank. 2002 [citado 10 de marzo de 2014]. Disponible en: http://homes.cs.washington.edu/~pedrod/papers/nips01b.pdf

41. Rizkallah J, Sin DD. Integrative approach to quality assessment of medical journals using impact factor, Eigenfactor and article influence. Scores PLoS ONE. 2010;5(4). e10204.

42. Nader Ale E, Hadi S, Mohamed Amin E, Farid Habibi T, Hossein G, Seyed Mohammad M, et al. Effective strategies for increasing citation frequency. Internat Educ Stud. 2013;6(11):93-9.

43. Vanclay JK. Factors affecting citation rates in environmental science. J Informetr. 2013:265-71.

44. Yang K, Meho LI. Citation analysis: a comparison of Google Scholar, Scopus, and Web of Science. Austin, EE.UU. 69th Annual Meeting of the American Society for Information Science and Technology (ASIST); 2006.

45. Jacso P. Calculating the h-index and other bibliometric and scientometric indicators from Google Scholar with the Publish or Perish software. Online Inf Rev. 2009;33(6):1189-2000.

46. Jacso P. Savvy searching: software issues related to cited references. Online Inf Rev. 2007;31(6):892-905.

47. Borrego À. Altmetrics: nuevas formas de medir el impacto de la investigación blok de bid. Barcelona, España: Facultat de Biblioteconomia i Documentació; 2013.

48. Torres-Salinas D, Cabezas-Clavijo Á, Jiménez-Contreras E. Altmetrics: nuevos indicadores para la comunicación científica en la Web 2.0. Comunicar. 2013;XXI(41):53-60.

49. Declaración de San Francisco de Evaluación de la Investigación. Rev Cubana Salud Pública. 2014 [citado 4 de marzo de 2015];40(1). Disponible en: http://www.bvs.sld.cu/revistas/spu/vol40_1_14/spu17114.htm

50. Chu H, He S, Thelwall M. Library and information science schools in Canada and USA: A Webometric Perspective. J Educ Libr Inform Sci. 2002;43(2):110-25.

51. Torres-Salinas D, Robinson-García N, Cabezas-Clavijo Á. Compartir los datos de investigación en ciencia: introducción al data sharing. El profesional de la información. 2012;21(2):173-84.

52. PlumX. Current List of metrics. 2014 [citado 4 de marzo de 2015]. Disponible en: http://www.plumanalytics.com/metrics.html

53. RG Score. A new way to measure scientific reputation. 2014 [citado 25 de marzo de 2015]. Disponible en: https://www.researchgate.net/publicprofile.RGScoreFAQ.html

 

 

Recibido: 15 de diciembre de 2014.
Aprobado: 7 de abril de 2015.

 

 

María Josefa Peralta González. Universidad Central "Marta Abreu" de Las Villas. Santa Clara, Villa Clara, Cuba. Correo electrónico: [e-mail]