CONTRIBUCIÓN CORTA

 

Nuevos indicadores métricos para la evaluación de las publicaciones seriadas científicas y académicas

New metric indicators for evaluation of scientific and academic serials

Lic. Rubén Cañedo Andalia, Dr. C. Jaime Cruz Font

Centro Provincial de Información de Ciencias Médicas. Universidad de Ciencias Médicas de Holguín. Ave. Lenin No. 4 esq. Aguilera. Holguín, Cuba.

---

RESUMEN

La aparición reciente de indicadores novedosos como el Eigen factor, el SCImago journal rank y el Source normalized impact per paper han multiplicado el interés en la evaluación métrica de las revistas científicas y académicas. Como norma, se proponen reducir las limitaciones señaladas en forma reiterada al clásico factor de impacto e introducir nuevas perspectivas para la evaluación de las publicaciones seriadas. Sin embargo, estos también son mucho más complejos desde el punto de vista conceptual y matemático. Por esta razón, antes de su introducción definitiva en la práctica se requiere comprender su significado real, propósitos, relaciones, ventajas y limitaciones, es decir, caracterizar de manera individual y colectiva los indicadores estudiados, así como identificar sus ventajas en relación con el factor de impacto y sus limitaciones en general.

Palabras clave: indicadores métricos, evaluación, publicaciones científicas.

---

ABSTRACT

The recent emergence of novel indicators as the Eigen factor, the SCImago journal rank and the Source normalized impact per paper have increased interest in metric evaluation of scientific and academic journals. As a rule, they intend to reduce the limitations mentioned repeatedly to the classical impact factor and introduce new perspectives for evaluating the use of serials. However, they are also more complex from a conceptual and mathematical perspective. For this reason, before its final introduction into practice, it requires to understand its real meaning, purpose, relationships, strengths and limitations, that means characterize individually and collectively studied indicators and identify their advantages over the impact factor and its limitations in general.

Key words: metric indicators, evaluation, scientific publications.

---

Durante los últimos cinco años, el desarrollo de los indicadores para evaluar la producción científica documental ha experimentado un crecimiento acelerado. No se trata solo de la multiplicación de los indicadores simples para medir la comunicación científica en el Web como el número de visitas, reenvíos y descargas, comentarios recibidos, menciones en servicios de etiquetado (bookmarking) social y en los blogs, las evaluaciones o clasificaciones de los cibernautas y los sistemas (buscadores, repositorios), entre otros sino también de nuevas medidas resumen, desarrolladas para evaluar tanto a las obras y sus creadores como a los vehículos utilizados para su difusión, en particular las revistas científicas. Estas medidas, en general, se proponen reducir algunas de las limitaciones principales del factor de impacto, que constituyó por muchos años el indicador básico para la evaluación de la visibilidad e impacto de la actividad científica en diferentes contextos.

Pero la utilización de estos indicadores requiere de la comprensión previa de su significado, limitaciones y ventajas. La presente contribución se propone, entonces, describir conceptualmente los indicadores mencionados, así como exponer sus ventajas y limitaciones, especialmente con respecto al factor de impacto.

INDICADORES PARA LA EVALUACIÓN MÉTRICA DE LAS REVISTAS CIENTÍFICAS Y ACADÉMICAS

EIGEN FACTOR

Creado en el año 2007 por C.T. Bergstrom, el Eigen factor es un indicador del prestigio^a global de las revistas, que se basa, al estilo PageRank^b, en el cálculo iterativo del prestigio de las citas recibidas por una revista en un período establecido.¹,²

Se sustenta en la idea de que, una vez que un investigador lee un artículo de una revista cualquiera, este puede seleccionar en forma aleatoria entre sus referencias algunas para su consulta. Se presupone entonces que estas presentan a priori iguales probabilidades de ser consultadas y que la selección se realizará de forma aleatoria. Sin embargo, la realidad muestra que esto no es lo que sucede, porque solo unas pocas referencias obtendrán la atención del lector. Cada investigador presenta sus propios intereses, necesidades, lagunas de conocimiento y experiencias; y esto, en mayor o menor medida, condiciona desde el principio, la decisión que tome con respecto a cuáles referencias de las que posee un artículo él consultará.

Aspectos como el tema, el idioma, el conocimiento del autor, el año y otros, actúan como un filtro que potencia el uso de unas y desecha el empleo de otras cuando se realiza la selección. Estos aspectos con frecuencia conducen a la introducción de sesgos en los análisis de citas.

Eigen factor se calcula en forma conjunta para las revistas en los campos de la ciencia y las ciencias sociales para una ventana temporal de cinco años; ajusta las diferencias entre los patrones de citación de los diferentes campos del conocimiento y elimina las autocitas.^3,4 La normalización de las conexiones entre las revistas se realiza por medio del número total de referencias emitidas y no en función del número de trabajos publicados, como su antecesor, el factor de impacto.

Sirve de base para el cálculo del Article Influence (AI) o influencia media de los artículos de las revistas. Su normalización se realiza sobre la base de la fracción (del total de artículos publicados) que corresponde a la revista al dividir su producción total entre la de todas las revistas estudiadas, y por esta razón se parece más al factor de impacto.²

"… la media por trabajo del Article influence score en el conjunto del Journal Citation Report (JCR) es igual a 1,00; de esta forma la revista The Lancet, por ejemplo, al tener un Score de 9,95 significa que sus artículos tiene una influencia 9,95 veces mayor que el resto de los artículos de las revistas del JCR".⁵ En otras palabras, el AI es el resultado del Eigen factor/100, dividido por la fracción del total de artículos que cada revista publicó en el periodo objeto de estudio.⁴

Puede consultarse en el JCR (a partir de la adquisición de Eigen por Thomson), un informe anual con los datos de citación de las revistas "fuentes", procesadas por las bases de datos de Thomson Reuters, pero debe adquirirse por suscripción. De manera alternativa, puede obtenerse en Eigenfactor.org.⁶ Comprende las revistas procesadas en el JCR. Por omisión ordena la información según el Article influence.

La plataforma comprende las revistas procesadas en el JCR. Por omisión ordena la información según el Article influence. Entre otras facilidades, es posible hallar el Eigen factor (y el AI) de una revista específica o de un grupo de ellas en una temática específica. Su forma de presentación, mediante una barra de percentiles, permite apreciar con facilidad la posición que ocupa la revista según los indicadores referidos en el conjunto de revistas analizadas. Asimismo, posibilita acceder a los llamados mapas de la ciencia donde, a partir de las relaciones de citación, se exponen con detalle las relaciones existentes entre las diversas áreas del saber. En cada área del conocimiento, a su vez, presenta información detallada sobre las diez primeras revistas, clasificadas según su Article influence.⁶

SCIMAGO JOURNAL RANK

Desarrollado en 2007 por Félix Moya de Anegón, del Grupo SCImago, es una medida del prestigio^c científico de una revista, que se basa en esquemas para la ponderación de las citas recibidas y el eigenvector, utilizado para medir la centralidad o ventaja posicional de los actores en una red. Su ventana temporal es de tres años. La clasificación de las publicaciones en áreas y categorías temáticas (más específicas) se ejecuta según el esquema de clasificación de Scopus.

El SJR se calcula en dos fases: una primera, en la que se calcula el prestigio de la revista a partir del cómputo de las citas ponderadas y recibidas por cada revista, dividido por el total de referencias emitidas en el año de estudio. ^5,7

El prestigio de cada revista depende de: a) un valor mínimo de prestigio que se obtiene al ser seleccionada para su procesamiento por la base de datos; b) el prestigio de la publicación, determinado por el número de artículos de la revista incluido en la base de datos y c) el prestigio de citación, calculado a partir del número y la importancia de las citas recibidas de otras revistas. La segunda fase convierte esta medida, dependiente del tamaño de la revista (número de trabajos publicados), a otra independiente del tamaño con vista a hacerlas comparables entre sí: el número de artículos, revisiones y materiales de conferencias publicados por la revista. El valor resultante se incrementa proporcionalmente al multiplicarlo por una constante con vistas a facilitar su empleo en las comparaciones.^5,7 Si el factor de impacto es una medida de popularidad, el SJR es una medida de prestigio.⁸

Puede consultarse tanto en SCImago Journal & Country Rank⁹ como en la base de datos Scopus. En el caso de Cuba, el acceso a Scopus puede realizarse por medio de Hinari. En el caso del sitio SJR, SCImago Journal & Country Rank es posible realizar búsquedas por áreas y categorías temáticas, así como por países y ordenar sus resultados por diferentes indicadores (opción Journal rankings). Por omisión se ordena según el SJR.

De cada publicación se presenta su índice H^d: el total de artículos publicados en 2010 (los datos corresponden a un año antes del año que transcurre y cubren los tres años anteriores al estudiado). Aparecen, además, el promedio general de autocitas por documento, el total de los artículos citados y no citados al menos una vez, el porcentaje de artículos realizados en colaboración (por ejemplo, entre los autores de la revista o el país objeto de análisis), así como el porcentaje que representa la producción de un país estudiado en su región y a escala mundial. Facilita considerablemente, tanto la organización de las revistas por área o categoría temática, como por países.⁹

Mediante la opción Journal search es posible recuperar revistas y toda la información relacionada a partir de palabras clave. También permite la comparación (Compare) de dos o más revistas según indicadores relacionados.⁹

Según C.T. Bergstrom, el surgimiento de este nuevo tipo de indicadores (se refiere a los del tipo Eigen y SJR) es la confirmación del nacimiento de una serie de sistemas de clasificación de revistas que intentan ir más allá del Impact factor.¹⁰ Estos consideran no solo el número de citas recibidas, sino además ponderan su valor, a partir de la importancia o prestigio de la publicación emisora, calculada, a su vez, sobre la base del número de citas que ellas reciben del resto de las revistas analizadas. Esto representa una nueva tendencia en la medición al combinar las dimensiones cuantitativas y cualitativas en un solo valor, cuyo origen se remonta en el campo de las Ciencia de la Información a los trabajos de Pinski y Narin (1976) con el indicador denominado Influencia de la revista.⁵

Eigen factor y SJR presentan grandes similitudes al intentar imitar ambos el funcionamiento de la fórmula de PageRank de Google; es decir, tratan en esencia de asignar un peso a las publicaciones que emiten los enlaces. Este nuevo tipo de medidas considera que no todas las citas son iguales y que algunas valen más que otras; se realiza entonces una valoración global de la red de citación, del contexto de citación de la revista. En esta valoración, un primer paso es el cómputo del total de citas recibidas por cada revista participante en el estudio. Sobre la base de esa distribución se calcula el prestigio (es así porque el cómputo se desarrolla a partir de la centralidad basada en grados de entrada en una red) de cada revista. Entonces, una revista se considera más prestigiosa si es citada desde revistas influyentes.^5,11,12

En general, pudiera decirse que tanto el Eigen factor como el SJR son indicadores de prestigio/influencia, donde se mide no solo la centralidad, sino también el peso de las revistas. A diferencia del Eigen factor (que se calcula para un período de cinco años), el SJR utiliza una ventana de citación de tres años y, además del número de citas, considera en su cálculo los documentos publicados en el año por cada revista, algo que no hace el Eigen factor, que no utiliza el número de trabajos publicados sino la proporción que representa su producción con respecto a la producción total de las publicaciones estudiadas.^5,11,12

En el caso del SJR, la normalización (realizada de una misma forma para todas las publicaciones) sobre la base de tipos específicos de contribuciones (artículos originales y de revisión y materiales de conferencias) es un elemento novedoso importante con vista a obtener resultados finales de evaluación más sólidos. Ambos indicadores amplían la ventana de citación, que era una de las críticas existentes en contra del factor de impacto y consideran el prestigio/influencia de las revistas, pero no resuelven la dificultad de trasladar el valor general de una revista a los artículos que la componen y que, como es sabido, contribuyen de manera muy desigual al número de citas que esta recibe.^5,11,12 EL AI, como su antecesor, el factor de impacto, padece problemas similares en relación con su denominador.

SOURCE NORMALIZED IMPACT PER PAPER

Formulado en el año 2009 por H.F. Moed, del Centre for Science and Technology Studies (CWTS) de la Leiden University, de Holanda, el Source normalized impact per paper (SNIP) mide el impacto de citación de una revista en su contexto como parte de la gran estructura de red de citación en que se organiza el conocimiento en la literatura científica. Para esto, considera la frecuencia de citación propia del campo de la revista, que se determina a partir de la identificación y la cuantificación de las relaciones que ella presenta con las demás revistas en la red.⁷

El potencial de citación en un campo depende de la cobertura de ese campo que posee la base de datos, es decir, de la extensión y la profundidad con que la base de datos lo procesa. Depende, a su vez, de la tipología de los documentos citados, que puede o no procesar la base de datos. Alrededor del 80 % de los documentos citados por las revistas procesadas por Scopus (y con las cuales se realiza el cálculo de este indicador) se encuentran en la base de datos. El indicador, asimismo, considera el cubrimiento que realiza la base de datos del campo temático al que pertenece la revista y el potencial de citación de los campos temáticos, que se mide por el nivel de cobertura de las referencias que presentan los trabajos en cada campo temático. Se calcula sobre la base del uso de tres tipos de documentos de los 15 que refiere Scopus, a saber: artículos originales, materiales de conferencias y revisiones, arbitrados. El campo temático de una revista se determina a partir de la identificación del total de revistas que citan a la revista objeto de estudio. La ventana temporal de este indicador es de tres años. Este período se considera el más corto que comprende el pico de citación en todos los campos temáticos procesados por Scopus.⁷

Una vez calculado el potencial de citación de cada campo temático^e, se normaliza para cada revista mediante la división de su propio potencial de citación por el de la revista que ocupa la posición de la mediana en la relación. El SNIP entonces se calcula dividiendo el número promedio de citas recibidas por los artículos publicados por la revista durante los tres años anteriores en el año objeto de estudio, o impacto "crudo" por artículo entre el potencial de citación relativo de la base de datos para un campo específico. Un SNIP similar en dos revistas de dos campos diferentes puede obedecer a la relación estrecha que existe entre el potencial de citación de sus respectivos campos o el impacto de citación crudo^f de la revista y este indicador.¹³

Puede consultarse en CWTS Journal Indicators Website.¹⁴ En este sitio es posible hallar la información por título de revista y áreas temáticas. De cada revista presenta el número de artículos publicados en los tres años anteriores, el porcentaje que constituyen los artículos de revisión, el SNIP, el impacto bruto por artículo, el potencial de citación relativo de la base de datos (Scopus), el porcentaje de cubrimiento de las referencias citadas (de uno a tres años de antigüedad) por la revista en la base de datos, el potencial de citación de la base de datos y el porcentaje de autocitación de la revista.

En la distribución de 2008, según el valor del percentil, puede observarse que de las 17 000 revistas estudiadas, el 75 % presenta un valor superior a 0,17; el 50 % a 0,52; el 25 % a 1,10; el 10 % a 1,77 y el 1 % a 4,68.¹³

Como puede observarse, se trata de un indicador de impacto contextual que se basa en el potencial de citación de la base de datos donde se aplica (en este caso Scopus). Sin embargo, es el uso del potencial de citación (que permite determinar a priori la probabilidad de que los trabajos de una revista se citen), que se formula en forma explícita, la característica que lo diferencia de manera sustancial con respecto a los indicadores estudiados antes. El empleo del potencial de citación posibilita la corrección de las diferencias de citación entre campos. La idea del potencial de citación fue introducida por E. Garfield en 1976.⁷ Ubicar en forma explícita los valores en una base de datos establece un punto de referencia claro e inequívoco para quien los consulta.

Otra de sus ventajas es el cálculo del indicador sobre la base de citas procedentes de contribuciones arbitradas: artículos originales y de revisión, así como materiales de conferencias, en lugar de utilizar el total de materiales publicados o un número incierto de tipos de ellos. El campo temático de la revista, es decir, su perfil o temática, no se predefine, sino que se determina a partir de los artículos que la citan. A diferencia de los indicadores antes estudiados no utiliza un eigenvector. El SNIP es el más complejo de los indicadores en su desarrollo e interpretación.⁷

Entre sus limitaciones potenciales^g se encuentra su sensibilidad a la presencia de abundantes artículos de revisión y de autocitas en las revistas^h, que elevan el valor del SNIP; las revistas de campos emergentes también presentan un SNIP más alto que las pertenecientes a campos clásicos del conocimiento; aunque se corrige la diferencia de potencial de citación entre los distintos campos del saber, no se considera el crecimiento de la literatura en cada campo ni la extensión con que se citan las revistas en otros campos del conocimiento, y esto puede mover en una u otra dirección el valor del SNIP. Se requiere también de nuevas investigaciones dirigidas a probar si existe o no una alta correlación entre su valor y el criterio de expertos, que aun con todas sus deficiencias, parece seguir siendo la prueba de oro de la evaluación de la literatura científica.

Si el potencial de citación es alto, el SNIP tiende a disminuir y viceversa. Así, por ejemplo, las revistas médico- biológicas orientadas a la investigación básica tienden a tener un potencial de citación más alto que las clínicas. El SNIP de las primeras, como se dijo, tiende a ser menor como promedio en comparación con las segundas.

CONSIDERACIONES FINALES

Los indicadores estudiados se proponen reducir las limitaciones del factor de impacto y presentan nuevas perspectivas para la evaluación de las revistas científicas. Pero, a la vez, ellos son mucho más complejos desde el punto de vista conceptual y matemático. El total de los indicadores presentan ventajas con respecto al factor de impacto, pero presentan también limitaciones con respecto a un ideal para esta clase de medidas. Esto pudiera ser una razón para su empleo de manera combinada y esto se justificaría en un argumento simple: aunque existe información que se repite entre ellos (colinealidad de las variables), también existe suficiente información distinta como para utilizarlos juntos con vista a lograr una mejor evaluación de las revistas científicas y académicas.

REFERENCIAS BIBLIOGRÁFICAS

1. Moed HF. Measuring contextual citation impact of scientific journals (en Internet). 2009 [citado 7 de mayo de 2010]. Disponible en: http://arxiv.org/abs/0911. 2632

2. Zitt M. Citing-side normalization of journal impact: a robust variant of the Audience Factor. Journal of Informetrics. 2010;4(3):392-406 [citado: 17 de octubre de 2010]. Disponible en: http://www.obsost.fr/fileadmin/medias/tx_ostdocuments/AudFactor_ArticleJOI2010.pdf

3. Eigenfactor.org. Overview [citado: 7 de mayo de 2010]. Disponible en: http://www.eigenfactor.org/methods.htm

4. West J, Bergstrom CT. Pseudocode for calculating Eigenfactor^TM Score and Article Influence^TM Score using data from Thomson-Reuters Journal Citations Reports [citado: 7 de mayo de 2010]. Disponible en: http://www.eigenfactor.org/EF_pseudocode.pdf

5. Torres Salinas D, Jiménez Contreras E. Introducción y estudio comparativo de los nuevos indicadores de citación sobre revistas científicas en Journal Citation Reports y Scopus. El Profesional de la Información. 2010;19(2):201-7 [citado: 5 de mayo de 2010]. Disponible en: http://elprofesionaldelainformacion.metapress.com/media/e7vd27dyxr5jylbyhnr2/contributions/g/0/1/8/g0185821j506k444.pdf

6. Thomson Reuters. Eigenfactor.org [citado: 10 de febrero de 2011]. Disponible en: http://www.eigenfactor.org

7. González Pereira B, Guerrero-Bote VP, Moya Anegón F. The SJR indicator: A new indicator of journals' scientific prestige [citado: 7 de mayo de 2010]. Disponible en: http://arxiv.org/pdf/0912.4141

8. Ludo W, van Eck NJ. A general source-normalized approach to bibliometric research performance assessment. Leiden: Centre for Science and Technology Studies, Leiden University; 2010 [citado 17 de octubre de 2010]. Disponible en: http://www.ludowaltman.nl/doc/STI2010.pdf

9. SCImago. SCImago Journal & Country Rank [citado: 10 de febrero de 2011]. Disponible en: http://www.scimagojr.com

10. Leydesdorff L, Opthof T. Scopus' source normalized impact per paper (SNIP) versus a journal impact factor based on fractional counting of citations. JASIST. 2010;61(11):23659 [citado: 12 de noviembre de 2010]. Disponible en: http://arxiv.org/ftp/arxiv/papers/1004/1004.3580.pdf

11. Moed HF. Measuring contextual citation impact of scientific journals. Journal of Informetrics. 2010;4(3):265-77 [citado: 6 de noviembre de 2010]. Disponible en: http://arxiv.org/ftp/arxiv/papers/0911/0911.2632.pdf

12. Moed HF. The source normalized impact per paper is a valid and sophisticated indicator of journal citation impact. JASIST. 2011;62(1):211-3 [citado: 10 de febrero de 2011]. Disponible en: http://arxiv.org/ftp/arxiv/papers/1005/1005.4906.pdf

13. Leydesdorff L, Bornmann L. How fractional counting of citations affects the impact factor: Normalization in terms of differences in citation potentials among fields of science. JASIST. 2011;62(2):21729 [citado: 10 de febrero de 2011]. Disponible en: http://www.lutz-bornmann.de/icons/weighted_if.pdf

14. Centre for Science and Technology Studies (CWTS). Welcome to the CWTS Journal Indicators website [citado 10 de febrero de 2011]. Disponible en: http://www.journalindicators.com

 

Recibido: 20 de diciembre de 2010.
Aprobado: 3 de febrero de 2011.

Lic. Rubén Cañedo Andalia. Centro Provincial de Información de Ciencias Médicas. Universidad de Ciencias Médicas de Holguín. Ave. Lenin No. 4 esq. Aguilera. Holguín. Correo electrónico: [e-mail]

---

^a Prestigio/influencia. Cada vez que ocurre una cita, se produce un intercambio de influencia y de reconocimiento/prestigio entre la obra citante (la que cita) y la obra citada, que va en uno y otro sentido. Si la obra A cita a la obra B, por ejemplo, puede decirse que B influyó sobre A y que A recibió el reconocimiento de B. Ese reconocimiento en el contexto de la teoría del poder en las redes, se denomina prestigio. En la medida en que aumenta el número de citas que recibe una revista aumenta su influencia pero, a la vez también su reconocimiento/prestigio (Bergstrom CT. About prestige and influence. 7 de mayo de 2010. Comunicación personal).

^b Un algoritmo empleado por Google para el análisis de los enlaces, que asigna pesos numéricos a cada documento, página o recurso de un conjunto de ellos (siempre que al menos presenten un vínculo o enlace) en el WWW con el propósito de medir su importancia relativa dentro del conjunto.¹

^c Como ocurre con el Eigen factor, es una medida de prestigio/influencia.

^d Número de artículos de revista (h) que han recibido h citas a lo largo de un período. Un autor con un índice H de 4, posee al menos 4 trabajos que recibieron al menos 4 citas.

^e Para esto, se utiliza el valor que presenta la revista y que representa la mediana en el total de revistas ordenadas en forma descendente según el número promedio de citas que realiza a las demás revistas.

^f Sin las modificaciones que comprende el cálculo de un impacto contextual como el SNIP.

^g Porque pueden reducirse si se realiza una lectura cuidadosa del indicador y los demás datos que ofrece el sistema.

^h El Eigen elimina las autocitas del cálculo y el SJR acepta sólo 33 % como máximo.