^I Facultad de Ciencias de la Salud. Universidad Tecnológica de Pereira. Pereira, Risaralda, Colombia.
^II Escuela de Medicina de la Universidad Peruana de Ciencias Aplicadas. Lima, Perú.

RESUMEN

Los indicadores basados en la citación son reconocidos por la comunidad científica para evaluar la calidad de las revistas científicas. Colombia tiene un sistema de clasificación de revistas denominado Indice Bibliográfico Nacional (IBN)/Publindex. El objetivo del estudio es evaluar el impacto de las revistas de salud colombianas según Google Scholar Metrics (GSM), SciELO y SCOPUS, comparado con la clasificación del IBN para el período 2007-2011. Al analizar las revistas por el índice H de GSM, encontramos que entre las revistas peor clasificadas por Publindex, "C", existen publicaciones con mayor index H5 y mediana de H5 que revistas mejor clasificadas por el IBN, "B" y "A2". Existen revistas como la colombiana de Anestesiología, que sin estar en el IBN tiene más factor de impacto de SciELO que varias revistas "A1" del IBN. Existen revistas indizadas en Scopus que a pesar de ser del cuartil 3 (Q3) son clasificadas como "A2" por el IBN, pero son revistas del Q4 que el IBN clasifica como "A1". Esto muestra que la clasificación de Publindex no es consistente con los indicadores de impacto de una revista en tres sistemas de evaluación: GSM, Scopus y SciELO, tal como ha sido previamente sugerido por otros autores. Se requiere mejorar la clasificación de Publindex y que esta tome en cuenta parámetros de citación e impacto para que la calidad reflejada en indicadores internacionales sea consistente con la clasificación nacional.
]]> Palabras clave: estudios bibliométricos, SciELO, Scopus, Google Scholar, Colombia.

ABSTRACT

The citation based indicators are recognized by the scientific community to assess the quality of scientific journals. Colombia has a rating system called the National Journal magazines Index (IBN) / Publindex. The objective of this study is to evaluate the impact of the Colombian health journals according to Google ScholarMetrics (GSM), SciELO, and SCOPUS, compared with the IBN classification for 2007-2011. In analyzing journals by GSM H index, we find that among the worst journals classified "C" by Publindex, there are publications with higher H5 index and H5 median than those top-ranked journals by IBN as "B" and "A2". There are journals such as The Colombian Anesthesiology that without being in IBN, has SciELO higher impact factor than several IBN "A1" journals. There are indexed journals in Scopus which despite being quartile 3 (Q3) are rated "A2" by IBN but they are Q4 journals classified as "A1" by IBN. This shows that Publindex classification is not consistent with journal impact indicators in three systems: GSM, Scopus, and SciELO, as it has been previously suggested by other authors. It is required to improve the Publindex classification and such classification should take into account citation and impact parameters so that the quality reflected in international indicators would be consistent with the national classification.


Key Words: bibliometric studies, SciELO, Scopus, Google Scholar, Colombia.

INTRODUCCIÓN

Para una revista científica y su comité editorial es de gran importancia la calidad del proceso editorial;^1,2 este contribuye a mejorar directa e indirectamente múltiples aspectos que pueden verse reflejados en la visibilidad, la accesibilidad, la puntualidad, la pertinencia y los indicadores de la revista, y consecuentemente en la indización tanto nacional como internacional que esta puede adquirir.^3,4 Sin embargo, de todos los posibles indicadores a evaluar en una revista, la cantidad de citas que recibe es la mejor forma de medir su importancia y específicamente de lo que publica,⁵ ya que muestra la relevancia que tiene su contenido para la comunidad científica, y debería ser el principal criterio de indización en bases de datos tanto nacionales como internacionales.

Recientemente se publicó el análisis del impacto de las revistas médicas peruanas según Google Scholar Metrics,⁶ donde se muestra que pocas revistas tienen una presencia importante cuando se evalúan en función de las citas, reflejo en parte de la pobre producción científica de ese país, así como de la falta de políticas de incentivo para el desarrollo de revistas científicas y de la evaluación de investigadores e instituciones basados en su producción científica.^7,8

Por otro lado, Colombia tiene bajos índices de producción científica en salud en cuanto a cantidad, y su crecimiento es relativamente lento;^9,10 sin embargo, presenta mejores indicadores que Perú y posiblemente otros países en la región, incluso de mayor ingreso económico, como Venezuela. Colombia tiene un sistema de calificación e indización de revistas, que a pesar de tener unas exigencias claramente definidas, aun dista mucho de parámetros internacionales que les permitan a las revistas mejor clasificadas ingresar a bases de datos importantes como ScienceCitationIndex o Scopus.¹¹

Esta clasificación se basa fundamentalmente en una exigencia progresiva de criterios de calidad científica, calidad editorial, estabilidad y visibilidad. Para una revista indizarse y ser catalogada como «C» requiere publicar nueve artículos originales, de revisión o de reflexión (llamados tipos 1, 2 y 3 respectivamente), contar con siete árbitros por año, que se describa la entidad editora con su dirección postal, contar con tabla de contenido en cada número, numeración, afiliación institucional de los autores en el 60 % de esos artículos, publicar según la periodicidad reportada y tener como mínimo dos años de existencia. Para poder ser «A1» la revista debe cumplir con los criterios de revistas «B» y «A2», y publicar al menos 13 artículos 1, 2 y 3 por año, comité editorial con doctores y externos a la institución (20 % extranjero), 10 árbitros anuales (de los cuales 60 % sean externos y diferentes a los miembros del comité editorial, 30 % con al menos el título de maestría, que publiquen y el 20 % extranjero), comité científico de la revista 50 % extranjero y 50 % haber publicado en los últimos dos años internacionalmente, contar con leyenda bibliográfica en la portada, resumen y palabras clave en español y en inglés en todos los artículos 1, 2 y 3, fechas de recepción y aceptación, ser como mínimo semestral, haber publicado por más de tres años, contar con un mínimo de 40 suscriptores y estar indizado en base bibliográfica con comité de selección (ej. LILACS) mas estar en más de un índice bibliográfico (ej. SciELO, Science Citation Index, Index Medicus).

Sin embargo, la clasificación realizada por el IBN-Publindex no incluye parámetros de citación, y estudios previos han cuestionado los resultados de esta clasificación;^11,12 por eso, usamos los indicadores de impacto de tres fuentes de acceso gratuito para evaluar a las revistas colombianas en salud en función de su clasificación del IBN-Publindex.

El objetivo del estudio es evaluar el impacto de las revistas de salud colombianas según Google Scholar Metrics (GSM), SciELO y Scopus, comparándolo con la clasificación del IBN-Publindex para el período 2007-2011, y evaluar la consistencia existente entre el esquema de evaluación de las revistas colombianas vigente en el país y los esquemas internacionales.

MÉTODOS

Se incluyeron todas las revistas colombianas de salud clasificadas en el IBN-Publindex o aquellas que aunque no forman parte de este pertenecen a Scopus, SciELO o son registradas por el Google Scholar Metrics (para enero 2013). Cada revista identificada fue evaluada en las bases de datos previamente mencionadas, comparando sus resultados con la clasificación del IBN-Publindex.

Google Scholar Metrics es un servicio de Google inaugurado el año 2012 que permite conocer las revistas más destacadas en diez idiomas (incluido el español), y considera solo a aquellas revistas que han publicado 100 o más artículos en el período 2007-2011 y que hayan sido citadas al menos alguna vez por cualquier revista o libro accesible por Google Scholar o Google Académico.¹³ En este sistema tomamos dos indicadores, el H5 index y la mediana del H5 index.¹⁴

Para encontrar cada uno de estos indicadores, realizamos una búsqueda en Google Scholar Citations: http://scholar.google.com/citations?view_op=top_venues&hl=en&vq=es, colocando el nombre de cada revista del IBN-Publindex o con el nombre de Colombia, por si había alguna revista de salud captada por Google Scholar Metrics que no estaba incluida en el IBN-Publindex.

SciELO Colombia tiene un proceso riguroso de selección de revistas, el cual incluye el carácter científico, el arbitraje por pares, la calidad del consejo editorial, la periodicidad, la puntualidad, la citación, entre otros.¹⁶ Los indicadores de citación se generan a partir de las citas recibidas en alguna de las revistas que forman parte de la colección de SciELO,¹⁷ las cuales incluyen 1 021 revistas de las colecciones SciELO Argentina, Brasil, Chile, Ciencias Sociales, Colombia, Costa Rica, Cuba, España, México, Portugal, Salud Pública y Venezuela.

En este sistema tomamos los siguientes indicadores: a) el número de artículos publicados por cada revista en el periodo 2009 y 2010, b) las citas de estos artículos durante el año 2011 y finalmente el factor de impacto para el 2011 que es el resultado de b/a. Estos fueron ubicados en el aplicativo de SciELO Colombia para la evaluación de indicadores bibliométricos: http://statbiblio.scielo.org/stat_biblio/index.php?lang=en

Scopus es la base de datos con mayor número de revistas indizadas en el mundo. Incluye más de 21 000 revistas de todas las ciencias y es administrada por Elsevier, que a través de Scimago Lab ha creado indicadores bibliométricos de acceso gratuito que son una alternativa a los generados por el Science Citation Index. Su indicador más importante es el Scimago Journal Rank (SJR), el cual es un indicador de prestigio de la revista y se basa en forma similar al factor de impacto en las citas recibidas por los artículos publicados en un período dado, con la diferencia en que las citas son ponderadas por la influencia de la revista que genera de la cita, de tal manera que no es lo mismo ser citado, por ejemplo, por la Revista de Salud Pública (Bogotá) que por The Lancet.¹⁸

Realizamos una búsqueda en la web de Scimago Journal Rank: http://www.scimagojr.com/journalrank.php?area=0&category=0&country=CO&year=2011&order=sjr&min=0&min_type=cd y se obtuvieron los siguientes indicadores: SJR, el H index que es calculado con los artículos disponibles en Scopus desde el ingreso de la revista (por lo cual el valor es influenciado por la fecha de ingreso de la revista a Scopus), la razón de las citas recibidas en 2011 por los documentos de dos años previos (similar al factor de impacto descrito para SciELO) y el total de citas recibidas en el periodo 2009-2011. Finalmente se buscó el cuartil (Q) en que estaba ubicada la revista y se registró el mejor cuartil así como la categoría en la cual lo obtuvo (el cuartil de clasificación de cada revista se obtiene al ordenar los valores de los SJR de cada revista dentro de su categoría dividiendo a esta en cuatro grupos, donde los Q1 son los de mayor impacto que los del Q4.

Del total de 73 revistas clasificadas en el IBN-Publindex, solo 48 (64 %) cuentan oficialmente con índice H en los últimos cinco años (H5) en Google Scholar Metrics, 10/10 A1, 19/19 A2, 11/19 B y 5/25 C (tabla 1). Sin embargo, llama la atención al ver los valores del hindex (definido como el número x de artículos que tienen por lo menos x cantidad de citas en un período definido de tiempo,⁷ que en este caso se refiere a los últimos cinco años de publicación), que la clasificación de Publindex no es consistente con los valores del H5, dado que en el mejor nivel, A1, estos oscilan entre 6 y 15, pero en el siguiente, A2, entre 2 y 9, de 2 a 7 para el B y finalmente de 1 a 5 en el C; es decir, se encuentran casos como la revista MedUNAB (C) que cuenta con un mejor H5 (5) que 6 de las revistas clasificadas como A2 y que 15 de las revistas clasificadas como B (8 de ellas sin H5) (tabla 1). En adición a esto se encuentra la Revista Colombiana de Anestesiología (no clasificada por Publindex) la cual tiene un H5 de 6 (tabla 1).

En la base de datos SciELO se encuentran 32 revistas colombianas de salud, de las cuales solo 11 son publicadas por sociedades científicas o instituciones de prestación de servicios de Salud; las restantes por universidades o instituciones de educación superior. La revista que tiene mayor factor de impacto medido a dos años es Universitas Psychologica, seguida por Biomédica y Avances en Enfermería (tabla 2). Sin embargo, al tomar en cuenta la clasificación de Publindex, de nuevo se encuentran inconsistencias entre dicha indización y el factor de impacto, dado que, por ejemplo, la Revista de Salud Pública (de la Universidad Nacional de Colombia) está clasificada como A1 y sería de las revistas A1 indizadas en SciELO la tercera de mayor factor de impacto; pero existen en realidad tres revistas A2 con factor de impacto mayor: Avances en Enfermería, Revista Gerencia y Políticas de Salud e Investigación y Educación en Enfermería. De forma similar ocurre con otras revistas A2 (en total 9) que cuentan con factores de impacto mayores al de algunas revistas A1. Finalmente, otro ejemplo interesante es de nuevo la Revista Colombiana de Anestesiología, la cual no está indizada en Publindex actualmente, pero tiene factor de impacto 0,1356, lo cual es mayor que 3 revistas A1, 9 de las A2 y 2 de las B (tabla 2).

En Scopus se encuentran 17 revistas colombianas de ciencias de la salud; no hay ninguna que sea Q1, tres son Q2, siete son Q3 y siete son Q4 (tabla 3). Al menos cuatro revistas clasificadas como A2 (Revista de la Facultad de Medicina, Salud Uninorte y Revista Colombiana de Gastroenterología) y una incluso no incluida en el IBN (Revista Colombiana de Anestesiología) tienen un SJR mayor que una de las revistas clasificadas como A1 (Avances en Psicología Latinoamericana).

DISCUSIÓN

Estos resultados plantean la necesidad de mejorar los criterios de indización empleados por bases de datos como el IBN-Publindex, donde las citas y el h index calculados por Scholar Google Metrics, los factores de impacto de SciELO y el SJR y los cuartiles en Scopus, entre otros,¹⁹ deberían ser considerados en adición a los criterios existentes para clasificar a las revistas colombianas, así como a las revistas internacionales, que para efectos internos son homologadas a las colombianas bajo los mismos criterios.

Como se ha mencionado previamente,⁴ el objetivo final es tener evaluaciones imparciales que reflejen la verdadera calidad editorial de la revista y su importancia científica en el contexto nacional e internacional, lo cual permitirá que las revistas entiendan los procesos necesarios que deben seguir en busca de su mejoramiento, pero también que los autores hagan una mejor selección del destino de sus productos científicos, especialmente porque en Colombia las revistas internacionales son homologadas a la mencionada clasificación internacional, y desde esa perspectiva se clasifican, por ejemplo, de mejor nivel las revistas A1 ya mencionadas que la revista Lancet Infectious Diseases o Nature Neuroscience (ambas clasificadas como A2), la primera con factor de impacto (de Science Citation Index) de 17 391, y la segunda con 15 531, por mencionar dos asombrosos ejemplos.

Por otro lado, el ejemplo más claro de que debería realizarse un reajuste en el sistema de clasificación del IBN-Publindex es la Revista Colombiana de Anestesiología, que tiene mayor H5 index, SJR, factor de impacto en SciELO y mejor cuartil que varias revistas calificadas en el IBN como A1 aun cuando esta no está siquiera clasificada en el IBN-Publindex.

Futuros estudios podrían desarrollar algoritmos que permitan una mejor incorporación de estos indicadores de citación para una correcta clasificación que ordene a las revistas colombianas según calidad.¹² Hay que tener en cuenta que toda modificación a un sistema de calificación tendrá resistencias, ya que siempre hay algunos «perjudicados»; sin embargo, si incorporamos los indicadores de citación, que todos los editores internacionales reconocemos como válidos al momento de evaluar la calidad de las investigaciones, los ganadores serían las revistas colombianas en general (y con esto la comunidad científica del país), ya que las impulsaría a generar cambios que les permitan posicionarse mejor en las bases de datos internacionales, y que en un futuro cercano existan más revistas colombianas en el Science Citation Index y Scopus, y que alguna logre ser Q1.

La implementación de estas modificaciones para la calificación de las revistas colombianas, permitirá además una comparación más justa con las revistas internacionales y que no se encuentren casos como el mencionado, donde Lancet Infectious Diseases tenga un menor nivel que cualquier revista colombiana clasificada en A1 según el IBN-Publindex. Esto abre además la posibilidad de que otras investigaciones evalúen no solamente la consistencia de clasificación de revistas colombianas entre Publindex versus otras bases de datos internacionales, como se realizó en este trabajo, sino también valorar por áreas de conocimiento (medicina interna, cirugía, infectología, neurología, etc.) cómo son clasificadas por Publindex las revistas internacionales (no colombianas) cuando son homologadas por la base de datos nacional.

Para una gestión adecuada de las revistas y de la producción científica de una institución o país, es necesario contar con más estudios bibliométricos publicados en revistas internacionales indizadas en Scopus, Science Citation Index y Medline, no solo analizando la situación en Perú y en Colombia,^6,9,10 sino que incluso debería tomarse en cuenta la posibilidad, como ha sido planteado por otros autores, de convertir a este tipo de trabajo en línea de investigación en las ciencias biomédicas en pregrado y en posgrado, y como hemos planteado reiteradamente, fomentar aun más la investigación y publicación científica, así como la incorporación en actividades editoriales, todo esto desde pregrado,^20-22

En el caso particular de Scopus, es lógico pensar, dado el número de revistas colombianas que están y que pueden ser indizadas en dicha base de datos, que por la importancia que esta tiene internacionalmente, de ser tomada en cuenta por Publindex para efectos de indización debería al menos ser considerada para ser A2 o A1. Más aun sería recomendable que Publindex incluyera el nivel de citaciones en Scopus o cuartiles que ocupan las revistas al momento de indizarles a nivel nacional; esto ayudaría a que la consistencia entre Publindex y las bases de datos internacionales fuera mayor.

Concluimos que la clasificación de Publindex no es consistente con los indicadores de impacto de las revistas colombianas en ciencias de la salud en tres sistemas de evaluación: GSM, Scopus y SciELO, tal como ha sido previamente sugerido por otros autores. Se requiere mejorar la clasificación de Publindex y que esta tome en cuenta parámetros de citación e impacto para que la calidad reflejada en indicadores internacionales sea consistente con la clasificación nacional.

Finalmente consideramos que estos datos deben conllevar la reflexión de investigadores, y especialmente de los editores, en la posibilidad de crear una Asociación Colombiana de Editores de Revistas Científicas (ACERCi) o una Asociación Colombiana de Editores Médicos (ACERMe) o de Ciencias de la Salud (ACERCiS), que pueda servir como encuentro para estas discusiones; organizar eventos y actividades de capacitación y funcionar como asociación científica en la materia a nivel nacional, de forma tal que grupalmente los editores puedan opinar sobre este y muchos otros aspectos en materia editorial y en lo concerniente a los procesos de indización a nivel nacional e internacional y con esto propiciar la investigación cienciométrica y bibliométrica y evaluar el comportamiento a nivel local, nacional e incluso regional. Debe prevalecer la calidad y el verdadero impacto de las revistas y no otros criterios en las indizaciones a todo nivel.

Reconocimientos

Trabajo previamente presentado en forma oral (TI-017), en parte, en el XXIV Congreso Estudiantil Colombiano de Investigación Médica (XXIV CECIM) y I Congreso Científico de COODESURIS (I CC COODESURIS), 15-18 de mayo de 2013, Pereira, Risaralda, Colombia, donde obtuvo el Premio "Segundo Lugar de Trabajos de Investigación".

REFERENCIAS BIBLIOGRÁFICAS

1. Valverde C, Rodríguez-Morales AJ. Sobre las perspectivas para la calidad y desempeño editorial de una revista. Rev Cuerpo Med HNAAA. 2011;4(2):132-3.

2. Burstein Z, Mayta-Tristán P. La Revista Peruana de Medicina Experimental y Salud Pública ahora indizada en MEDLINE/IndexMedicus. Rev Per Med Exp Sal Públ. 2010;27(3):312-14.

3. Osma Rueda JL. La planeación y profesionalización del proceso editorial y su impacto, en la sostenibilidad y mejoramiento de la indexación de las revistas científicas. Rev Méd UIS. 2012;44(1):5.

4. Rodríguez-Morales AJ. Profesionalizando el proceso editorial en las revistas científicas colombianas. Rev Méd UIS. 2012;44(2):7-8.

5. Huamaní C. Análisis de la producción, visibilidad y citación de la Revista Peruana de Medicina Experimental y Salud Pública, 2002-2009. Rev Per Med Exp Sal Publ. 2010;27(3):367-72.

6. Mayta-Tristán P. Impacto de las revistas médicas peruanas según Google Scholar Metrics. Rev Cuerpo Med HNAAA. 2012;5(4):6-7.

7. Huamaní C, Mayta-Tristán P. Producción científica peruana en medicina y redes de colaboración, análisis del Science Citacion Index 2000-2009. Rev Per Med Exp Sal Publ. 2010;27(3):315-25.

8. Yagui M, Espinoza M, Caballero P, Castilla T, Garro G, Yamaguchi LP, et al. Avances y retos en la construcción del sistema nacional de investigación en salud en el Perú. Rev Per Med Exp Sal Publ. 2010;27(3):387-97.

9. Alvis-Guzman N, De La Hoz-Restrepo F. Producción científica en ciencias de la salud en Colombia. Rev Sal Publ (Bogotá). 2006;8(1):25-37.

10. Rodríguez-Morales AJ, Rendón MÁ. Situación de la investigación y publicación científica en Colombia y en el departamento de Risaralda/ : Revisión de indicadores en el contexto de la creación de la Oficina de Investigación Científica de COODESURIS. Rev Méd Risar. 2012;18(1):7282.

11. León-Sarmiento FE, Bayona-Prieto J, Leon ME. Concepciones, confusiones y contradicciones del factor de impacto en Colombia. Rev Esp Sal Públ. 2007;81(2):147-54.

12. Romero-Torres M, Tejada MA, Acosta A. Propuesta para clasificar revistas científicas en Latinoamérica mediante indicadores de citación: estudio de caso en Colombia. Bogotá: Pontificia Universidad Javeriana [Internet]. 2010 [citado 9 de diciembre de 2013]. Disponible en: http://arxiv.org/pdf/1101.2711

13. Delgado-López-Cózar E, Cabezas-Clavijo Á. Google Scholar Metrics: una herramienta poco fiable para la evaluación de revistas científicas. El profesional de la información. 2012;21(4):4207.

14. Silva LC. El índice-H y Google Académico: una simbiosis cienciométrica inclusiva. ACIMED. 2012;23(3):308-22.

15. Hirsch JE. An index to quantify an individual's scientific research output. Proc Natl Acad Sci EE.UU. 2005;102(46):16569-72.

16. Miguel S. Revistas y producción científica de América Latina y el Caribe: su visibilidad en SciELO, RedALyC y Scopus. Rev Iberoam Bibliotecol. 2011;34(2):187-99.

17. Goldenberg S, Castro RC, Azevedo FR. Interpretação dos dados estatísticos da SciELO (ScientificElectronic Library Online). Acta CirBras. 2007;22(1):1-7.

18. González-Pereira B, Guerrero-Bote VP, Moya-Anegón F. A new approach to the metric of journals' scientific prestige: the SJR indicator. J Informetrics. 2010;4(3):379-91.

19. Cañedo R, Cruz J. Nuevos indicadores métricos para la evaluación de las publicaciones seriadas científicas y académicas. Acimed. 2012;23(1):84-92.

20. Romani Romani F, Huamaní Saldaña CA, González Alcaide G. Estudios bibliométricos como línea de investigación en las ciencias biomédicas: una aproximación para el pregrado. CIMEL. 2011;16(1):52-62.

21. Escudero-Sepúlveda A, Escudero-Sepúlveda J, Rodríguez-Morales AJ. La Redacción de un Trabajo Científico. Invest Clin. 2012;53(1):111-2.

22. Pereyra Elías P, Rodriguez Morales AJ, Mayta Tristan P. Undergraduate publication in Latin America: role of Medical Students' Scientific Societies. Medical Teacher. 2011;33(7):594.

Recibido: 4 de abril de 2013.
Aprobado: 29 de agosto de 2013.

]]>
Dr. Alfonso J. Rodríguez Morales. Facultad de Ciencias de la Salud. Universidad Tecnológica de Pereira. Pereira, Risaralda, Colombia. Correo electrónico: parodriguezm@utp.edu.co