Artículo original

Evaluación de las revistas científicas colombianas del área de Ciencias Médicas y de la Salud por medio del Índice de Osk

Evaluation of Colombian medical and health sciences journals using the Osk Index

0000-0003-2264-7422María Paola Jiménez Villamizar^{1  *}  , 0000-0002-0701-7847Oskarly Pérez Anaya¹  , 0000-0001-8043-4287Heygui Tiffany Araújo Zúñiga¹  , 0000-0003-3730-2750Carmen Cecilia Caballero Domínguez¹ 

¹Universidad del Magdalena. Colombia.

RESUMEN

Este estudio tuvo como objetivo la evaluación de las revistas científicas colombianas del área de Ciencias Médicas y de la Salud a través del sistema de medición integral de revistas científicas colombianas que se sustenta en el Índice de Osk. Se analizaron las 33 revistas científicas colombianas de Ciencias Médicas y de la Salud indexadas en el Índice Bibliográfico Nacional Publindex en la convocatoria 768 del año 2016, de las cuales solo se tuvieron en cuenta las ediciones y las citas comprendidas entre el periodo del 01 de enero al 31 de diciembre del año 2017. La revista que mayor valor presentó fue Biomédica, con un índice para el año 2017 de 314,30, seguida de la Revista Colombiana de Cardiología con 206,81, y en tercer lugar la Revista de Salud Pública con 201,15, las cuales se agrupan en el nivel O1. En el otro extremo y agrupándose de mayor a menor en el nivel O4 se encuentran la revista Duazary (41,78), la Revista Facultad de Odontología Universidad de Antioquia (38,19) y Vitae (35,12). A modo de conclusión, se hace preciso revisar el modelo actual de clasificación de las revistas en Colombia Publindex, teniendo en cuenta las particularidades encontradas durante la revisión. Es por eso que se recomienda la implementación de un modelo o sistema de medición integral, como es en este caso el Índice de Osk.

Palabras-clave: Revistas científicas; índice de Osk; Publindex; ediciones; citas; Colombia

ABSTRACT

The purpose of the study was to evaluate Colombian medical and health sciences journals using a comprehensive measurement system for Colombian scientific journals based on the Osk Index. An analysis was conducted of 33 Colombian medical and health sciences journals indexed in the National Bibliographic Index Publindex as of call for papers number 768 of 2016, from which only editions and citations from 1 January to 31 December 2017 were considered. The publication with the highest score was Biomédica, with an index of 314.30 for the year 2017, followed by Revista Colombiana de Cardiología with 206.81 and Revista de Salud Pública with 201.15, all three of them in level O1. On the opposite end, and grouped from highest to lowest in level O4 are the journals Duazary (41.78), Revista Facultad de Odontología Universidad de Antioquia (38.19) and Vitae (35.12). Conclusions point to the need to review the classification model currently applied to Colombian journals, Publindex, bearing in mind the particular features revealed by the study. It is therefore recommended to implement a comprehensive measurement model or system, as is the case with the Osk Index.

Key words: Scientific journals; Osk Index; Publindex; editions; citations; Colombia

Introducción

Los conocimientos científicos hoy en día son trasmitidos por medio de publicaciones tales como ponencias, libros, capítulos de libros e informes; pero especialmente en artículos científicos, con el fin de difundir entre la comunidad científica los resultados producto de investigaciones y ser utilizados como base de nuevos conocimientos para llenar el vacío conceptual referente a un tema.^1,2,3

Los artículos científicos por excelencia son el medio más usado por los investigadores para publicar sus resultados; son documentos primarios que aportan nuevos conocimientos sobre un área de estudio específico.⁴ Las diferentes fuentes de información, así como los tipos de literatura, es decir, los datos bibliográficos de las publicaciones, se usan para ser analizadas y estudiadas por medio de la bibliometría.^5,6 Esta es entendida como el estudio de la comunicación científica desde la difusión, el uso y la producción, mediante indicadores estadísticos y matemáticos (cuantitativos) y cualitativos.⁷ En detalle, los indicadores bibliométricos permiten observar el crecimiento de un área y valorar la calidad y el impacto de los trabajos como producto del número de referencias que una publicación hace de otra. Es por esto que las revistas y los artículos de investigación son considerados como el mejor medio de difusión de conocimiento científico.⁸

Existen diversos indicadores bibliométricos para medir el impacto y la calidad de las publicaciones de carácter científico tanto a nivel nacional como internacional. Entre ellos, el factor de impacto (IF) es un instrumento importante que permite la clasificación de la calidad de las revistas y, además de esto, evaluar la importancia de cada una en determinada área.^9,10 El FI se mide a través del número de citas que tiene un artículo, buscando ver que tanto ha trascendido la revista en la comunidad académica.¹¹ Existen portales de evaluación de revistas basados en la información contenida en diferentes bases de datos, entre ellas está Scimago Journal & Country Rank, propuesta en el año 2007 por el laboratorio de investigación Scimago, de España, que evalúa las revistas y tiene en cuenta los indicadores científicos a partir de los que aporta la base de datos Scopus.¹² El Scimago Journal Rank (SJR) calcula las citas recibidas por los artículos publicados en un periodo tiempo determinado, dando mayor peso a aquellas revistas con gran cantidad de citas externas y pocas autocitas; utiliza un algoritmo basado en el PageRank de Google.¹³ Otro es el Journal Citation Report (JCR), que mide el impacto de una revista con respecto a las citas recibidas de los artículos publicados y almacenados en Web of Science.¹⁴

Por su parte, a nivel nacional la medición de las revistas científicas colombianas está a cargo del Índice Bibliográfico Nacional (Publindex), basándose principalmente en la clasificación del índice H5 de Google Scholar,¹⁵ el cual es estimado por las citas producto de diversos documentos, desde trabajos de grado hasta libros, capítulos de libros y revistas científicas, y recibe un gran número de críticas producto de la dificultad para diferenciar entre la variedad de productos, la duplicidad de citas y los errores de marcación.¹⁶ Como producto de la necesidad latente de mejorar el sistema de evaluación de las revistas colombianas en el año 2017, apareció un índice alternativo para medir las revistas, conocido como el índice de Osk,¹⁷ el cual busca solucionar algunos problemas que presentan otros índices, por medio de la medición simultánea de la calidad, visibilidad y logro editorial, que se da gracias al análisis de los artículos, los autores, la periodicidad y las citaciones en un periodo establecido, que para el caso de estudio es de un año.

Por su parte, el área de Ciencias Médicas y de la Salud es conocida por la prioridad que se le atribuye por parte de los estados a nivel mundial, producto de la inversión económica, lo que la convierte en un área estratégica.¹⁸ En Colombia se vienen efectuando investigaciones con respecto a la actividad científica en esta área por medio de indicadores bibliométricos.^3,19

A partir de los datos arrojados en la Convocatoria de Colciencias 768 del año 2016²⁰ se encontró que las revistas Ciencias médicas y de la Salud se agrupan de la siguiente forma: en la categoría A1, que es la de mayor “prestigio y rigurosidad”, no se haya ninguna; en la A2, solo alcanzaron a estar 2; en la B, 11 revistas y en la C, 20, en donde se agrupan las de menor “calidad” (Tabla 1).

Tabla 1 Clasificación de las revistas de Ciencias Médicas y de la Salud según la convocatoria 768 del año 2016 de Publindex 

Fuente: Colciencias, 2017.

En la tabla anterior se observa la clasificación de las revistas producto de la convocatoria anteriormente mencionada, donde se resalta como factor primordial para la clasificación el índice H5. Esto demuestra una de las dificultades más notorias de esta métrica a la hora de evaluar las revistas. Además, si se mira con detalle, al realizar el cálculo del índice para cualquiera de estas, solo se resalta un bajo porcentaje de los manuscritos publicados y, por tanto, de las citas recibidas. Se da poco valor al logro editorial que ocurre en el interior de una revista para la consecución de artículos, al cambio de periodicidad, a la visibilidad internacional, entre otros. Todo esto es algo que muy pocos investigadores y/o académicos conocen, a no ser que trabajen o estén familiarizados con los procesos que se dan en una publicación, por lo cual se hace importante realizar este estudio, que tuvo como objetivo la evaluación de las revistas científicas colombianas del área de Ciencias Médicas y de la Salud a través del sistema de medición integral de revistas científicas colombianas que se sustenta en el Índice de Osk.

Métodos

Se realizó un estudio bibliométrico retrospectivo y descriptivo en el cual se analizaron las 33 revistas científicas colombianas de Ciencias Médicas y de la Salud indexadas en el Índice Bibliográfico Nacional Publindex - convocatoria 768 de 2016, correspondiente al año 2017, tomando en cuenta las ediciones y citas comprendidas entre el periodo 01 de enero y 31 de diciembre de 2017. Se seleccionó este periodo por la demora que suele tener Publindex en la evaluación, al igual que la que tienen algunas revistas para cumplir con su periodicidad. No se incluyó el resto de revistas nacionales no indexadas, ya que es difícil conocer cuántas son; en otras palabras, no están agrupadas, como sí lo hacen las indexadas en Publindex.

Se procedió a revisar el sitio web oficial declarado por cada una de las revistas en la plataforma de Publindex - Colciencias, con el propósito de obtener datos veraces que permitieran realizar la evaluación de cada una de ellas. En este sentido, los valores procesados para cada una teniendo en cuenta el Índice de Osk fueron: el número total de artículos de investigación (Inv), de revisión (Rev), de reflexión (Ref) y los reportes de casos (Rec). De igual forma, también se contemplaron los editoriales (Ed), las citas externas (Ciex), las citas internas o autocitas (Ac) y los autores, centrándose especialmente en su afiliación; es decir, los autores locales o internos (Ai), los autores nacionales (An) y los autores extranjeros o internacionales (Ae). Es necesario resaltar que el primer ítem que se registró de cada revista fue el de citaciones (entre agosto y octubre de 2018), con el propósito de comprobar que todas cumplieran con los indicadores que se muestran en el cuadro 1.

Cuadro 1 Indicadores a evaluar por el índice de Osk de las revistas científicas nacionales 

Las revistas dentro de la ventana de revisión (01 de enero y 31 de diciembre del año 2017), que presentaron un valor igual o mayor al 20 % en autocitaciones^21,22 en relación con el total de las citas obtenidas, fueron excluidas, en aras de reducir el sesgo de los resultados del índice; asimismo, se excluyeron las revistas que a la fecha de la revisión no tenían cargadas las ediciones correspondientes al año 2017.

Para el caso puntual de los artículos, fue imperiosa la validación de la tipología de cada uno de estos, debido a que algunas revistas no los reportaban en la parte de las secciones donde normalmente suelen encontrarse, por lo que en estos casos hubo que revisar el resumen y la metodología de los manuscritos para hacer la respectiva clasificación (artículos de investigación, revisión, reflexión y reportes de casos). En ese mismo orden, también se comprobó que los artículos pertenecieran al periodo de revisión y, por consiguiente, hicieran parte de la revista en estudio (proceso efectuado entre octubre y diciembre de 2018).

Otro punto que se tuvo en cuenta fue la verificación de las citaciones, más específicamente que estas no estuvieran duplicadas (citas provenientes de un mismo artículo, aunque en distintos formatos o idiomas) y que el artículo que las obtenía sí correspondiera a la revista y a la edición objeto de estudio. Vale la pena aclarar que en todo momento se aplicó el principio de favorabilidad al registrar cada uno de los datos de las revistas. Este principio hace alusión a que se toma la decisión más favorable para la revista, en caso de tener una duda con respecto a clasificación de algunas de sus variables en la evaluación.

La revisión de los autores se efectuó de acuerdo con la institución de afiliación y con el país de esta. En los casos donde un autor presentaba doble afiliación se tomaba la más favorable, es decir, se catalogaba como externo. En el caso del autor que pertenecía a la misma institución que la revista, pero era de otra sede, se anotaba como interno.

El registro de datos se desarrolló usando una matriz en Excel (Programa Microsoft Office Excel 2016), en donde se consignaron las variables representadas en el índice de Osk, además de datos como: área temática, institución de origen, observaciones y nombre de búsqueda o utilizado; para este último fue menester establecer las convenciones numéricas que se expresan en la tabla 2.

Tabla 2 Estandarización de la información utilizada para la búsqueda las revistas en el software Publish or Perish 

Nombre de búsqueda o utilizado	Número
Nombre de la revista	1
ISSN Impreso	2
ISSN Electrónico	3
Nombre de la revista + ISSN Impreso	4
Nombre de la revista + ISSN Virtual	5

Para la obtención de cada una de las citaciones y autocitaciones de las revistas se usó Publish or Perish: Programa informático de acceso libre versión 6.18.6032, en donde se procedió a buscar cada una de las 33 revistas en estudio, empleando las estandarizaciones antes mencionadas, de las cuales se seleccionaba la que mostrara el valor más alto de citaciones. Una vez elegido dicho nombre, se realizó la revisión de cada una de las citas obtenidas por cada revista, con la intención de diferenciar cuál era originaria de otros artículos de la propia revista (autocitación) y cuál era de una entidad externa u otra revista distinta, aunque perteneciera a la misma institución de la revista. Efectuado esto, se calculó el porcentaje de autocitaciones de cada revista, tomando como valor total la suma de citas y autocitas, y se excluyeron del estudio las revistas que presentaban 20 % o más en autocitaciones.

Análisis estadístico

Obtenido el índice de Osk para cada revista se procedió a agruparlas en cuartiles, que se organizaron en cuatro categorías, denominadas Nivel O1, nivel O2, Nivel O3 y Nivel O4. Las que se ubicaron en el primer nivel fueron las que presentaron mejor calidad, visibilidad y logro editorial, atributos que en conjunto se evaluaron con la siguiente fórmula:

[TeX:] (Inv*1+Ai+An+Ae)+(Rev*0,5+Ai+An+Ae)+(Ref*0,25+Ai+An+Ae)+ediciones+(ciex*4)+(Ac*1) = Índice de Osk _{(años o periodos a evaluar)}

Resultados

En total, se revisaron 33 revistas de Ciencias Médicas y de la Salud, de las cuales 6 (18,18 %) fueron excluidas por superar el porcentaje de autocitaciones establecido para este estudio. Asimismo, tampoco se tuvo en cuenta una revista que al momento de la revisión no había publicado ninguna de las cuatro ediciones programadas para el año 2017, de acuerdo con la periodicidad declarada en su portal web (3,03 %). A las 26 revistas restantes se les aplicó el índice de Osk, que arrojó una serie de resultados que fueron agrupados en cuatro cuartiles (nivel O1, O2, O3 y O4), en donde la que mayor valor presentó fue la revista Biomédica, con un Índice para el año 2017 de 314,30, seguida de la Revista Colombiana de Cardiología, con 206,81, y en tercer lugar Revista de Salud Pública, con 201,15, las cuales se agrupan en el nivel O1. En el otro extremo y agrupándose de mayor a menor puntaje en el nivel O4 se encuentran las revistas Duazary (41,78), la Revista de la Facultad de Odontología de la Universidad de Antioquia (38,19), y Vitae (35,12), entre otras (Tabla 3).

Tabla 3 Cálculo del Índice de Osk para las revistas colombianas de Ciencias Médicas y de la Salud 

Se vislumbró que la revista que más artículos publicó fue la Revista Colombiana de Cardiología, con 101, los cuales al momento de la revisión habían recibido 36 citaciones; también se registró la Revista de Salud Pública, con 93 (26 citas), y en tercer lugar Biomédica, con 54 artículos y 74 citaciones, que fue la que más citas recibió, lo que es coherente con su primer lugar en el ranking. Por otro lado, cinco revistas publicaron 20 o menos artículos para el año de evaluación; entre estas se destacan la revista Duazary, la Revista Colombiana de Ciencias Químico-Farmacéuticas y Persona y Bioética, que respectivamente presentaron 6, 1 y 2 citas (Fig.).

Fig Número total de artículos y citas registradas para las revistas colombianas de Ciencias de la Salud. 

Como parte importante de los resultados también se denotaron datos curiosos y otros no tan éticos para algunas revistas, entre los que se destaca una especie de “triángulo de citas” entre dos revistas nacionales y una extranjera. Otro dato importante, aunque distinto al antes mencionado, es la gran utilidad que presentan las revistas para los tesistas de pregrado y posgrados de Perú y Ecuador. En la tabla 5 se listan cada una de estas experiencias.

Cuadro 2 Particularidades, datos inusuales y algunas prácticas “no tan éticas” encontradas durante la revisión 

Por último, las revistas que fueron excluidas por presentar un valor igual o mayor al 20 % en autocitaciones fueron: Revista de la Facultad de Medicina de la Universidad Nacional de Colombia, Revista Colombiana de Anestesiología y Revista Urología Colombiana, entre otras. Asimismo, se excluyó Investigaciones Andinas, por no haber publicado las ediciones correspondientes al periodo 2017 al momento de la revisión^23,24) (Tabla 4).

Tabla 4 Revistas excluidas del ranking generado en este estudio 

*Se excluyó por no haber publicado al momento de la revisión.

Discusión

La clasificación de las revistas especializadas en Ciencia, Tecnología e Innovación se viene utilizando últimamente en las comunidades académicas con el propósito de evaluar la calidad e impactos de estas. Los diferentes indicadores de calidad, visibilidad e impacto se calculan preferencialmente mediante los índices Journal Citation Report (JCR) y SCImago Journal Rank (SJR). El Índice Bibliográfico Nacional Publindex y las clasificaciones y ranking que se les ha dado buscan mostrar el lugar que ocupa una revista en su área o campo de conocimiento, su prestigio y la dificultad muchas veces que lleva a un investigador a publicar en esta revista. ⁽²⁵

La evaluación de las revistas científicas colombianas de Ciencias Médicas y de la Salud ejecutada en este estudio no muestra consistencia con la clasificación arrojada por Publindex, dato compartido con lo expuesto por Rodríguez, Ochoa y Mayta²⁴ y otros autores,^25,26 quienes sugieren utilizar los parámetros de impacto y citación internacionales para que sea consistente con la clasificación internacional. Los indicadores bibliométricos, aunque han tenido gran aceptación dentro de la comunidad académica, muestran ciertas debilidades e inconsistencias con respecto a evaluar la producción científica, ya que su objetivo principal es mirar el impacto de las revistas, por lo que han dejado a un lado la calidad de los procesos científicos.²⁷ Es por eso que se deben tener en cuenta otros factores a la hora de evaluar una revista, como es la calidad de la revisión por pares, la tasa de rechazo de artículos y la velocidad de publicación.²⁸

Ante lo anteriormente expuesto, se hace importante tener en cuenta otros factores, como la medición utilizada en el presente estudio (el índice de Osk), en la que se resalta el logro editorial, definido como la consecución de publicaciones y de autores de distintos orígenes geográficos.¹⁷

Según los datos hallados en esta investigación, la revista colombiana del área estudiada con mejor puntaje fue Biomédica, ubicada en el nivel O1, lo que difiere en los resultados arrojados por SJR, donde para el mismo año evaluado se ubica a Colombia Médica por encima de Biomédica, ambas colocadas en el cuartil Q3 de Scimago Journal & Country Ranking. Sin embargo, en el cálculo del Índice de Osk Colombia Médica se encuentra muy por debajo de Biomédica y de otras revistas del área, ubicada en el nivel O2 en el sexto puesto. Esto responde probablemente al año analizado, donde Biomédica, con 54 artículos, duplicaba el número de publicaciones de Colombia Médica con 28 artículos.

En lo que corresponde a JCR y al índice de citas de ciencia expandido (SCIE), las revistas han crecido en un 56 % entre el año 2014 y el 2016, donde se destacan Biomédica y Colombia Médica. Según este reporte, para el año 2017 la revista en Colombia con mejor clasificación en JCR es Colombia Médica (Q3); debajo está Biomédica (Q4).²⁹ El Índice Bibliográfico Nacional Publindex clasifica a las dos revistas anteriormente nombradas en su segunda categoría A2. A este sistema de evaluación y clasificación de revistas colombianas se le critica por la utilización del índice H como un indicador bibliométrico, lo cual puede llevar a sesgos, ya que es una herramienta para evaluar el trabajo individual con el número de citas que recibe un artículo publicado.²⁰ Una de las críticas más fuertes asociadas a este indicador fue la eliminación de alrededor de 279 revistas en la convocatoria actual que, según Colciencias, “refleja el bajo impacto y visibilidad de las revistas científicas nacionales”.¹⁵

Otro punto de análisis lo constituyeron las “malas prácticas” en las revistas del área de Ciencias Médicas y de la Salud, ya que se encontraron las citas entre dos revistas nacionales y una extranjera, e igual sucede cuando las citas provienen de un mismo lugar (repositorio). Aproximadamente del 37 al 43 % de las citas que recibe la revista durante el año evaluado correspondían al repositorio de la Universidad de origen, lo cual se vuelve un problema ético cuando se realizan alianzas con editores de otras revistas, en las que se citan de manera indiscriminada y sin sentido investigativo. Así lo expone Quindós,³⁰ quien habla de las “mafias curriculares” haciendo alusión al grupo de investigadores que realizan publicaciones en conjunto, quienes tienden a autocitarse y citar a todos los autores que pertenecen al su grupo de trabajo. De hecho también se ha denotado que algunas revistas piden a los autores que citen cierto porcentaje de artículos de la revista donde se va a publicar su manuscrito, como norma para ser publicados.^31,32 En lo que corresponde a la sistematización de información, se halló que el software Publish or Perish alimentado por Google Scholar presenta errores tales como identificar citas como consecuencia de la falta de normalización de los registros. Además de esto existen fallas propias del sistema, como los encontrado en esta investigación.^33,34 Por ejemplo, cuentan como una cita diferente una misma cita, producto de diversos formatos en que se publica el artículo, o por los idiomas del artículo de origen. Es por esto que resulta importante, aunque algunas veces tediosa, la revisión manual,³⁵ la cual es más eficaz cuando se cuenta con un número adecuado de personas capacitadas y entrenadas.³⁶

Es necesario tener en cuenta que se excluyeron las revistas que presentaban un valor igual o mayor al 20 % en autocitas; es decir, que de las 33 revistas iniciales, solo se evaluaron 26, respaldado esto en que las autocitas colaboran a mejorar el factor de impacto de una revista.^20,37 Según el análisis, alrededor de cada cinco citas una corresponde a autocitas.³⁸

A modo de conclusión se hace preciso revisar el modelo actual de clasificación de revistas en Colombia: Publindex, teniendo en cuenta las particularidades encontradas durante la revisión. Es por eso que se recomienda la implementación de un modelo o sistema de medición integral como es, en este caso, el Índice de Osk, que tiene en cuenta indicadores de evaluación bibliométrica como la calidad, la visibilidad y el logro editorial. Este sistema se debe expandir a las revistas que no se clasificaron en la pasada convocatoria, las cuales probablemente pueden llegar a posicionarse mejor que las que están en la actualidad en el sistema. Cabe resaltar que, aunque las diversas plataformas web que se encargan de la clasificación de las publicaciones científicas son fuertemente criticadas por sus indicadores métricos de evaluación, siguen siendo valoradas y apetecidas por los científicos e investigadores, editores, instituciones y centros de investigación, quienes se interesan día a día por aparecer en estos listados y por ser más citados y leídos,²⁸ lo que se considera como símbolo de estatus en el mundo de la investigación.²⁷

Referencias bibliográficas

1.  Alvis N, De La Hoz F. Producción Científica en Ciencias de la Salud en Colombia, 1993-2003. Rev Salud Públ. 2006;8(1);25-37. DOI: https://doi.org/10.1590/S0124-00642006000100003

2.  Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT). El estado de la Ciencia: Principales indicadores de Ciencia y Tecnología Iberoamericanos/Interamericanos. Buenos Aires, Argentina: RICYT; 2018 [acceso: 20/05/2021]. Disponible en: Disponible en: http://www.unq.edu.ar/advf/documentos/51d5b6f1e5991.pdf#page=233 2.

3.  Restrepo L, Cano A, Castañeda C, Sánchez R, González S. Análisis de la produc ción científica de la Revista CES Odontología en los últimos 10 años. CES Odontol. 2015 [acceso: 20/05/2021];28(2):119-31. Disponible en: Disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=5284609 3.

4.  Colciencias. Departamento Administrativo de Ciencia y Tecnología. Modelo de medición de grupos de investigación, desarrollo tecnológico o de innovación y de reconocimiento de investigadores del sistema nacional de ciencia, tecnología e innovación. Colombia: Colciencia; 2018.

5.  Pelzer L, Wiese W. Bibliometric study of grey literature in core veterinary medical journals. J Med Libr Assoc. 2003 [acceso: 20/05/2021];91(4):434-41. Disponible en: Disponible en: https://pubmed.ncbi.nlm.nih.gov/14566374/ 5.

6.  Samar E, Ávila R, Peñaloza M, Cañete M. Guía para la elaboración y publicación de artículos científicos y la recuperación de la información en Ciencias de la Salud. Córdoba: Publicaciones UNC (Secretaría de Extensión Universitaria); 2003.

7.  Suárez Y, Pérez O. La evaluación de la actividad científica: indicadores bibliométricos. Cienciometría y Bibliometría. El estudio de la producción científica: Métodos, enfoques y aplicaciones en el estudio de las Ciencias Sociales. Barranquilla: Corporación Universitaria Reformada; 2018 [acceso: 20/05/2021]. Disponible en: Disponible en: https://dialnet.unirioja.es/descarga/articulo/6652726.pdf 7.

8.  Rodríguez-Yunta L. Indicadores bibliométricos sobre revistas: más allá de los índices de citas. Ciudad de México: XI Seminario Hispano-Mexicano de Investigación en Bibliotecología y Documentación: La información y sus contextos en el cambio social; 2014 [acceso: 20/05/2021]. Disponible en: Disponible en: http://eprints.rclis.org/23165/ 8.

9.  Garfield E. The history and meaning of the journal impact factor. JAMA. 2006;295(1):90-3. DOI: https://doi.org/10.1001/jama.295.1.90

10.  Krell F. Academic publishers' time‐loop: another mechanism to manipulate impact factors? Lear Publ. 2012;25(2):153-4. DOI: https://doi.org/10.1087/20120210

11.  Culebras-Fernández J, García A, Wanden-Berghe C, David L, Sanz-Valero J. ¡Cuidado!, sus referencias bibliográficas pueden ser estudiadas. Nutr Hosp. 2008 [acceso: 20/05/2021];23(2):85-8. Disponible en: Disponible en: https://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S0212-16112008000200002 11.

12.  Masic I. The importance of proper citation of references in biomedical articles. Acta Inform Med. 2013;21(3):148-55. DOI: https://doi.org/105455/aim.2013.21.148-155

13.  Valderrama J. Scimago. Form Univ. 2012;5(5):1. DOI: https://dx.doi.org/10.4067/S0718-50062012000500001

14.  Megan R. Evaluar revistas en Incites Journal Citation Reports. Fundación Española para la Ciencia y la Tecnología; 2012 [acceso: 20/05/2021]. Disponible en: Disponible en: https://www.recursoscientificos.fecyt.es/sites/default/files/incites_jcr_dec_2016.pdf 14.

15.  Colciencias. Política nacional para mejorar el impacto de las publicaciones científicas nacionales (Documento N° 1601); 2016 [acceso: 20/05/2021]. Disponible en: Disponible en: http://www.colciencias.gov.co/sites/default/files/upload/noticias/120816-vfpolitica_publindex_2.0_og_ao_miv.pdf 15.

16.  Gómez J, Palacios M. Una nueva etapa de Publindex: dolores de crecimiento. Infectio. 2018;22(1):7-8. DOI: https://dx.doi.org/10.22354/in.v0i0.697

17.  Pérez-Anaya O. Índice de Osk: una nueva medición bibliométrica para las revistas científicas. Rev Esp Doc Cient. 2017;40(2):174-9. DOI: http://dx.doi.org/10.3989/redc.2017.2.1418

18.  Pereira J, Escuder M. The scenario of Brazilian Health Sciences in the period of 1981-1995. Scientometrics. 1999 [acceso: 20/05/2021].45(1):95-105. Disponible en: Disponible en: https://link.springer.com/content/pdf/10.1007/BF02458470.pdf 18.

19.  Anaya O, Ospino G, Gélvez D, Arregocés J. Análisis bibliométrico de la revista Duazary en el quinquenio 2012-2016. Duazary. 2017;14(2):122-30. DOI: https://doi.org/10.21676/2389783X.1973

20.  Colciencias. Convocatoria No. 768 de 2016: Para la indexación de revistas especializadas de ciencia, tecnología e innovación. Publindex; 2017 [acceso: 20/05/2021]. Disponible en: Disponible en: https://www.colciencias.gov.co/sites/default/files/listado-revistas-por-categoria-conv-768.pdf 20.

21.  González N. El factor de impacto. Rev Col Psiquiatr. 2010;39(1):190-202. DOI: https://doi.org/10.1016/S0034-7450(14)60245-6

22.  De Granda-Orive J, Alonso-Arroyo A, Aleixandre-Benavent R. Autocitación: ¿debemos penalizarla? Arch Broncon. 2014 [acceso: 20/05/2021];50(10):458-61. DOI: https://doi.org/10.1016/j.arbres.2013.10.008

23.  Pérez J. Las publicaciones científicas en Colombia, su origen y su futuro según el nuevo modelo de medición de Publindex. Biosalud [Internet]. 2013 [acceso: 20/05/2021];12(2):5-6. Disponible en: Disponible en: http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S1657-95502013000200001&lng=en 23.

24.  Rodríguez AJ, Ochoa SA, Mayta P. Impacto de las revistas de salud colombianas: comparación de Publindex versus24.  Google Scholar Metrics, SciELO y SCOPUS. Rev Cubana Pediatr. 2013 [acceso: 20/05/2021];25(1):24-35. Disponible en: Disponible en: http://www.acimed.sld.cu/index.php/acimed/article/view/483 24.

25.  León-Sarmiento FE, Bayona-Prieto J, León ME. Concepciones, confusiones y contradicciones del factor de impacto en Colombia. Rev Esp Sal Públ. 2007;81(2):147-54. DOI: https://doi.org/10.1590/S1135-57272007000200005

26.  Romero-Torres M, Tejada MA, Acosta A. Propuesta para clasificar revistas científicas en Latinoamérica mediante indicadores de citación: estudio de caso en Colombia. Bogotá: Pontificia Universidad Javeriana; 2010 [acceso: 20/05/2021]. Disponible en: Disponible en: http://arxiv.org/pdf/1101.2711 26.

27.  Rueda-Clausen CF, Villa-Roel C, Rueda-Clausen CE. Indicadores bibliométricos: origen, aplicación, contradicción y nuevas propuestas. MedUNAB. 2005 [acceso: 20/05/2021];8(1):29-6. Disponible en: Disponible en: https://revistas.unab.edu.co/index.php/medunab/article/view/208 27.

28.  Venkatraman A. Impact factors dominate citation metrics. Information World Review; 2009 [acceso: 20/05/2021]. Disponible en: Disponible en: http://www.iwr.co.uk/information-world-review/analysis/2249258/journals-cherish-status-symbol 28.

29.  Caicedo-Alarcón O. Las revistas colombianas en el Journal Citation Reports (JCR). Análisis de los últimos tres años. Journal Citation Reports; 2017 [acceso: 20/05/2021]. Disponible en: Disponible en: https://jasolutions.com.co/calidad-editorial/las-revistas-colombianas-en-el-journal-citation-reports-jcr-analisis-2015-2017/ 29.

30.  Quindós G. Confundiendo al confuso: reflexiones sobre el factor de impacto, el índice h (Hirsch), el valor Q y otros cofactores que influyen en la felicidad del investigador. Rev Iberoam de Micol. 2009;26(2):97-102. DOI: https://doi.org/10.1016/s1130-1406(09)70018-x

31.  Baiget T. Ética en revistas científicas. Ibersid. 2010 [acceso: 20/05/2021];4:59-65. Disponible en: Disponible en: https://www.ibersid.eu/ojs/index.php/ibersid/article/viewFile/3873/3596 31.

32.  Contreras F, Buzeta L, Pedraja-Rejas L. Importancia de las publicaciones académicas: algunos problemas y recomendaciones a tener en cuenta. Idesia. 2015;33(4):111-9. DOI: https://dx.doi.org/10.4067/S0718-34292015000400014

33.  Wouters P, Costas R. Users, narcissism and control-tracking the impact of scholarly publications in the 21st century. Utrecht: SURF Foundation; 2012.

34.  Delgado E. Los repositorios en Google Scholar Metrics o qué hace un tipo documental como tú en un lugar como ese. Working Papers; 2012 [acceso: 20/05/2021]. Disponible en: Disponible en: http://digibug.ugr.es/handle/10481/20236 34.

35.  García FE, Cova-Solar F, Bustos-Torres F, Reyes-Pérez E. Burnout y bienestar psicológico de funcionarios de unidades de cuidados intensivos. Duazary. 2018 [acceso: 20/05/2021];15(1):23-38. DOI: https://doi.org/10.21676/2389783X.2101

36.  Causado-Rodríguez E, Mojica-Cueto A, Charris-Fontanilla A. Clúster de turismo de salud en Colombia: referentes para la competitividad. Duazary. 2018;15(3):307-23. DOI: http://dx.doi.org/10.21676/2389783X.2423

37.  Sobrido N, Sobrido M. It is possible to assess the quality of scientific journals? Major constraints. Enferm Glob. 2013 [acceso: 20/05/2021];12(31):265-72. Disponible en: Disponible en: http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S1695-61412013000300016&lng=es 37.

38.  Grzybowski A. The journal impact factor: How to interpret its true value and importance. Med Sci Monit. 2009 [acceso: 20/05/2021];15(2):1-4. Disponible en: Disponible en: https://www.medscimonit.com/abstract/index/idArt/869534/act/2 38.

Financiación

Este trabajo fue financiado por Convocatoria para la financiación de proyectos de investigación, desarrollo experimental, innovación y creación artística y cultural - Fonciencias, Resolución N° 618 de 2017, con la Universidad del Magdalena, Santa Marta, Colombia.

Recibido: 04 de Noviembre de 2020; Aprobado: 10 de Junio de 2021

^*Autor para la correspondencia: [e-mail]

Los autores declararon no tener conflicto de intereses.

María Paola Jiménez-Villamizar: Conceptualización, curación de datos, administración del proyecto, redacción - borrador original, redacción - revisión y edición.

Oskarly Pérez-Anaya: Conceptualización, análisis formal, metodología, supervisión, redacción - borrador original, redacción - revisión y edición.

Heygui Araujo-Zúñiga: Curación de datos, redacción - borrador original.

Carmen Caballero-Domínguez: Adquisición de fondos, supervisión redacción - borrador original.