Custom services
Spanish (pdf)
Article in xml format
Article references
Send this article by e-mail
Cited by SciELO 
Similars in
SciELO 
Permalink
Introducción
Los conocimientos científicos hoy en día son trasmitidos por medio de publicaciones tales como ponencias, libros, capítulos de libros e informes; pero especialmente en artículos científicos, con el fin de difundir entre la comunidad científica los resultados producto de investigaciones y ser utilizados como base de nuevos conocimientos para llenar el vacío conceptual referente a un tema.1,2,3
Los artículos científicos por excelencia son el medio más usado por los investigadores para publicar sus resultados; son documentos primarios que aportan nuevos conocimientos sobre un área de estudio específico.4 Las diferentes fuentes de información, así como los tipos de literatura, es decir, los datos bibliográficos de las publicaciones, se usan para ser analizadas y estudiadas por medio de la bibliometría.5,6 Esta es entendida como el estudio de la comunicación científica desde la difusión, el uso y la producción, mediante indicadores estadísticos y matemáticos (cuantitativos) y cualitativos.7 En detalle, los indicadores bibliométricos permiten observar el crecimiento de un área y valorar la calidad y el impacto de los trabajos como producto del número de referencias que una publicación hace de otra. Es por esto que las revistas y los artículos de investigación son considerados como el mejor medio de difusión de conocimiento científico.8
Existen diversos indicadores bibliométricos para medir el impacto y la calidad de las publicaciones de carácter científico tanto a nivel nacional como internacional. Entre ellos, el factor de impacto (IF) es un instrumento importante que permite la clasificación de la calidad de las revistas y, además de esto, evaluar la importancia de cada una en determinada área.9,10 El FI se mide a través del número de citas que tiene un artículo, buscando ver que tanto ha trascendido la revista en la comunidad académica.11 Existen portales de evaluación de revistas basados en la información contenida en diferentes bases de datos, entre ellas está Scimago Journal & Country Rank, propuesta en el año 2007 por el laboratorio de investigación Scimago, de España, que evalúa las revistas y tiene en cuenta los indicadores científicos a partir de los que aporta la base de datos Scopus.12 El Scimago Journal Rank (SJR) calcula las citas recibidas por los artículos publicados en un periodo tiempo determinado, dando mayor peso a aquellas revistas con gran cantidad de citas externas y pocas autocitas; utiliza un algoritmo basado en el PageRank de Google.13 Otro es el Journal Citation Report (JCR), que mide el impacto de una revista con respecto a las citas recibidas de los artículos publicados y almacenados en Web of Science.14
Por su parte, a nivel nacional la medición de las revistas científicas colombianas está a cargo del Índice Bibliográfico Nacional (Publindex), basándose principalmente en la clasificación del índice H5 de Google Scholar,15 el cual es estimado por las citas producto de diversos documentos, desde trabajos de grado hasta libros, capítulos de libros y revistas científicas, y recibe un gran número de críticas producto de la dificultad para diferenciar entre la variedad de productos, la duplicidad de citas y los errores de marcación.16 Como producto de la necesidad latente de mejorar el sistema de evaluación de las revistas colombianas en el año 2017, apareció un índice alternativo para medir las revistas, conocido como el índice de Osk,17 el cual busca solucionar algunos problemas que presentan otros índices, por medio de la medición simultánea de la calidad, visibilidad y logro editorial, que se da gracias al análisis de los artículos, los autores, la periodicidad y las citaciones en un periodo establecido, que para el caso de estudio es de un año.
Por su parte, el área de Ciencias Médicas y de la Salud es conocida por la prioridad que se le atribuye por parte de los estados a nivel mundial, producto de la inversión económica, lo que la convierte en un área estratégica.18 En Colombia se vienen efectuando investigaciones con respecto a la actividad científica en esta área por medio de indicadores bibliométricos.3,19
A partir de los datos arrojados en la Convocatoria de Colciencias 768 del año 201620 se encontró que las revistas Ciencias médicas y de la Salud se agrupan de la siguiente forma: en la categoría A1, que es la de mayor “prestigio y rigurosidad”, no se haya ninguna; en la A2, solo alcanzaron a estar 2; en la B, 11 revistas y en la C, 20, en donde se agrupan las de menor “calidad” (Tabla 1).
Tabla 1 Clasificación de las revistas de Ciencias Médicas y de la Salud según la convocatoria 768 del año 2016 de Publindex
Fuente: Colciencias, 2017.
En la tabla anterior se observa la clasificación de las revistas producto de la convocatoria anteriormente mencionada, donde se resalta como factor primordial para la clasificación el índice H5. Esto demuestra una de las dificultades más notorias de esta métrica a la hora de evaluar las revistas. Además, si se mira con detalle, al realizar el cálculo del índice para cualquiera de estas, solo se resalta un bajo porcentaje de los manuscritos publicados y, por tanto, de las citas recibidas. Se da poco valor al logro editorial que ocurre en el interior de una revista para la consecución de artículos, al cambio de periodicidad, a la visibilidad internacional, entre otros. Todo esto es algo que muy pocos investigadores y/o académicos conocen, a no ser que trabajen o estén familiarizados con los procesos que se dan en una publicación, por lo cual se hace importante realizar este estudio, que tuvo como objetivo la evaluación de las revistas científicas colombianas del área de Ciencias Médicas y de la Salud a través del sistema de medición integral de revistas científicas colombianas que se sustenta en el Índice de Osk.
Métodos
Se realizó un estudio bibliométrico retrospectivo y descriptivo en el cual se analizaron las 33 revistas científicas colombianas de Ciencias Médicas y de la Salud indexadas en el Índice Bibliográfico Nacional Publindex - convocatoria 768 de 2016, correspondiente al año 2017, tomando en cuenta las ediciones y citas comprendidas entre el periodo 01 de enero y 31 de diciembre de 2017. Se seleccionó este periodo por la demora que suele tener Publindex en la evaluación, al igual que la que tienen algunas revistas para cumplir con su periodicidad. No se incluyó el resto de revistas nacionales no indexadas, ya que es difícil conocer cuántas son; en otras palabras, no están agrupadas, como sí lo hacen las indexadas en Publindex.
Se procedió a revisar el sitio web oficial declarado por cada una de las revistas en la plataforma de Publindex - Colciencias, con el propósito de obtener datos veraces que permitieran realizar la evaluación de cada una de ellas. En este sentido, los valores procesados para cada una teniendo en cuenta el Índice de Osk fueron: el número total de artículos de investigación (Inv), de revisión (Rev), de reflexión (Ref) y los reportes de casos (Rec). De igual forma, también se contemplaron los editoriales (Ed), las citas externas (Ciex), las citas internas o autocitas (Ac) y los autores, centrándose especialmente en su afiliación; es decir, los autores locales o internos (Ai), los autores nacionales (An) y los autores extranjeros o internacionales (Ae). Es necesario resaltar que el primer ítem que se registró de cada revista fue el de citaciones (entre agosto y octubre de 2018), con el propósito de comprobar que todas cumplieran con los indicadores que se muestran en el cuadro 1.
Las revistas dentro de la ventana de revisión (01 de enero y 31 de diciembre del año 2017), que presentaron un valor igual o mayor al 20 % en autocitaciones21,22 en relación con el total de las citas obtenidas, fueron excluidas, en aras de reducir el sesgo de los resultados del índice; asimismo, se excluyeron las revistas que a la fecha de la revisión no tenían cargadas las ediciones correspondientes al año 2017.
Para el caso puntual de los artículos, fue imperiosa la validación de la tipología de cada uno de estos, debido a que algunas revistas no los reportaban en la parte de las secciones donde normalmente suelen encontrarse, por lo que en estos casos hubo que revisar el resumen y la metodología de los manuscritos para hacer la respectiva clasificación (artículos de investigación, revisión, reflexión y reportes de casos). En ese mismo orden, también se comprobó que los artículos pertenecieran al periodo de revisión y, por consiguiente, hicieran parte de la revista en estudio (proceso efectuado entre octubre y diciembre de 2018).
Otro punto que se tuvo en cuenta fue la verificación de las citaciones, más específicamente que estas no estuvieran duplicadas (citas provenientes de un mismo artículo, aunque en distintos formatos o idiomas) y que el artículo que las obtenía sí correspondiera a la revista y a la edición objeto de estudio. Vale la pena aclarar que en todo momento se aplicó el principio de favorabilidad al registrar cada uno de los datos de las revistas. Este principio hace alusión a que se toma la decisión más favorable para la revista, en caso de tener una duda con respecto a clasificación de algunas de sus variables en la evaluación.
La revisión de los autores se efectuó de acuerdo con la institución de afiliación y con el país de esta. En los casos donde un autor presentaba doble afiliación se tomaba la más favorable, es decir, se catalogaba como externo. En el caso del autor que pertenecía a la misma institución que la revista, pero era de otra sede, se anotaba como interno.
El registro de datos se desarrolló usando una matriz en Excel (Programa Microsoft Office Excel 2016), en donde se consignaron las variables representadas en el índice de Osk, además de datos como: área temática, institución de origen, observaciones y nombre de búsqueda o utilizado; para este último fue menester establecer las convenciones numéricas que se expresan en la tabla 2.
Tabla 2 Estandarización de la información utilizada para la búsqueda las revistas en el software Publish or Perish
| Nombre de búsqueda o utilizado | Número |
|---|---|
| Nombre de la revista | 1 |
| ISSN Impreso | 2 |
| ISSN Electrónico | 3 |
| Nombre de la revista + ISSN Impreso | 4 |
| Nombre de la revista + ISSN Virtual | 5 |
Para la obtención de cada una de las citaciones y autocitaciones de las revistas se usó Publish or Perish: Programa informático de acceso libre versión 6.18.6032, en donde se procedió a buscar cada una de las 33 revistas en estudio, empleando las estandarizaciones antes mencionadas, de las cuales se seleccionaba la que mostrara el valor más alto de citaciones. Una vez elegido dicho nombre, se realizó la revisión de cada una de las citas obtenidas por cada revista, con la intención de diferenciar cuál era originaria de otros artículos de la propia revista (autocitación) y cuál era de una entidad externa u otra revista distinta, aunque perteneciera a la misma institución de la revista. Efectuado esto, se calculó el porcentaje de autocitaciones de cada revista, tomando como valor total la suma de citas y autocitas, y se excluyeron del estudio las revistas que presentaban 20 % o más en autocitaciones.
Análisis estadístico
Obtenido el índice de Osk para cada revista se procedió a agruparlas en cuartiles, que se organizaron en cuatro categorías, denominadas Nivel O1, nivel O2, Nivel O3 y Nivel O4. Las que se ubicaron en el primer nivel fueron las que presentaron mejor calidad, visibilidad y logro editorial, atributos que en conjunto se evaluaron con la siguiente fórmula:
Resultados
En total, se revisaron 33 revistas de Ciencias Médicas y de la Salud, de las cuales 6 (18,18 %) fueron excluidas por superar el porcentaje de autocitaciones establecido para este estudio. Asimismo, tampoco se tuvo en cuenta una revista que al momento de la revisión no había publicado ninguna de las cuatro ediciones programadas para el año 2017, de acuerdo con la periodicidad declarada en su portal web (3,03 %). A las 26 revistas restantes se les aplicó el índice de Osk, que arrojó una serie de resultados que fueron agrupados en cuatro cuartiles (nivel O1, O2, O3 y O4), en donde la que mayor valor presentó fue la revista Biomédica, con un Índice para el año 2017 de 314,30, seguida de la Revista Colombiana de Cardiología, con 206,81, y en tercer lugar Revista de Salud Pública, con 201,15, las cuales se agrupan en el nivel O1. En el otro extremo y agrupándose de mayor a menor puntaje en el nivel O4 se encuentran las revistas Duazary (41,78), la Revista de la Facultad de Odontología de la Universidad de Antioquia (38,19), y Vitae (35,12), entre otras (Tabla 3).
Se vislumbró que la revista que más artículos publicó fue la Revista Colombiana de Cardiología, con 101, los cuales al momento de la revisión habían recibido 36 citaciones; también se registró la Revista de Salud Pública, con 93 (26 citas), y en tercer lugar Biomédica, con 54 artículos y 74 citaciones, que fue la que más citas recibió, lo que es coherente con su primer lugar en el ranking. Por otro lado, cinco revistas publicaron 20 o menos artículos para el año de evaluación; entre estas se destacan la revista Duazary, la Revista Colombiana de Ciencias Químico-Farmacéuticas y Persona y Bioética, que respectivamente presentaron 6, 1 y 2 citas (Fig.).
Fig Número total de artículos y citas registradas para las revistas colombianas de Ciencias de la Salud.
Como parte importante de los resultados también se denotaron datos curiosos y otros no tan éticos para algunas revistas, entre los que se destaca una especie de “triángulo de citas” entre dos revistas nacionales y una extranjera. Otro dato importante, aunque distinto al antes mencionado, es la gran utilidad que presentan las revistas para los tesistas de pregrado y posgrados de Perú y Ecuador. En la tabla 5 se listan cada una de estas experiencias.
Cuadro 2 Particularidades, datos inusuales y algunas prácticas “no tan éticas” encontradas durante la revisión
Por último, las revistas que fueron excluidas por presentar un valor igual o mayor al 20 % en autocitaciones fueron: Revista de la Facultad de Medicina de la Universidad Nacional de Colombia, Revista Colombiana de Anestesiología y Revista Urología Colombiana, entre otras. Asimismo, se excluyó Investigaciones Andinas, por no haber publicado las ediciones correspondientes al periodo 2017 al momento de la revisión23,24) (Tabla 4).
Discusión
La clasificación de las revistas especializadas en Ciencia, Tecnología e Innovación se viene utilizando últimamente en las comunidades académicas con el propósito de evaluar la calidad e impactos de estas. Los diferentes indicadores de calidad, visibilidad e impacto se calculan preferencialmente mediante los índices Journal Citation Report (JCR) y SCImago Journal Rank (SJR). El Índice Bibliográfico Nacional Publindex y las clasificaciones y ranking que se les ha dado buscan mostrar el lugar que ocupa una revista en su área o campo de conocimiento, su prestigio y la dificultad muchas veces que lleva a un investigador a publicar en esta revista. (25
La evaluación de las revistas científicas colombianas de Ciencias Médicas y de la Salud ejecutada en este estudio no muestra consistencia con la clasificación arrojada por Publindex, dato compartido con lo expuesto por Rodríguez, Ochoa y Mayta24 y otros autores,25,26 quienes sugieren utilizar los parámetros de impacto y citación internacionales para que sea consistente con la clasificación internacional. Los indicadores bibliométricos, aunque han tenido gran aceptación dentro de la comunidad académica, muestran ciertas debilidades e inconsistencias con respecto a evaluar la producción científica, ya que su objetivo principal es mirar el impacto de las revistas, por lo que han dejado a un lado la calidad de los procesos científicos.27 Es por eso que se deben tener en cuenta otros factores a la hora de evaluar una revista, como es la calidad de la revisión por pares, la tasa de rechazo de artículos y la velocidad de publicación.28
Ante lo anteriormente expuesto, se hace importante tener en cuenta otros factores, como la medición utilizada en el presente estudio (el índice de Osk), en la que se resalta el logro editorial, definido como la consecución de publicaciones y de autores de distintos orígenes geográficos.17
Según los datos hallados en esta investigación, la revista colombiana del área estudiada con mejor puntaje fue Biomédica, ubicada en el nivel O1, lo que difiere en los resultados arrojados por SJR, donde para el mismo año evaluado se ubica a Colombia Médica por encima de Biomédica, ambas colocadas en el cuartil Q3 de Scimago Journal & Country Ranking. Sin embargo, en el cálculo del Índice de Osk Colombia Médica se encuentra muy por debajo de Biomédica y de otras revistas del área, ubicada en el nivel O2 en el sexto puesto. Esto responde probablemente al año analizado, donde Biomédica, con 54 artículos, duplicaba el número de publicaciones de Colombia Médica con 28 artículos.
En lo que corresponde a JCR y al índice de citas de ciencia expandido (SCIE), las revistas han crecido en un 56 % entre el año 2014 y el 2016, donde se destacan Biomédica y Colombia Médica. Según este reporte, para el año 2017 la revista en Colombia con mejor clasificación en JCR es Colombia Médica (Q3); debajo está Biomédica (Q4).29 El Índice Bibliográfico Nacional Publindex clasifica a las dos revistas anteriormente nombradas en su segunda categoría A2. A este sistema de evaluación y clasificación de revistas colombianas se le critica por la utilización del índice H como un indicador bibliométrico, lo cual puede llevar a sesgos, ya que es una herramienta para evaluar el trabajo individual con el número de citas que recibe un artículo publicado.20 Una de las críticas más fuertes asociadas a este indicador fue la eliminación de alrededor de 279 revistas en la convocatoria actual que, según Colciencias, “refleja el bajo impacto y visibilidad de las revistas científicas nacionales”.15
Otro punto de análisis lo constituyeron las “malas prácticas” en las revistas del área de Ciencias Médicas y de la Salud, ya que se encontraron las citas entre dos revistas nacionales y una extranjera, e igual sucede cuando las citas provienen de un mismo lugar (repositorio). Aproximadamente del 37 al 43 % de las citas que recibe la revista durante el año evaluado correspondían al repositorio de la Universidad de origen, lo cual se vuelve un problema ético cuando se realizan alianzas con editores de otras revistas, en las que se citan de manera indiscriminada y sin sentido investigativo. Así lo expone Quindós,30 quien habla de las “mafias curriculares” haciendo alusión al grupo de investigadores que realizan publicaciones en conjunto, quienes tienden a autocitarse y citar a todos los autores que pertenecen al su grupo de trabajo. De hecho también se ha denotado que algunas revistas piden a los autores que citen cierto porcentaje de artículos de la revista donde se va a publicar su manuscrito, como norma para ser publicados.31,32 En lo que corresponde a la sistematización de información, se halló que el software Publish or Perish alimentado por Google Scholar presenta errores tales como identificar citas como consecuencia de la falta de normalización de los registros. Además de esto existen fallas propias del sistema, como los encontrado en esta investigación.33,34 Por ejemplo, cuentan como una cita diferente una misma cita, producto de diversos formatos en que se publica el artículo, o por los idiomas del artículo de origen. Es por esto que resulta importante, aunque algunas veces tediosa, la revisión manual,35 la cual es más eficaz cuando se cuenta con un número adecuado de personas capacitadas y entrenadas.36
Es necesario tener en cuenta que se excluyeron las revistas que presentaban un valor igual o mayor al 20 % en autocitas; es decir, que de las 33 revistas iniciales, solo se evaluaron 26, respaldado esto en que las autocitas colaboran a mejorar el factor de impacto de una revista.20,37 Según el análisis, alrededor de cada cinco citas una corresponde a autocitas.38
A modo de conclusión se hace preciso revisar el modelo actual de clasificación de revistas en Colombia: Publindex, teniendo en cuenta las particularidades encontradas durante la revisión. Es por eso que se recomienda la implementación de un modelo o sistema de medición integral como es, en este caso, el Índice de Osk, que tiene en cuenta indicadores de evaluación bibliométrica como la calidad, la visibilidad y el logro editorial. Este sistema se debe expandir a las revistas que no se clasificaron en la pasada convocatoria, las cuales probablemente pueden llegar a posicionarse mejor que las que están en la actualidad en el sistema. Cabe resaltar que, aunque las diversas plataformas web que se encargan de la clasificación de las publicaciones científicas son fuertemente criticadas por sus indicadores métricos de evaluación, siguen siendo valoradas y apetecidas por los científicos e investigadores, editores, instituciones y centros de investigación, quienes se interesan día a día por aparecer en estos listados y por ser más citados y leídos,28 lo que se considera como símbolo de estatus en el mundo de la investigación.27
