Propuesta para la evaluación de la calidad y el funcionamiento de Revistas Científicas en Ciencias de la Salud
Proposal for evaluating the quality and functioning of Scientific Journals in Health Sciences
José Enrique Alfonso ManzanetI, Roberto Zayas MujicaI, Alberto Juan Dorta-ContrerasII, José Luis Cadenas FreixasIII
]]> ICentro Nacional de Información en Ciencias Médicas. Editorial de Ciencias Médicas. La Habana, Cuba. jenrique@infomed.sld.cu
Introducción: Cuba cuenta en la actualidad con más de 50 títulos de revistas científicas en Ciencias de la Salud catalogadas como Revistas Científicas, según el Ministerio de Ciencia Tecnología y Medio Ambiente. Sin embargo, el mantenimiento de la calidad de las publicaciones, así como las perspectivas de que puedan escalar en posicionamiento global se hace difícil si no se mantiene un sistema de evaluación permanente.
Objetivo: Diseñar una propuesta de indicadores de evaluación del funcionamiento y la calidad de las revistas cubanas en Ciencias de la Calud, lo que contribuirá en lograr una sintonía con las mejores publicaciones a nivel internacional.
Resultados: Se analizaron sistemas de evaluación de varias bases de datos teniéndose como criterios universales y se hicieron adecuaciones al contexto cubano. Se obtuvo un modelo dividido en tres ejes y con 28 indicadores. La propuesta está desarrollada para su implementación en una primera etapa de evaluación y deberá irse incrementando en la medida en que los indicadores se vayan consolidando.
Conclusiones: Se diseñó una propuesta de indicadores de evaluación del funcionamiento y la calidad de las revistas cubanas en Ciencias de la Salud en base a criterios de calidad informativa; calidad del proceso editorial y calidad científica de la publicación, que contribuirá a lograr una sintonía con las mejores publicaciones a nivel internacional.
Palabras claves: Estudios de evaluación, revistas electrónicas, calidad, funcionamiento, indicadores.
Keywords: evaluation studies, electronic journals, quality, functioning, indicators.
INTRODUCCIÓN
La evolución de la publicación científica desde que surgieron las primeras revistas dedicadas a estos temas en 1965 ha sido vertiginosa. En la actualidad, según el Directorio Ulrich (Ulrich's Periodicals Directory), que es la fuente universal sobre revistas más exhaustiva, en 2016 existía un total de 68 819 revistas, de las cuales 38 759 (56%) son declaradas como revisadas o arbitradas.1
En América Latina, según el sistema de evaluación y monitoreo de la producción científica Scimago Journal Ranking en la base de datos Scopus, Brasil domina la producción científica con un total de 749 498 documentos científicos seguido por México, 258 077, y Argentina con 174 968, lo que los posiciona como los principales productores de literatura científica de calidad en la región. Cuba ocupa el lugar 7 con 33 861 documentos en este espacio de alta visibilidad.2
]]> La medición de la actividad científica a través de los indicadores de evaluación de las revistas es, desde hace bastante tiempo, un factor importante a tener en cuenta para determinar calidad e influencia en el medio científico y académico. Hace poco tiempo el factor de impacto emitido en el Journal Citation Reports (JCR) era el indicador más importante a considerar para evaluar la calidad de la publicación. Con la llegada de nuevos índices de citas y otras bases de datos de importancia, la situación ha cambiado.3,4En Cuba, existen en la actualidad más de 50 títulos de revistas en el área de las Ciencias de la Salud, certificadas como publicaciones científico-tecnológicas según la Resolución 59/2003 del Ministerio de Ciencias, Tecnología y Medioambiente (CITMA) de un total de 77 revistas registradas, según datos el Registro Nacional de Publicaciones Seriadas (RNPS). El mantenimiento de los estándares de calidad de las revistas científicas y las certificaciones obtenidas es por lo general una ardua tarea que tienen ante sí los comités editoriales. Cada vez son más rígidos los criterios exigidos con el propósito de validar los vehículos que circulan en los canales oficiales de la ciencia.
La calidad de la fuente de publicación es en la actualidad el único recurso con que un investigador cuenta para depositar con plena confianza los resultados de sus experimentos. De ahí que la ubicación en bases de datos de prestigio sea un elemento primario a tener en cuenta cuando de calidad se habla. Pero a su vez, las bases de datos más prestigiosas cada vez son más exigentes en los indicadores de certificación. Varias publicaciones han ido evolucionando con el paso del tiempo y han tenido que ir adaptándose a los nuevos paradigmas y son precisamente las que han mantenido un trabajo sostenido durante décadas, las mismas que sirven como referencia al resto de las más "jóvenes", pero desarrollar su propio camino.
Hasta enero de 2018, el Sistema de Salud Cubano cuenta con 35 revistas incluidas en la red SciELO y 19 en Scopus, como bases de datos referentes de literatura científica tanto regional como internacional. Sin embargo, si analizamos la gama total pudiéramos encontrar diversas metodologías y estilos de trabajo, así como evidencias de calidad diferentes.
Se hace necesario que la calidad de las revistas cubanas sea proporcional al volumen de producción, lo cual establecería un adecuado balance que permitiría lograr que otros esfuerzos sean también reconocidos y, sobre todo, que los autores cuenten con un nivel de calidad parejo a todo lo largo y ancho del país.
OBJETIVO
Por todo lo anteriormente expuesto se decidió como objetivo de esta investigación diseñar una propuesta de indicadores de evaluación del funcionamiento y la calidad de las revistas cubanas en Ciencias de la Salud, lo que contribuirá en lograr una sintonía con las mejores publicaciones a nivel internacional.
MATERIAL Y MÉTODOS
]]> Se realizó un análisis documental durante 2016 y 2017 sobre los diferentes criterios establecidos por varias fuentes a nivel internacional para evaluar la calidad de las revistas científicas, así como su gestión y funcionamiento.Se analizaron los indicadores de inclusión y permanencia de fuentes de referencia como Scopus, Science Citation Index, SciELO, FeCyt y fueron adaptados al contexto cubano, considerando la situación actual.
Se seleccionaron 28 indicadores de calidad divididos en tres ejes en forma de criterios. Para la selección se tuvieron en cuenta criterios mínimos de calidad, lo cual constituiría un primer acercamiento al sistema de evaluación. Posteriormente se incluirían otros indicadores para ir logrando la estandarización de criterios de calidad, según se vayan venciendo los propuestos. El proceso de selección fue realizado utilizando el criterio de expertos y las experiencias personales de los autores en el funcionamiento del Sistema Nacional de Salud para poder hacer las adecuaciones pertinentes al contexto.
Se elaboró un sistema de puntuación donde el cumplimiento de cada indicador tiene un valor de 5 puntos, los cuales al sumarse serian un total de 140 puntos.
Se propuso un sistema de clasificación considerando la puntuación obtenida, de manera que los resultados después de la evaluación queden ubicados espacialmente y permita que los evaluados puedan adoptar sus medidas para conseguir mejores puntuaciones.
Una vez elaborada la propuesta, el instrumento fue sometido a la valoración de expertos y aprobado para su implementación en una primera etapa de evaluación diagnóstica.
Durante el trabajo se han cumplido con todos los principios éticos relacionados con la investigación y para la comunicación de los resultados.
RESULTADOS
Se diseñaron tres ejes de evaluación, los cuales corresponden a factores claves en la vida de una publicación. El primer eje está determinado por los criterios que hacen referencia a la calidad informativa de la revista como medio de comunicación científica y en él se incluyeron varios indicadores que son indispensables en la información que se brinda al investigador sobre la publicación hasta llegar a 14. (Tabla).
]]> El segundo eje incluyó indicadores referentes a la calidad del proceso editorial y se tuvieron en cuenta elementos primordiales como la utilización de los sistemas automatizados de gestión editorial, así como la utilización de guías de evaluación y la medición de los tiempos de respuesta del Comité Editorial a los envíos, en cinco indicadores. (Tabla).En el tercer eje se propone medir en nueve indicadores la calidad científica de la publicación, haciendo énfasis la cantidad de artículos de investigación publicados, el nivel de endogamia, el índice de rechazo entre otros, los cuales deberán ser elementos esenciales para la selección de una publicación y su clasificación. (Tabla).
Para el esquema de clasificación se realizó una división en tres niveles o categorías (A, B, C) y dentro de la categoría A quedaron dos subniveles A1, para los que obtengan 140 puntos y A2 para los que obtengan entre 120 y 139 puntos. El nivel B los integrarían las revistas que obtengan entre 119 y 100 puntos y el Nivel C todas las publicaciones evaluadas que obtengan menos de 100 puntos. (Figura).
DISCUSIÓN
Las iniciativas de evaluación y clasificación de revistas científicas es algo que ya está establecido en varios países de América Latina. En Argentina, el Conicet tiene las Pautas de clasificación para revistas en Ciencias Sociales y humanidades desde 2014, pero a diferencia de nuestra propuesta incluye a revistas tanto nacionales como internacionales y es un sistema orientado a la evaluación académica, no a la publicación. En cambio, el Nuevo Sistema de Clasificación de Revistas Mexicanas de Investigación Científica y Tecnológica instaurado por el Conacyt desde 2016 sí está dirigido al fortalecimiento de las revistas, igual que el modelo que se propone; tiene un alcance nacional e incluye calidad editorial como indicador de evaluación.5
El sistema UCRÍndex de la Universidad de Costa Rica también fue ideado con el objetivo de evaluar revistas y tiene la característica, al igual que el modelo que plateamos que está divido en tres ejes que cubren aspectos importantes para la publicación, como los es el Contenido, la Visibilidad y la Gestión editorial, aspecto en el que coincide con otros modelos.6
En España existen también diversos modelos de evaluación de las publicaciones. Uno de los más destacados es el modelo empleado por la Fundación Española para la Ciencia y la Tecnología (Fecyt) que si bien no se aplica para evaluar revistas de forma establecida oficialmente, sí contiene indicadores válidos y estándares para la evaluación de las publicaciones. De él se obtuvieron varios insumos necesarios para considerar los que se proponen.7
]]> Por otra parte, el Consejo Superior de Investigaciones Científicas (CSIC) creó una herramienta para la evaluación de publicaciones científicas en Ciencias Sociales y Humanas que tampoco se aplica como modelo oficial, pero también sirve de referencia para elaborar modelos más particulares debido a la gran variedad de indicadores que en el texto se resumen.8El Sistema Qualis de Brasil es también un modelo de clasificación de publicaciones a nivel regional. Brasil es el mayor productor de literatura científica en Latinoamérica, por lo que la expresión de este sistema más que cumplir una función de ordenamiento de la publicación es una necesidad ante tanta diversidad y calidad. En este sistema de evaluación se incluyen las revistas que han sido utilizadas en los programas de posgrado durante un año; es decir, para entrar en el sistema Qualis, no solo hay que estar activo como publicación, sino que los contenidos que se publican deberán tributar a la formación académica. La propuesta de clasificación ha sido seleccionada como ejemplo para la elaboración de nuestra propuesta, aunque con menos subniveles.9
Para poder desarrollar un sistema de evaluación como el que se propone, se necesita un modelo de implementación que tenga como premisa el mantener los principios éticos de los evaluadores. El sistema podrá ser implementado de forma cíclica de manera que garantice la resolución de las dificultades detectadas durante el proceso y la oportunidad de avanzar a etapas superiores. Los indicadores deberán ser renovados en la medida en que se hayan conseguido en su totalidad.
Se propone que el sistema de evaluación se active cada 2 años donde según la puntuación obtenida, el evaluado tendrá este tiempo para corregir las deficiencias detectadas y mantener o mejorar el nivel alcanzado. Las publicaciones que obtengan una evaluación correspondiente al nivel C en dos oportunidades consecutivas son objeto de análisis por parte del Consejo Asesor para la publicación científica en Ciencias de la Salud, quien propondrá las acciones que deben adoptarse al respecto, incluso la propuesta de cancelación de la publicación por parte de la máxima dirección del organismo.
El proceso de evaluación de publicaciones científicas en Ciencias de la Salud constituye un eslabón fundamental en el anhelo de mostrar a la comunidad científica lo mejor que se realiza en investigación en Ciencias de la Salud en Cuba.
Estos indicadores constituyen una primera etapa o etapa inicial donde se han adoptado criterios básicos. Una vez cumplimentados de forma uniforme se incrementará el número y/o la envergadura de estos de modo que aumente el rigor evaluativo durante el proceso. Esto traerá consigo, sin dudas, el mejoramiento progresivo de la calidad de las revistas en el Sistema Nacional de Salud.
Este estudio presenta limitaciones evidentes, dadas por la no inclusión de algunos otros indicadores de importancia que no han sido considerados en una primera instancia pero que si han sido considerados para el posterior desarrollo de la actividad evaluativa.
CONCLUSIONES
Se diseñó una propuesta de indicadores de evaluación del funcionamiento y la calidad de las revistas cubanas en Ciencias de la Salud sobre la base de criterios de calidad informativa, calidad del proceso editorial; y calidad científica de la publicación, que contribuirá en lograr una sintonía con las mejores publicaciones a nivel internacional.
]]>RECOMENDACIONES
La propuesta representa una iniciativa para controlar la calidad y el funcionamiento de las revistas científicas en Ciencias de la Salud, pero puede ser usado para cualquier tipo de revista científica, independientemente del área de la ciencia. Deberán revisarse constantemente los indicadores y sus valores con el objetivo de realizar los cambios necesarios acordes con la evolución que van teniendo las publicaciones, así como la inserción o exclusión de nuevos indicadores y la modificación de la escala.
REFERENCIAS BIBLIOGRÁFICAS
1- Abad García M, Abadal E, Anglada de Ferrer L, Borrego À, Claudio-González M, Delgado López-Cózar E, et al. Revistas Científicas. Situación actual y retos de futuro. Universitat de Barcelona. [Internet]. 2017 [consultado: 6 de noviembre de 2017]. Disponible en: http://diposit.ub.edu/dspace/handle/2445/117374
2- Scimago Journal & Country Rank. 2017 [citado: 9 de noviembre de 2017]. Disponible en: http://www.scimagojr.com/countryrank.php?region=Latin%20America
3- Torres-Salinas D, Bordons M, Jiménez-Toledo E, Delgado López-Cózar E, Jiménez-Contreras E, Sanz-Casado E. Clasificación integrada de revistas científicas (CIRC): propuesta de categorización de las revistas en Ciencias Sociales y Humanas. [Internet]. 2010[consultado: 6 de noviembre de 2017];19(6):675-84. Disponible en: https://www.researchgate.net/publication/47522275_Clasificacion_integrada_de_revistas_cientificas_CIRC_Propuesta_de_categorizacion_de_las_revistas_en_ciencias_sociales_y_humanas
4- Ruiz-Pérez R, Emilio D-L-C, Jiménez-Contreras E. Criterios del Institute for Scientific Information para la selección de revistas científicas. Su aplicación a las revistas españolas: metodologías e indicadores. Int J Clin Heal Psychol [Internet]. 2006 [consultado: 6 de noviembre de 2017];6(2):401-24. Disponible en:http://ec3.ugr.es/publicaciones/Criterios_del_Institute_for_Scientific_Information_para_la_seleccion_de_revistas_cientificas.pdf
5- Vasen F, Vilchis IL. Sistemas nacionales de clasificación de revistas científicas en América Latina: tendencias recientes e implicaciones para la evaluación académica en Ciencias Sociales. Rev Mex Cienc Polit Soc [Internet]. 2017 [citado 16 de abril de 2018];62(231):199-228.Disponible en: https://www.sciencedirect.com/science/article/pii/S0185191817300430
6- UCRIndex. Sistema de evaluación. Universidad de Costa Rica. [Internet]. 2018 [consultado: 16 de abril de 2018].Disponible en: https://ucrindex.ucr.ac.cr/?page_id=4
7- Delgado López-Cózar E, Ruiz-Pérez R, Jiménez-Contreras E. La edición de revistas científicas. Directrices, criterios y modelos de evaluación. Fundación Española para la Ciencia y la Tecnología. [Internet]. [consultado: 16 de abril de 2018]. Disponible en: https://www.fecyt.es/es/publicacion/la-edicion-de-revistas-cientificas-directrices-criterios-y-modelos-de-evaluacion
8- Román A, Jiménez Toledo E, Martín-Sempere MJ, Páez Mañá J, Román Román A, Urdín Caminos C, et al. La edición de revistas científicas: guía de buenos usos. Centro de Información y Documentación Científica [Internet]. 2001[citado:16 de abril de 2018]. Disponible en: http://hdl.handle.net/10261/4347
9- WEBQUALIS: Sistema de classificação de periódicos. Saiba a classificação de diversos periódicos por meio dessa plataforma gerenciada pela CAPES. [Internet]. 2018 [citado: 16 de abril de 2018]. Disponible en: http://www.periodicos.ufscar.br/noticias/webqualis-sistema-de-classificacao-de-periodicos
]]>
Recibido: 22 de Marzo de 2018.
Aprobado: 22 de Abril de 2018.
José Enrique Alfonso Manzanet. Centro Nacional de Información en Ciencias Médicas. La Habana, Cuba.
Correo electrónico: jenrique@infomed.sld.cu
]]>