CIENCIAS DE LA EDUCACIÓN

 

Universidad de Ciencias Médicas de La Habana
Facultad de Ciencias Médicas "Dr. Miguel Enríquez"

 

Herramientas para medir la eficacia de la Universidad de Ciencias Médicas de La Habana: SCImago Institution Rankings 2010-2012

 

Tools for efficacy measurement in Havana Medical Sciences University: SCImago Institution Rankings 2010-2012

 

 

Daisy Nieves Bencomo García,^I Sonia Sánchez Aldereguía,^II Kiria Hernández Ferreras,^III Lissette Cárdenas de Baños,^IV Jorge A. Fundora Mirabal,^V Alberto Juan Dorta Contreras^VI

^I Médico especialista en Medicina General Integral. Profesora auxiliar. Universidad de Ciencias Médicas de La Habana. Facultad de Ciencias Médicas "Dr. Miguel Enríquez". E.mail: [e-mail]
^II Médico especialista en Medicina General Integral. Asistente. MSc. en Atención Integral al niño. Policlínico "Wilfredo Pérez". Universidad de Ciencias Médicas de La Habana. Facultad de Ciencias Médicas "Dr. Miguel Enríquez". E.mail: [e-mail]
^III Médico especialista en Medicina General Integral. Profesora auxiliar. MSc. en Atención Integral al niño. Universidad de Ciencias Médicas de La Habana. Facultad de Ciencias Médicas "Dr. Miguel Enríquez". E.mail: [e-mail]
^IV Licenciada en Enfermería. Profesora auxiliar. Universidad de Ciencias Médicas de La Habana. Facultad de Ciencias Médicas "Dr. Miguel Enríquez". E.mail: [e-mail]
^V Ingeniero Mecánico. Profesor asistente. Universidad de Ciencias Médicas de La Habana. Vicerrectoría Docente. E.mail: [e-mail]
^VI Licenciado en Bioquímica. Doctor en Ciencias de la Salud. Profesor e investigador titular. Laboratorio Central de Líquido Cefalorraquídeo (LABCEL). Universidad de Ciencias Médicas de La Habana. Facultad de Ciencias Médicas "Dr. Miguel Enríquez". E.mail: [e-mail]

 

 

---

RESUMEN

Introducción: desde 2010, las universidades iberoamericanas tienen un evaluador externo de calidad que es el SCImago Institution Rankings.
Objetivo: analizar la permanencia y variación de los indicadores que hicieron posible que la Universidad de Ciencias Médicas de La Habana se situara en el Ranking Iberoamericano entre los años 2010 a 2012 en cuatro indicadores: producción científica, cooperación internacional, calidad científica promedio y porcentaje de artículos publicados en revistas del primer cuartil y su variación en cada aspecto en comparación con los anteriores.
Material y Métodos: se analizaron los indicadores de los rankings Iberoamericanos SIR de los años 2010 a 2012 para la UCMH. Los datos relativos a la producción, correspondieron a aquellos artículos que incluyeron alguna dirección perteneciente a la universidad y a cada una de las facultades que aparecieron independientes. Para los datos basados en citación se analizaron todas las publicaciones que se registraron en el período establecido.
Resultados: nuestra universidad se encuentra ubicada en el tercer lugar entre las instituciones cubanas y, la primera, entre las universidades médicas cubanas. Se ha observado un incremento de 17,3% de los trabajos publicados, pero esto no resulta suficiente. La Universidad cayó 15 escaños en el ranking iberoamericano y 14 en el latinoamericano. La cooperación internacional se incrementó en 13 % y la calidad promedio disminuyó en comparación con las versiones anteriores, así como el indicador de la calidad de las revistas donde se publica. Hay 10 facultades de nuestra facultad que presentan su producción de forma independiente. Entre ellas, la Facultad "Calixto García" incrementa la cooperación internacional y la Facultad "Miguel Enríquez" incrementó notablemente la calidad de las revistas donde ha publicado.
Conclusiones: se considera que este ranking es un reto a los mecanismos de medición del conocimiento.

Palabras clave: universidades, producción científica, cooperación, publicaciones.

---

ABSTRACT

Introduction: since 2010, the Iberoamerican universities have an external science quality surveyor: SCImago Institutions Rankings.
Objective: to analyse the permanence and variation of the indicators that have made possible University of Medical Sciences of Havana to be placed in the ranking 2010-2012 in the four indicators, i.e. scientific production, international cooperation, mean scientific quality and first quartile journal quality average and its variation rates in each topic in comparison with the other ones.
Materials and methods: UCM-H information obtained from SIR iberoamerican rankings from 2010 to 2012 were analysed. Production-related data corresponds to articles that have included an address belonging from the university and of each one of the different faculties that have been appeared separately. For citation-based data all publications from the established period was analysed.
Results: our University was placed in the third place among the Cuban institutions and occupied the first one among Cuban medical universities. An increment of 17,3% of published papers was observed but it is not enough. The university drops 15 steps in the Iberoamerican ranking and 14 steps in the Latin-American one. International cooperation was 13% higher and the quality average drops in comparison to the previous versions as well as the quality journal indicator. There are 10 faculties from our university that present its production independently. Among them, Calixto García Faculty increases its international cooperation and "Miguel Enriquez" Faculty dramatically increases the quality of the journal where have published.
Conclusion: it should be consider that this ranking is a challenge for the knowledge measurement mechanisms.

Key words: universities, scientific production, cooperation, publications.

---

 

 

INTRODUCCIÓN

Desde el año 2010, la comunidad universitaria iberoamericana cuenta con un evaluador externo de la calidad de la ciencia que se produce en nuestros centros de educación superior gracias al grupo SCImago. Esta es una organización científica española constituida por el Consejo Superior de Investigaciones Científicas (CSIC) de España, la Universidad de Granada, la Universidad Carlos III de Madrid, la Universidad de Alcalá, la Universidad de Extremadura, entre otras instituciones educacionales españolas.

El resultado de esta evaluación es el Ranking Iberoamericano SIR (SCImago Institutions Rankings)¹ que persigue servir de herramienta de análisis de la actividad investigadora de las instituciones de educación superior en Iberoamérica. Este listado ordenado sirve a responsables de políticas científicas, gestores institucionales, investigadores y medios de comunicación como medio para la gestión del conocimiento.

Tiene un doble objetivo según sus creadores: Ofrecer una visión general, ayudando a los responsables políticos a comprobar cómo se adecuan los resultados de investigación de las instituciones a los objetivos establecidos en los planes y programas nacionales de ciencia, y proporcionar, desde un punto de vista más específico, un instrumento de referencia a las propias instituciones de educación superior.

Los rankings iberoamericano SIR usan la base de datos Scopus para recuperar los artículos publicados por las diferentes universidades iberoamericanas. Scopus es la mayor base de datos científica del mundo con más de 20 000 publicaciones científicas, incluyendo más de 17 000 revistas con revisión externa por pares, libros y actas de congresos.

El Ranking Iberoamericano SIR, con una frecuencia anual, muestra un perfil detallado de la actividad investigadora de las instituciones de Educación Superior basado en datos cuantitativos de publicación y citación. Para su elaboración se ha analizado toda la producción científica presente en la base de datos Scopus en el período comprendido entre el séptimo año anterior al año de emisión y los dos años anteriores y se ha asociado cada publicación y cada cita encontrada a la institución o instituciones correspondientes. Para conseguir esto se ha llevado a efecto un excepcional trabajo de identificación y desambiguación que no tiene precedentes y cuyo resultado es un ranking que incluye más de mil instituciones (todas aquellas instituciones iberoamericanas de enseñanza superior que hayan producido alguna comunicación científica durante el período de análisis).

Sin embargo, este ranking no se ha convertido aún en instrumento de trabajo que complemente las herramientas que usualmente son usadas para establecer las políticas científicas en las universidades cubanas y, particularmente, la Universidad de Ciencias Médicas de La Habana, con un rico potencial en sus publicaciones científicas. ^2,3,4

He ahí uno de sus principales valores añadidos porque muestra el comportamiento de estos indicadores que evalúan la calidad de la ciencia que se produce en el ambiente universitario y, además, aunque particularizamos este centro universitario, puede este servir para que otras instituciones quieran conocer si sus centros se encuentran en el ranking y le da las posibilidades de seguir y apropiarse de estos resultados aplicados a su entorno local.

También puede servir para trazar estrategias en el mejoramiento continuo de la calidad y mejorar las relaciones de colaboración internacional, así como dirigir la producción científica hacia revistas de mayor impacto y, por tanto, de mayor visibilidad.⁴ La importancia que reviste este trabajo para la Universidad se hace entonces evidente.

El objetivo de este artículo es analizar la permanencia y variación de los indicadores que hicieron posible que la Universidad de Ciencias Médicas de La Habana se situara en el Ranking Iberoamericano entre los años 2010 a 2012 en cuatro indicadores: producción científica, cooperación internacional, calidad científica promedio y porcentaje de artículos publicados en revistas del primer cuartil, y su variación en cada aspecto en comparación con los anteriores.

 

MATERIAL Y MÉTODOS

En las ediciones del Ranking Iberoamericano 2010² y 2011³ se evaluaron cuatro indicadores: producción científica, porcentaje de colaboración internacional, calidad científica promedio de cada institución y proporción de artículos publicados en revistas de prestigio ubicadas en el primer cuartil de acuerdo con la clasificación cualitativa y cuantitativa del propio grupo SCImago. En la edición de 2012, se adiciona un nuevo indicador que es el radio o tasa de excelencia. ⁴

Estos rankings se ordenaron en dos rangos distintos:

Rango IBE: Compuesto por todos los países de Iberoamérica e incluye Brasil, Colombia, España, Argentina, México, Chile, Portugal, Cuba, Perú, Venezuela, Costa Rica, Puerto Rico, Ecuador, Nicaragua, Bolivia, Honduras, El Salvador, Guatemala, Uruguay, Panamá, Jamaica, Paraguay, Trinidad y Tobago, Antigua y Barbuda, Guayana, Islas Vírgenes Estadounidenses, Surinam, San Cristóbal y Nieves.

Rango LAC: Rango de países de Latinoamérica y Caribe, compuesto por los países anteriormente mencionados, exceptuando España y Portugal.

Indicadores

La selección de los indicadores que componen el ranking busca resaltar aspectos relativos a la dimensión, rendimiento, impacto científico, así como el grado de internacionalización de las instituciones iberoamericanas y el radio de excelencia.

Producción Científica (PC): Producción científica medida en número de publicaciones en revistas científicas. PC ofrece una idea general del tamaño de una institución. En las publicaciones con varios autores, se asigna un punto a cada una de las instituciones participantes.

Colaboración Internacional (CI): Proporción de publicaciones científicas de una institución que han sido elaboradas junto con instituciones de otro país.

Impacto Normalizado (NI): Impacto científico de una institución después de eliminar la influencia del tamaño y el perfil temático de esta. El NI permite comparar la "calidad" de la investigación de instituciones de diferentes tamaños y con distintos perfiles de investigación.

Porcentaje de publicaciones en revistas del primer cuartil en el Scimago Journal Ranking (SJR) (Q1): Indica el porcentaje de publicaciones que una universidad ha conseguido colocar en revistas incluidas en el primer cuartil ordenadas por el indicador SJR. El Ranking Q1 muestra la cantidad de publicaciones que las universidades publican dentro del conjunto compuesto por 25% de las revistas más influyentes del mundo.

El indicador SJR mide la influencia o prestigio científico de las revistas mediante el análisis de la cantidad y la procedencia de las citas que recibe una revista científica.

Radio o Tasa de Excelencia (RE): Indica el porcentaje de las salidas de una institución científica que se encuentran dentro de 10% de los trabajos más citados en su campo científico respectivo. Es una medida de la alta calidad de salida de la universidad.

 

MÉTODO

Se analizaron los indicadores de los Rankings Iberoamericanos SIR de los años 2010 a 2012 ^2,3,4 para la UCMH. Los datos relativos a la producción, correspondieron a aquellos artículos que incluyeron alguna dirección perteneciente a la universidad y a cada una de las facultades que aparecieron independientes. Para los datos basados en citación se analizaron todas las publicaciones que se registraron en el período establecido.

Se calcularon las rectas de regresión lineal y las rectas pronósticos de las variables para el periodo con un intervalo de confianza de 95%. Cada variable se analiza si tiene distribución normal por el Test de Kolgomorov-Smirnov.

Los indicadores de la UCMH y las facultades se distribuyeron normalmente de acuerdo con el test empleado.

Como se dispuso de un periodo de tres años, existió la posibilidad de realizar rectas de regresión para cada variable y además se trazaron en estas gráficas las rectas pronósticas con un 95% de confianza.

 

RESULTADOS

Cuando se analiza la producción científica por año se muestra en la Figura 1 un incremento sostenido en el periodo pero no significativo (Y = 14,0000 + 20,0909 X; F-Ratio = 1,47558 P = 0,234).

La colaboración internacional en su evolución en el periodo 2010-12 tuvo un incremento significativo (Y= -32,6079 + 27,1564 X; F-Ratio= 14,9952 P = 0,001) (Figura 2)

El impacto normalizado, llamado también en las dos primeras ediciones como calidad científica promedio mostró un ascenso sostenido y significativo desde el punto de vista estadístico (Y = -0,6382 + 0,5223 X, F-Ratio = 5,6256 P = 0,024) según aparece en la Figura 3.

Como se observa en la Figura 4, el porcentaje de las publicaciones que se encuentran en el primer cuartil mostraron una evolución positiva (Y = -18,8788 + 15,5000 X, F-Ratio = 6,0606 P = 0,020). Esta relación se ajusta de forma significativa.

Nuestra universidad se encuentra ubicada en el tercer lugar entre las instituciones cubanas y, la primera, entre las universidades médicas cubanas. Se ha observado un incremento de 17,3% de los trabajos publicados, pero esto no resulta suficiente, la universidad cayó 15 escaños en el ranking iberoamericano y 14 en el latinoamericano. La cooperación internacional se incrementó en 13 % y la calidad promedio disminuyó en comparación con las versiones anteriores, así como el indicador de la calidad de las revistas donde se publica. Hay 10 facultades de nuestra universidad que aparecen de forma independiente. Entre ellas, la Facultad de Ciencias Médicas "General Calixto García" incrementa su cooperación internacional y la Facultad de Ciencias Médicas "Miguel Enríquez" incrementa notablemente la calidad de las revistas donde ha publicado.

 

DISCUSIÓN

El recorrido de tres años del Ranking Iberoamericano ha permitido a las Universidades Iberoamericanas tener a su disposición un evaluador externo de la calidad. Este es, sin dudas, un logro para la academia de los diferentes países, además de estar confeccionado sobre una plataforma legítima como es Scopus, base de datos importante y libre de sesgos geográficos y de idiomas.

La Universidad de Ciencias Médicas de La Habana ha estado siempre incluida en el ranking SIR desde su primera versión^1,5 Luego esto nos permite pasar por un balance trienal, ver cómo hemos avanzado y modestamente recomendar acciones para mejorar en los años venideros. La producción científica se incrementa por año de forma global en nuestras facultades, pero este indicador como en los otros, las facultades no marchan armónicamente sino incluso se observan importantes retrocesos en unas que se enmascaran con el cumplimiento extraordinario de otras.

También nos ayuda el hecho de que existen 21 revistas cubanas que están incluidas en Scopus y esto favorece la visibilidad si publicamos en ellas. Esto ha sido aprovechado de manera empírica por los profesores ya que hemos comprobado que se desconocen los mecanismos básicos de la Cienciometría incluso para los que más de destacan.⁶

De forma global, la Universidad bajó en más de 10 escaños en los rankings iberoamericano y latinoamericano a pesar de los incrementos en casi todos los indicadores que componen el ranking. Esto quiere decir que hay otras universidades que están ascendiendo en el ranking con más celeridad y el resultado se refleja de esa manera.

El incremento de la colaboración internacional se hace a expensas de igual forma que la producción científica de un pequeño grupo de facultades líderes en este indicador. Se desaprovechan las oportunidades en que nuestros profesores realizan importantes contribuciones sobre todo en América Latina para fomentar este tipo de publicaciones conjuntas que son en definitiva el último paso en la investigación científica entre dos o más países. Ahora Cuba forma parte de la Alianza Bolivariana para los pueblos de América (ALBA) y de otras formas de integración multinacional como el CELAC (Comunidad de Estados Latinoamericanos y Caribeños), pero poco aprovecha nuestra universidad de los convenios multilaterales y binacionales correspondientes.

Es un deber de las universidades latinoamericanas ser abanderadas en las investigaciones conjuntas y las ciencias médicas están ampliamente representadas en esta cooperación. Cuba ha logrado un desarrollo elevado en la exportación de servicios de salud para muchos países latinoamericanos y para otras partes del mundo y debe reflejarse en la colaboración científica.

El impacto normalizado⁷ es un indicador del ranking que trata de uniformar la desproporción en tamaño de nuestras universidades por lo cual este resulta importante en la ubicación en el ranking. En este sentido esta universidad mantiene un incremento sostenido que nos favorece aunque hay algunas facultades que aparecen desagregadas y, tal vez, por ello se ubiquen por su tamaño en un lugar que realmente no le correspondería.

Publicar en revistas del primer cuartil, o sea, las que se encuentran en el lugar más visible por su impacto es un reto a la calidad. Una de las leyes básicas de la cienciometría es que los artículos valen tanto como el valor de las revistas donde salen publicados y, por ello, debe constituir una meta de nuestro profesorado`publicar en revistas que se encuentren ubicadas en las posiciones cimeras sin desdeñar las publicaciones nacionales incorporadas a Scopus.

Sin embargo, el salto de calidad del ranking latinoamericano en la versión de 2012 radica en el indicador denominado radio, tasa, o razón de excelencia. Este es el indicador más exigente que compone el ranking y no se basa en la cantidad de publicaciones sino en las citaciones. Este radio de excelencia presupone un salto de calidad ya que las universidades no van a ser ubicadas solamente a partir de su producción científica sino de la capacidad con que estas produzcan artículos relevantes que motiven a otros autores a citarlos. De esta forma, se ha hecho con similares propósitos el Índice H ⁸ y los pronósticos de los Premios Nobel. ⁹

Estar en la tasa de excelencia implica no solamente que el artículo tenga calidad y que aparezca en una revista de alto impacto, sino que el artículo por sí mismo sea capaz de producir tantas citaciones que estén en el selecto grupo de los más citados en su campo científico. La UCMH en este indicador tiene un valor de 1,8 % lo cual significa que solamente este porcentaje de artículos está en el grupo de trabajos más citados en el contexto iberoamericano. Esto fundamentalmente se debe al aporte de la Facultad Finlay-Albarrán que tiene una tasa de excelencia de 11,1%, que corresponde a las investigaciones conjuntas entre esa facultad e instituciones europeas sobre la enfermedad de Alzheimer, ^{10, 11} lo cual constituye un ejemplo de las potencialidades que tiene la UCMH.

 

CONCLUSIONES

La Universidad de Ciencias Médicas de La Habana en el período 2010-2012 ha mantenido un crecimiento global en los indicadores generales del Ranking Iberoamericano, pero este se ha realizado a expensas de algunas facultades e instituciones.

Sin embargo, en el contexto iberoamericano y latinoamericano bajó su posición. Debe mejorar en los indicadores tales como la colaboración internacional, la calidad científica promedio y la tasa de excelencia, y lograr un incremento armónico de todas las facultades que la conforman si se aprovechan adecuadamente su capital humano y su potencialidad.

 

REFERENCIAS BIBLIOGRÁFICAS

1. Dorta Contreras AJ, Hernández Ferreras K, Cárdenas de Baños L. Calidad de la ciencia producida en la Universidad de Ciencias Médicas de La Habana: un modelo y nuevos retos. Revista Habanera de Ciencias Médicas 2011:10(1):99-101 (Consultado 10 julio 2012). Disponible en: http://scielo.sld.cu/pdf/rhcm/v10n1/rhcm14111.pdf

2. Ranking Iberoamericano SIR 2010 de Producción científica. (Consultado 5 noviembre 2012). Disponible en: http://scimagoir.com/pdf/ranking_iberoamericano_2010.pdf

3. Ranking Iberoamericano SIR 2011 de Producción científica. (Consultado 5 noviembre 2012). Disponible en: http://scimagoir.com/pdf/ranking_iberoamericano_2011.pdf

4. Ranking Iberoamericano SIR 2012 de Producción científica. (Consultado 12 junio 2012). Disponible en: http://scimagoir.com/pdf/ranking_iberoamericano_2012.pdf

5. Cárdenas de Baños L, Hernández Ferreras K, Fundora Mirabal JI, Sánchez Aldereguía S, Fragas Díaz M, Dorta Contreras AJ. La productividad de la ciencia en la Universidad de Ciencias Médicas de La Habana y los desafíos a los mecanismos de medición del conocimiento. Acimed. 2012;23(4):391-403 (revista en Internet).(Consultado el 10 enero 2013). Disponible en: http://www.acimed.sld.cu/index.php/acimed/article/view/346/265

6. Hernández Ferreras K, Cárdenas de Baños L, Fundora Mirabal J, Alberto Juan Dorta Contreras C. Científicos cubanos de la biomedicina más productivos en el período 1996-2011 según Medline. ACIMED 2012; 23 (4):362-379 [revista en Internet] [Consultado 10 Enero 2013] [Disponible en: http://www.acimed.sld.cu/index.php/acimed/article/view/295/263

7 .Sort García ML, Rodríguez Méndez C. Análisis ICONO: SCImago Institution Ranking (SIR) 2012. (Consultado 14 marzo 2013). Disponible en: http://www.icono.fecyt.es

8. Hirsch JE. An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences USA: 2005; 102: 16569-16572.

9. Rodríguez-Navarro A. A Simple Index for the High-Citation Tail of Citation Distribution to Quantify Research Performance in Countries and Institutions. PLoS ONE 2011; 6(5): e20510. doi:10.1371/journal.pone.0020510

10. Llibre J de J, Valhuerdi A, Calvo M, García RM, Guerra M, Laucerique T, et al. Dementia and other chronic diseases in older adults in Havana and Matanzas: the 10/66 study in Cuba. MEDICC Rev. 2011 Oct; 13(4):30-7.

11. Llibre JJ, Guerra MA, Pérez Cruz H, Bayarre H, Fernández Ramírez S, González Rodríguez M. Síndrome demencial y factores de riesgo en adultos mayores de 60 años residentes en La Habana. Rev Neurol. 1999 Nov 16-30; 29(10):908-11.

 

 

Recibido: 4 de junio de 2013
Aprobado: 15 de marzo de 2014