La productividad de la ciencia en la Universidad de Ciencias Médicas de La Habana y los desafíos a los mecanismos de medición del conocimiento
The productivity of the science in the University of Medical Sciences of Havana and the challenges to the mechanisms of knowledge measurement
]]>
Lic. Lissette Cárdenas-de-Baños,I MSc. Kiria Hernández-Ferreras,I Ing. Jorge Fundora-Mirabal,II MSc. Sonia Sánchez-Aldereguía,I Dra. Mercedes Fragas-Díaz,I Dr. Alberto Juan Dorta-ContrerasI
I Facultad de Ciencias Médicas "Dr. Miguel Enríquez". Universidad de Ciencias Médicas. La Habana, Cuba.
II Vicerrectoría Docente. Universidad de Ciencias Médicas. La Habana, Cuba.
]]>
Desde el año 2010, la comunidad universitaria iberoamericana cuenta con un evaluador externo de la calidad de la ciencia, que es el ranking iberoamericano SCImago Institutions Rankings en su versión SIR 2011. Los objetivos de este artículo son analizar la permanencia y la variación de los indicadores que hicieron posible que la Universidad de Ciencias Médicas de La Habana se situara en el ranking en comparación con los resultados de la edición del 2010 en los cuatro indicadores: producción científica, porcentaje de colaboración internacional, calidad científica promedio de cada institución y proporción de artículos publicados en revistas de prestigio ubicadas en el primer cuartil y las tasas de variación de cada uno de los valores con respecto al valor del período anterior. La Universidad se ubica en el tercer lugar entre las instituciones cubanas y la primera de su tipo en el país con un incremento del 17,3 % de artículos publicados. Sin embargo, no fue suficiente y descendió 15 lugares en el ranking iberoamericano y 14 lugares en el latinoamericano. La colaboración internacional fue del 13 % y la calidad promedio descendió en relación con el 2010, al igual que el indicador referente a la calidad de las revistas donde se publicó. Hay diez facultades que presentan su producción de forma desagregada. Entre ellas la Facultad "Calixto García" es la que incrementa más su colaboración internacional, y la Facultad "Miguel Enríquez" incrementó notablemente la calidad de las revistas donde publicó. Este ranking se convierte en un desafío a los mecanismos de medición del conocimiento.
]]>Palabras clave: universidad, producción científica, colaboración, publicación.
Since 2010, the Iberoamerican University Community has an external sicence quality evaluator like SCImago Institutions Rankings SIR 2011 Iberoamerican ranking. The aim of this paper is to analyse the permanence and variation of the indicators that made possible University of Medical Sciences of Havana to be placed in the ranking in comparison of the 2010 version in the four indicators, i.e. scientific production, international cooperation average, mean scientific quality and first quartile journal quality average and its variation rates in each topic in comparison with 2010. Our University was placed in the third place among the Cuban institutions and the first one from Cuban medicine universities. It has an increment of 17,3% of published papers but it is not sufficient. The university drops 15 steps in the Iberoamerican ranking and 14 steps in the Latinoamerican one. International cooperation was 13% and the quality average drops in comparison to the previous version as well as the quality journal indicator. There are 10 faculties from our university that present its production independently. Among them, Calixto García Faculty increases its international cooperation and "Miguel Enriquez" Faculty dramatically increases the quality of the journal where have published. We consider that this ranking is a challenge of the knowledge measurement mechanisms.
Key words universities, scientific production, cooperation, publications.
]]>
Desde el año 2010, la comunidad universitaria iberoamericana cuenta con un evaluador externo de la calidad de la ciencia que se produce en nuestros centros de educación superior gracias al grupo SCImago, conformado por un grupo de instituciones científicas españolas.
El resultado de esta evaluación es el Ranking Iberoamericano SIR (SCImago Institutions Rankings),1 que persigue servir de herramienta de análisis de la actividad investigadora de las instituciones de educación superior en Iberoamérica. Este listado ordenado sirve a responsables de políticas científicas, gestores institucionales, investigadores y medios de comunicación como medio para la gestión del conocimiento.
Cuenta con un doble objetivo: Pretende ofrecer una visión general, ayudando a los responsables políticos a comprobar cómo se adecuan los resultados de investigación de las instituciones a los objetivos establecidos en los planes y programas nacionales de ciencia. Por otro lado, proporciona, desde un punto de vista más específico, un instrumento de referencia a las propias instituciones de educación superior.
Aunque el ranking iberoamericano de 20121 ya salió a la luz pública, este trabajo se centra en el ranking de 20112 por cuanto el actual introduce una nueva variable que es el llamado por ellos "ratio de excelencia", que merece por sí mismo otro estudio y que se sale de los objetivos del presente.
]]>El Ranking Iberoamericano SIR 2011 muestra un perfil detallado de la actividad investigadora de las instituciones de educación superior basado en datos cuantitativos de publicación y citación. Para su elaboración se ha analizado toda la producción científica presente en la base de datos Scopus en el período 2005-2009 y se ha asociado cada publicación y cada cita encontrada a la institución o instituciones correspondientes. Para conseguir esto se ha llevado a efecto un excepcional trabajo de identificación y desambiguación que no tiene precedentes y cuyo resultado es un ranking que incluye 1 369 instituciones (todas aquellas instituciones iberoamericanas de enseñanza superior que hayan producido alguna comunicación científica durante el período de análisis).
Sin embargo, este ranking no se ha convertido aún en instrumento de trabajo que complemente las herramientas que usualmente son usadas para establecer las políticas científicas en las universidades cubanas, y particularmente la Universidad de Ciencias Médicas de La Habana, con un rico potencial en sus publicaciones electrónicas.3
He ahí uno de sus principales valores añadidos porque muestra el comportamiento de estos indicadores que evalúan la calidad de la ciencia que se produce en el ambiente universitario y, además, aunque particularizamos este centro universitario, puede este servir para que otras instituciones quieran conocer si sus centros se encuentran en el ranking y le da las posibilidades de seguir y apropiarse de estos resultados aplicados a su entorno local.
También puede servir para trazar estrategias en el mejoramiento continuo de la calidad y mejorar las relaciones de colaboración internacional, así como dirigir la producción científica hacia revistas de mayor impacto y, por tanto, de mayor visibilidad.4 La importancia que reviste este trabajo para la Universidad se hace entonces evidente.
El objetivo de este artículo es analizar la permanencia y variación de los indicadores que hicieron posible que la Universidad de Ciencias Médicas de La Habana se situara en el Ranking Iberoamericano SIR 20115 en comparación con los resultados de la edición del 2010 en cuanto a las variables evaluativas utilizadas. ]]>
MÉTODOS
]]> Al igual que en la edición anterior, el ranking del 2011 muestra cuatro indicadores: producción científica, porcentaje de colaboración internacional, calidad científica promedio de cada institución y proporción de artículos publicados en revistas de prestigio ubicadas en el primer cuartil de acuerdo con la clasificación cualitativa y cuantitativa del propio grupo SCImago.
Además, la presente edición incluye las tasas de variación de cada uno de los valores con respecto al valor del período 2004-2008, que fue el evaluado en el ranking del año precedente.
El Ranking Iberoamericano SIR usa la base de datos Scopus para recuperar los artículos publicados por las diferentes universidades iberoamericanas. Scopus es la mayor base de datos científica del mundo con más de 20 000 publicaciones científicas, incluyendo más de 17 000 revistas con revisión externa por pares, libros y actas de congresos.
Estos rankings se ordenan en dos rangos distintos:
Rango IBE: está compuesto por todos los países de Iberoamérica e incluye Brasil, Colombia, España, Argentina, México, Chile, Portugal, Cuba, Perú, Venezuela, Costa Rica, Puerto Rico, Ecuador, Nicaragua, Bolivia, Honduras, El Salvador, Guatemala, Uruguay, Panamá, Jamaica, Paraguay, Trinidad y Tobago, Antigua y Barbuda, Guayana, Islas Vírgenes Estadounidenses, Surinam, San Cristóbal y Nieves.
]]> Rango LAC: rango de países de Latinoamérica y el Caribe, compuesto por los países anteriormente mencionados, exceptuando España y Portugal.
INDICADORES
La selección de los indicadores que componen el ranking busca resaltar aspectos relativos a la dimensión, rendimiento, impacto científico, así como el grado de internacionalización de las instituciones iberoamericanas.
]]>
PRODUCCIÓN CIENTÍFICA (PC)
Producción científica medida en número de publicaciones en revistas científicas. PC ofrece una idea general del tamaño de una Institución. En las publicaciones con varios autores, se asigna un punto a cada una de las instituciones participantes.
]]> COLABORACIÓN INTERNACIONAL (CI)
Proporción de publicaciones científicas de una institución que han sido elaboradas junto con instituciones de otro país.
CALIDAD CIENTÍFICA PROMEDIO (CCP)
]]> Impacto científico de una institución después de eliminar la influencia del tamaño y el perfil temático de esta. El CCP permite comparar la "calidad" de la investigación de instituciones de diferentes tamaños y con distintos perfiles de investigación.
PORCENTAJE DE PUBLICACIONES EN REVISTAS DEL PRIMER CUARTIL EN EL SCIMAGO JOURNAL RANKING (Q1)
Indica el porcentaje de publicaciones que una universidad ha conseguido colocar en revistas incluidas en el primer cuartil ordenadas por el indicador SJR. El ranking Q1 muestra la cantidad de publicaciones que las universidades publican dentro del conjunto compuesto por el 25 % de las revistas más influyentes del mundo. El indicador SJR mide la influencia o prestigio científico de las revistas mediante el análisis de la cantidad y la procedencia de las citas que recibe una revista científica. ]]>
METODOLOGÍA
Se analizaron los perfiles de los Rankings Iberoamericanos SIR 2010 y 2011 para cada universidad teniendo como base de selección la palabra Cuba dentro del campo país y, a partir de este subconjunto de instituciones cubanas, se analizó la actividad investigadora sobre la base de las publicaciones científicas incluidas en el índice de citas. Los datos relativos a la producción corresponden a aquellos artículos que incluyen alguna dirección perteneciente a cada una de las instituciones. Para los datos basados en citación se han analizado todas las publicaciones que se registran en el período establecido.
]]> Se correlacionaron las variables CCP y Q1 para conocer si estas variables se relacionan positivamente para las universidades cubanas en el periodo estudiado.
RESULTADOS
]]> En la tabla 1 se muestran los resultados del ranking a partir de utilizar como criterio de selección el nombre de Cuba dentro del campo país. La tabla 2 muestra las facultades de la Universidad de Ciencias Médicas de La Habana incluidas de forma independiente en ese registro y además la fecha de la inclusión de la universidad o facultad con sus indicadores de calidad.
Como en el año precedente, aparecen algunas facultades de nuestra Universidad como independientes de esta. La Universidad de Ciencias Médicas de La Habana se ubica con su antiguo nombre en la posición 249 en IBE y en el rango LAC el lugar 173.
Una manera de demostrar la importancia de la publicación de los artículos en revistas de gran visibilidad se muestra en la figura 1, donde se observa la recta de regresión resultante. Estas variables muestran una correlación (r) positiva y significativa entre las variables CCP y Q1 (r=0,5650; p=0,0001).
De igual manera se obtuvo una correlación altamente significativa cuando se estudiaron las variables CI y Q1 (r = 0,8413; P<0,0001). En la figura 2 aparece la recta de regresión obtenida a partir de estas dos variables.
]]> El resto de las variables no se correlacionaron significativamente entre sí. Estos mismos resultados generales se obtienen cuando se trabaja con el subconjunto de datos procedentes solamente de la Universidad de Ciencias Médicas de La Habana y sus facultades.
DISCUSIÓN
En esta edición, el Ranking Iberoamericano SIR 2011 presenta un aumento, tanto del número de instituciones como del número de países representados. El primer guarismo crece un 225 % y pasa de 607 a 1 369 instituciones de educación superior (IES), y el número de países registra un crecimiento en torno al 150 % de un total de países igual a 28 en la edición de 2010, que asciende a 42 países en la presente versión.2
]]> Este aumento de las cantidades absolutas no es casual y responde a la flexibilización del umbral de inclusión (parámetro que determina qué instituciones son incluidas en el ranking) para conseguir abarcar el mayor número posible de IES. Esto favorece a Cuba con un aumento de centros universitarios incluidos en esta edición. En cuanto al número de instituciones por país representado, el nuevo criterio de inclusión ha provocado la proliferación de pequeñas instituciones en el ranking.5
Como en el anterior, en este ranking iberoamericano, en los dos rangos incluye países que no son propiamente de lengua española como los casos de Jamaica, Trinidad y Tobago, Antigua y Barbuda, Guayana e Islas Vírgenes Estadounidenses.6 Si se excluyeran estas instituciones de habla inglesa, el ranking de la Universidad de Ciencias Médicas de La Habana se ubicaría en los rangos IBE y LAC 245 y 169, respectivamente.
Si tomamos en cuenta los países más productivos, Cuba se encuentra en el noveno lugar, pero solamente dos instituciones tienen producciones de más de 400 documentos en el período, y solo en una de ellas su producción ha sido citada como promedio igual o por encima de la media mundial que fue la Universidad Central "Marta Abreu" de Las Villas.7 Ninguna de estas instituciones cubanas fue capaz de publicar el 50 % de su producción científica en las revistas de mayor prestigio, dado por el indicador Q1.
A pesar del alerta,5 la Universidad de Ciencias Médicas de La Habana no solo sigue apareciendo con su antiguo nombre, sino que resulta evidente que no se conoce su estructura. La Universidad de Ciencias Médicas de La Habana cuenta con 12 facultades, en 10 de las cuales aparece su producción, o al menos parte de ella, de forma independiente en el ranking.
De sumarse la producción de estas facultades la Universidad de Ciencias Médicas de La Habana ascendería a la posición 233 del IBE y a la 169 del LAC con una producción total de 325 artículos en el período.
]]> Al igual que en la edición anterior, la Universidad se ubica en el tercer lugar entre las instituciones cubanas que se encuentran en el ranking, solamente superado por la Universidad de La Habana8,9 y por la Universidad Central "Marta Abreu" de Las Villas.6
A pesar de que la posición relativa de Ciencias Médicas en relación con el resto de las universidades cubanas se mantiene con un incremento del 17,3 % de artículos, en el ranking general ha descendido 15 lugares en el IBE, y en el LAC 14. Este descenso del ranking se opera también en la Universidad de La Habana y en la Universidad Central "Marta Abreu" de Las Villas, aunque menos pronunciado para el caso de la Universidad de La Habana. O sea, la pendiente del descenso en cuanto a lugares en el ranking fue mayor en la Universidad Central "Marta Abreu" de Las Villas, seguida de la de la Universidad de Ciencias Médicas de La Habana y, por último, se encuentra la Universidad de La Habana.
Este descenso de la posición se hará más crítico en los próximos años, específicamente para la Universidad de Ciencias Médicas de La Habana, por el cambio de nombre sufrido en el 2009,9 ya que se detendrá la incorporación de nuevos trabajos porque ahora se registran con la nueva nomenclatura.10
La falta de publicaciones de los profesores universitarios de ciencias médicas en general es un problema crónico que aflora en todos los indicadores de calidad.11,12 Persiste el subregistro de artículos de profesores que en sus publicaciones no refieren su pertenencia a la Universidad de Ciencias Médicas de La Habana. Por ejemplo, se señala que trabajan en determinado centro asistencial, policlínico, hospital o instituto y no señalan que son profesores del claustro, y esto afecta sensiblemente el resultado final.
Es deber de los responsables académicos a los distintos niveles llevar al convencimiento del claustro de la conveniencia de esta inclusión. La multiplicidad de los escenarios docentes no puede ir en detrimento del registro de la producción científica.
]]> Un ejemplo de lo anterior es que muchos de los trabajos cubanos más citados en la primera década del presente siglo corresponden a profesores de la Universidad de Ciencias Médicas de La Habana y no aparecen como tales.13
Como se ha referido, este ranking se realiza sobre la base de datos Scopus. Todas las revistas médicas cubanas no se encuentran en esa base, por lo que esto también afecta el cómputo total de la producción científica. Además, esto se repite si se publica en revistas extranjeras que no están incluidas en esta base de datos.
Por otra parte, la no inclusión de un artículo realizado por profesores universitarios en revistas que no estén registradas en Scopus le resta visibilidad al trabajo realizado y no incrementa la puntuación para este ranking universitario.
Muchas revistas cubanas que se encuentran en la plataforma Scientific Electronic Library Online (SciELO)14 no están aún en Scopus y, por tanto, no existen para esa base de datos que es la base del ranking.
La Universidad de Ciencias Médicas de La Habana desarrolla una intensa colaboración internacional,15 pero esto no se traduce en artículos realizados de forma conjunta entre estos países y Cuba.
]]> Es bien conocido por las leyes de la cienciometría que un artículo hecho en colaboración con otras instituciones nacionales o extranjeras aumenta el número de citaciones y, por tanto, se ascendería en el ranking. Solo el 13 % de la producción de la Universidad ha sido fruto de la colaboración internacional y descendió, como se ha visto en relación con el ranking de 2010 en un 31 %.
La calidad científica promedio de la Universidad de Ciencias Médicas de La Habana descendió en el año estrepitosamente en el 33 %. Esto puede estar dado porque han entrado en este tiempo algunas publicaciones cubanas en Scopus, lo cual influye en el promedio general, sobre todo en el análisis de las citaciones. Este es un primer momento que sufren todas las publicaciones cuando entran en una base de datos, porque el número de citaciones que recibe es pequeño; y más tarde, al aumentar su visibilidad, se produce un incremento en estas.
Si en las universidades se producen los nuevos conocimientos y estos para que vean generalizados y registrados son llevados a una publicación, la Universidad de Ciencias Médicas de La Habana debe enviar sus mejores resultados a revistas que se encuentren en el primer cuartil. Sin embargo, este indicador Q1 ha descendido en 21 % con respecto al año precedente.
Entre la proporción de artículos que se publican en revistas de la máxima calidad y la calidad científica promedio de las universidades cubanas se observa una correlación positiva altamente significativa. Esto quiere decir que las universidades cubanas, en la medida en que publican más trabajos en revistas del primer cuartil, serán evaluadas con mayor calidad científica promedio. Esto también se refleja por la recta de regresión entre ambas variables.
De la misma manera, es comprensible que la proporción de artículos que se publican en colaboración internacional donde participan entidades universitarias y de investigación extranjeras se correlacionaron significativamente con la calidad de las revistas donde fueron publicados. La cultura de publicación en revistas de alto impacto debe ser imitada por los autores de nuestra universidad, aun cuando publiquen sus resultados sin participación foránea.
]]> De manera general, todas las facultades que aparecen separadas en la Universidad de Ciencias Médicas de La Habana incrementaron su producción científica en relación con el año anterior. En este mismo grupo, la colaboración internacional se incrementa en la Facultad "Calixto García", en primer lugar, y "Finlay-Albarrán" en segundo, mientras en el resto decreció.
Estas facultades, en cuanto a calidad científica promedio, decrecieron todas a excepción de las facultades de Estomatología y "Enrique Cabrera", que tienen este indicador en 0 en ambos rankings anuales.
En cuanto a la calidad de las revistas donde las facultades publican, es meritorio señalar que la Facultad "Miguel Enríquez" incrementó en 30,6 % el Q1, seguido de un discreto 6,2 % de la Facultad "Finlay-Albarrán". La Facultad "Calixto García" disminuyó el indicador Q1 y el resto de las facultades no publicaron artículos en revistas del primer cuartil, tanto en el período del ranking 2010 como del 2011.
La Universidad de Ciencias Médicas de La Habana sigue siendo la mejor ubicada dentro de las de su tipo en el país, pero estimamos que se encuentra por debajo de su potencial científico, por lo que es de esperar un salto en los próximos años.
Las variables que conforman este ranking internacional deben ser incorporadas al lenguaje diario en las evaluaciones del proceso docente-educativo, porque constituyen desafíos a los mecanismos de medición del conocimiento de las ciencias en la Universidad de Ciencias Médicas de La Habana.
]]>
REFERENCIAS BIBLIOGRÁFICAS
1. Ranking iberoamericano SIR 2012 de Producción Científica [Citado 07 de junio de 2012]. Disponible en: http://scimagoir.com/pdf/ranking_iberoamericano_2012.pdf
]]>
2. Ranking Iberoamericano SIR 2011 de Producción Científica [Citado 07 de junio de 2012]. Disponible en: http://scimagoir.com/pdf/ranking_iberoamericano_2011.pdf
3. Hernández-Ferreras K, Cárdenas-de Baños L, Fundora Mirabal, Dorta-Contreras AJ. Aspectos que influyen en la visibilidad de la producción científica de las universidades médicas cubana. ACIMED [en Internet]. 2012;23(2). [Citado: 11 de julio de 2012]. Disponible en: http://www.acimed.sld.cu/index.php/acimed/article/view/305
4. Rojas F. Cuban health professionals: will publishing perish? MEDICC Rev. 2009;11(1):52.
5. Dorta Contreras AJ, Hernández Ferreras K, Cárdenas de Baños L. Calidad de la ciencia producida en la Universidad de Ciencias Médicas de La Habana: un modelo y nuevos retos. Revista Habanera de Ciencias Médicas. 2011;10(1)99-101.
]]>6. Marziale MHP. Indicadores de la producción científica iberoamericana. Rev Lat Am Enfermagem. 2011;19(4):853-54.
7. Peralta González MJ, Solís Cabrera FM, Peralta Suárez LM. Visibilidad e impacto de la producción científica de la Universidad Central "Marta Abreu" de Las Villas durante el período 2000-2008. ACIMED. 2011;22(1):60-78.
8. Lozano Díaz IA, del Toro Gundin BJ, Arencibia Jorge R, Martínez Rodríguez A. Producción científica de la Universidad de La Habana en el Web of Science, 2000 - 2006. ACIMED. 2008;18(5). [Citado: 10 de mayo de 2012] Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352008001100005&lng=es
]]>
9. del Toro Gundin BJ, Lozano Díaz IA, Martínez Rodríguez A, Arencibia Jorge R. Colaboración científica de la Universidad de La Habana en el Web of Science, 2000-2006. ACIMED. 2009;19(1). [Citado: 10 de mayo de 2012]. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352009000100005&lng=es
10. Ministerio de Economía y Planificación de la República de Cuba. Resolución 218/2009 (15 de mayo de 2009). Disponible en: http://www.gacetaoficial.cu/
11. Dorta-Contreras AJ. La publicación científica como medida de la ciencia. Rev Haban Cienc Méd. 2006;5(1). [Citado: 07 de junio de 2012]. Disponible en: http://www.ucmh.sld.cu/rhab/editorial_rev17.htm
12. Dorta-Contreras AJ. En defensa de nuestra producción científica. ACIMED. 2006; 14(3) [Citado: 07 de junio 2012]. Disponible en: http://bvs.sld.cu/revistas/aci/vol14_3_06/aci15306.htm
]]>
13. Arencibia Jorge R, Vega Almeida RL, Araujo Ruiz JA, Corera Álvarez E, de Moya Anegón F. Hitos de la ciencia cubana en el siglo XXI, una revisión a partir de los trabajos más citados en Scopus en el período 2001-2005. ACIMED. 2012;23(1):45-58.
14. Meneghini R. La evaluación de la producción científica y el Proyecto SciELO. ACIMED 2001;9(5). [Citado: 07 de Junio de 2012]. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352001000400019&lng=es
15. Marimón Torres N, Martínez Cruz E. Globalización, salud y solidaridad: una visión diferente. Rev Cubana Sal Públ. 2009;35(1). [Citado: 10 de mayo de 2012]. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-34662009000100014&lng=es
]]>
Recibido: 10 de mayo de 2012.
Aprobado: 3 de septiembre de 2012.
]]> Lic. Lissette Cárdenas-de-Baños. Facultad de Ciencias Médicas "Dr. Miguel Enríquez". Universidad de Ciencias Médicas de La Habana. La Habana, Cuba. Correo electrónico: lisecardenas@infomed.sld.cu ]]>
