Estudios métricos en ciencia, tecnología e innovación: un llamado a ampliar sus aplicaciones, bases epistemológicas y rigor analítico

Metric studies in science, technology and innovation: a call to expand their applications, epistemological bases and analytical rigor

En la ciencia, la cuantificación implica expresar en valores numéricos la magnitud de variables relacionadas con algún fenómeno estudiado. Su uso permite formas estandarizadas de medición por medio de procedimientos estadísticos y cálculos matemáticos. Aunque los métodos de investigación cuantitativa tienen sus fundamentos en las ciencias naturales, también son utilizados en las ciencias sociales para recopilar y analizar datos numéricos sobre fenómenos que involucran colectivos humanos, buscando comprender los vínculos entre el número relativamente pequeño de atributos de esos eventos a lo largo de una variedad de casos.

Los estudios métricos de la información, informétricos, cienciométricos, bibliométricos, webometricos, entre otros, son estudios cuantitativos. Tienen una vertiente teórica (desarrollo de modelos matemáticos, metodologías, indicadores, etc.) y otra práctica (estudios cuantitativos de documentos, colecciones, patrones, etc.). Su importancia para la CI resulta evidente, pues permiten estudiar las relaciones que se conforman entre diferentes actores sociales que participan en los procesos de producción, diseminación y uso de la información, tales como instituciones científicas y tecnológicas, empresas, instituciones de memoria (bibliotecas, archivos, etc.), así como los sistemas y servicios de información y sus usuarios. Coadyuvan para una mejor comprensión de los flujos de información entre esos actores, su optimización y un uso más adecuado del cuerpo común de conocimiento humano.

Particularmente, los estudios bibliométricos y cienciométricos pueden ser aplicados en una diversidad de áreas del conocimiento para observar, analizar y comprender los procesos de generación, difusión y utilización de los conocimientos de Ciencia, Tecnología e Innovación (CT&I), a partir de los documentos publicados (artículos, libros, patentes, entre otros) e indexados en bases de datos. Adicionalmente, pueden contribuir a evaluar las actividades, las políticas y la toma de decisiones en CT&I, analizar la dinámica de diferentes áreas de conocimiento, indicar las áreas consolidadas y emergentes, identificar lagunas y capacidades de las comunidades académicas de un determinado país, región, institución, etc., así como mejorar la asignación de recursos para investigaciones científicas.

Teniendo en cuenta su potencialidad, no es de extrañar que la Revista Cubana de Información en Ciencias de la Salud, desde su surgimiento, haya publicado 60 artículos* dedicados a estudios métricos de la información, relacionados, fundamentalmente, con informetría, bibliometría y cienciometría. Se caracterizan por ser, predominantemente, empíricos (75 %) de los cuales el 73 % son descriptivos y longitudinales. Constituyeron una minoría otros tipos de estudios, tales como, investigaciones analíticas, metodológicas, artículos de corte histórico que se enfocaron en la producción académica de personalidades científicas, entre otros. El predominio de trabajos descriptivos no constituye un problema en sí; varios estudios^1,2 muestran que es el tipo de metodología más utilizada en la CI. Indudablemente, es un tipo de investigación importante que, por medio de la recopilación de datos, permite describir los fenómenos de forma más completa de lo que era posible sin emplear este método; expone características de una población y permite correlacionar las variables analizadas. Sin embargo, debería ser complementado con otros enfoques que permitan profundizar en los elementos explicativos de los fenómenos considerados.

Lo anterior resulta esencial, pues la ciencia no tiene, únicamente, un impacto intelectual (contribución al cuerpo común de conocimiento), sino también social (políticas públicas, solución de problemas sociales, etc.) y económico (aumento en la competitividad empresarial, creación de nuevos sectores industriales, etc.). En el contexto cubano, Arencibia Jorge y otros³ identificaron que, a pesar del incremento en la publicación de resultados científicos en revistas consideradas como de alta visibilidad por la comunidad académica mundial, en el país se manifiestan enlaces débiles entre las universidades y las instituciones dedicadas al desarrollo de tecnología e innovación. Incluso en el sector de la salud, que es una de las prioridades de la ciencia en Cuba, se observa poca colaboración entre los centros asistenciales (hospitales, policlínicos, etc.) y las instituciones de investigación. En otras palabras, la conexión ciencia-sociedad-economía no está funcionando adecuadamente, por lo que se necesita con urgencia de estudios métricos empíricos, de carácter analítico, que profundicen en la comprensión de los fenómenos caracterizados por los estudios descriptivos y permitan proponer soluciones y producir tecnologías e innovación que se reviertan en el beneficio del país. Por supuesto, esa no es una responsabilidad exclusiva de los investigadores que realizan estudios métricos, sino que involucra a todos los actores que conforman el sistema nacional de CT&I.

Por otra parte, se deben tomar precauciones y cuidados específicos para la realización de estudios bibliométricos o cienciométricos. Hjørland⁴ destaca dos cuestiones que consideramos esenciales. En primer lugar, los resultados de esas investigaciones no deben ser considerados como una verdad absoluta, totalmente objetiva y neutra, solamente por el hecho de tener una base cuantitativa. Si bien es cierto que, en la mayoría de los casos, los investigadores explicitan cómo realizan la selección del conjunto de documentos analizado, no ocurre igual con los criterios de selección relativos al campo estudiado. Por ejemplo, criterios como que se seleccionaron revistas de "corriente principal" son discutibles, porque cada investigador puede tener una perspectiva diferente sobre cuál sería el conjunto de documentos que permitiría analizar mejor un determinado problema. El dominio de cada estudio métrico es un constructo creado por el propio investigador y, como tal, la selección de una fuente u otra tiene consecuencias directas en los resultados.

En segundo lugar, es necesario considerar las relaciones que se establecen entre los estudios métricos y los dominios de CT&I que analizan, para poder comprender y explicar adecuadamente los patrones que se identifican. Cualquier documento resultante de una investigación refleja las culturas epistémicas, redes de conocimiento y entornos sociales y culturales de sus autores. En otras palabras, representa combinaciones de elementos que pueden ser tanto cognitivos o técnicos (naturaleza de los fenómenos estudiados, teorías, modelos, metodologías), cuanto sociales (sistemas de evaluación, canales de comunicación legitimados por la comunidad, etc.). Desde esa perspectiva, resulta esencial considerar las características específicas del dominio analizado, así como las principales teorías, metodologías, prácticas de publicación, etc., que le sirven de fundamento. Los conjuntos de documentos estudiados deben ser considerados en relación con el contexto en que son producidos, diseminados y utilizados. Ambas cuestiones, evidencian la limitación de los estudios que quedan en la cuantificación de documentos, citas, ocurrencia de palabras, entre otros indicadores, y no los interpretan a la luz de las culturas epistémicas que funcionan en los dominios estudiados.

Otros elementos, resumidos en lo que se conoce como Manifiesto de Leiden,⁵ alertan sobre la utilización acrítica de los indicadores y resultados de los estudios métricos para la evaluación de los investigadores y sus instituciones y el otorgamiento de financiamiento a proyectos. Algunos ya fueron mencionados aquí, como la necesidad de tener en cuenta las diferencias entre las prácticas de citación y publicación de los diferentes campos y los posibles sesgos que se introducen por la selección de una u otra fuente de datos. Otros apuntan para la necesidad de reconocer el contexto local o regional, priorizando bases de datos e indicadores que permitan analizar fenómenos que no son evaluables utilizando solamente literatura en idioma inglés. De esto deriva también una alerta para aquellos estudios métricos que tienden a reforzar el falso criterio de que solo se encuentra ciencia de calidad en revistas con Factor de Impacto (FI) calculado a partir de indexación en la Web of Science (WoS).

En los últimos años, la Revista Cubana de Información en Ciencias de la Salud ha establecido durante su proceso de arbitraje y política editorial un mayor rigor en los estudios métricos que publica, para lo cual ha fomentado contribuciones que vayan más allá de la mera descripción y cuantificación; que incorporen bases de datos y enfoques alternativos, así como bases sociológicas y epistemológicas para el análisis de los campos científicos. Se ha estimulado también la publicación de trabajos que contribuyan al desarrollo teórico y metodológico de esta área. En esta línea, el número actual incluye un estudio empírico analítico que realiza contribuciones significativas para la comprensión y caracterización del dominio Experiencias Adversas en la Infancia⁶ y dos estudios que proponen procedimientos metodológicos para mejorar aspectos clave en los estudios métricos: la estrategia de búsqueda y la normalización de los datos.^7,8 Consideramos, además, que una mayor discusión sobre los elementos aquí esbozados contribuirá con el avance de los estudios métricos y su aplicación en la propuesta de análisis y soluciones para la CT&I.

]]> ALEJANDRO CABALLERO RIVERO

Universidad Federal de Pernambuco (UFPE), Brasil.

REFERENCIAS BIBLIOGRÁFICAS

1. Tuomaala O, Järvelin K, Vakkari P. Evolution of Library and Information Science, 1965-2005: Content Analysis of Journal Articles. J Assoc Inform Sci Technol. 2014;65(7):1446-62.

2. Koufogiannakis D, Slater L. A content analysis of librarianship research. J Inform Sci. 2004;30(3):227-39.

3. Arencibia Jorge R, Corera Álvarez CE, Chinchilla Rodríguez Z, Moya Anegón F. Intersectoral relationships, scientific output and national policies for research development: a case study on Cuba 2003-2007. Rev Cubana Inform Ciencias Salud. 2013;24(3):243-54.

4. Hjørland B. Informetrics need a foundation in the theory of science. En: Sugimoto CR (editor). Theories of Informetrics and Scholarly Communication. Berlín: Walter de Gruyter GmbH; 2016. p. 20-46.

5. Hicks D, Wouters P, Waltman L, Rijcke S, Rafols I. The Leiden Manifest for research metric. Nature. 2015;520. p. 429-31.

6. Veja-Arce M, Núñez-Ulloa G. Experiencias adversas en la infancia: mapeo bibliométrico de la literatura científica en la Web of Science. Rev Cubana Inform Ciencias Salud. 2018;29(1):73-88.

7. Sobral NV, Miranda ZD, Silva FM. Estratégia para a recuperação de informação científica sobre as doenças tropicais negligenciadas: análise comparativa da Scopus, Pubmed e Web of Science. Rev Cubana Inform Ciencias Salud. 2018;29(1):35-53.

8. Albo Hernández RO, Guzmán Sánchez MV, Álvarez Díaz I, Bouza Figueroa JF, Calero Ramos R. Requerimientos para mejorar la normalización de datos en software de análisis métricos de la información. Rev Cubana Inform Ciencias Salud. 2018;29(1):54-72.

* Se realizó una búsqueda en la base de datos Scopus el día 20 de febrero del año 2018. Se recuperaron los artículos publicados por la Revista Cubana de Información en Ciencias de la Salud (y su antecesora Acimed) que incluyeran los términos informetrics, bibliometrics, scientometrics, metrics, informetría, bibliometría, cienciometría, informétricos, bibliométricos, cienciométricos y métricos en el título, el resumen o las palabras llave.