SciELO - Scientific Electronic Library Online

 
vol.20 issue2Factors associated with alcohol consumption in Cuban university studentsOnce again on the fight against plagiarism author indexsubject indexarticles search
Home Pagealphabetic serial listing  

My SciELO

Services on Demand

Journal

Article

Indicators

  • Have no cited articlesCited by SciELO

Related links

  • Have no similar articlesSimilars in SciELO

Share


Revista Habanera de Ciencias Médicas

On-line version ISSN 1729-519X

Rev haban cienc méd vol.20 no.2 La Habana Mar.-Apr. 2021  Epub May 10, 2021

 

Estudios Bibliométricos y Cienciométricos

Impacto académico y social de la investigación sobre COVID-19 en la base de datos Dimensions

Academic and social impact of COVID-19 research in Dimensions database

Roelvis Ortiz Núñez1  * 
http://orcid.org/0000-0002-7069-1439

Yimideivis Rodríguez Gutiérrez2 
http://orcid.org/0000-0002-4555-9620

1Instituto de Información Científica y Tecnológica. La Habana, Cuba

2Policlínico Docente “Abel Santamaría”. La Habana, Cuba

RESUMEN

Introducción:

La necesidad de contar de manera inmediata con evidencias y resultados fiables sobre la COVID-19 ha generado una revolución inédita en los sistemas de comunicación científica. Se trata de una verdadera carrera de la ciencia contra la expansión del nuevo coronavirus que genera impactos en todos los ámbitos.

Objetivo:

Analizar el impacto académico y social de los resultados científicos sobre COVID-19 en Dimensions.

Material y Métodos:

Se realizó un estudio observacional y descriptivo, de carácter transversal, que analizó la presencia, productividad e influencia de investigaciones sobre COVID-19, su impacto y uso en plataformas sociales y científicas a través de indicadores bibliométricos y altmétricos.

Resultados:

El 84.3 % son artículos publicados en revistas científicas, 14 % corresponden a preprints y 82.2 % de las publicaciones están en acceso abierto. Las publicaciones alcanzan un elevado número de citas y alta puntuación altmétrica con predominio de actividad en Twitter.

Conclusiones:

La investigación científica sobre COVID-19 se ha publicado, fundamentalmente, de forma directa y en abierto en repositorios temáticos e institucionales. Existen correlaciones en cuanto al impacto académico y social de trabajos publicados en revistas de alto impacto; sin embargo, el análisis a nivel de artículo evidencia una baja correspondencia entre citas y menciones en redes sociales.

Palabras Claves: Altmetría; bibliometría; coronavirus; COVID-19; impacto académico y social

ABSTRACT

Introduction:

The need for immediate evidence and reliable results of COVID-19 has generated an unprecedented revolution in scientific communication systems. It is a real race of science against the expansion of the new coronavirus that generates impacts in all areas.

Objective:

To analyze the academic and social impact of the scientific results of COVID-19 in Dimensions database.

Material and Methods:

A cross-sectional observational and descriptive study was conducted. The study analyzed the presence, productivity and influence of research on COVID-19, as well as its impact and use in social and scientific platforms through bibliometric and altmetric indicators.

Results:

In total, 84.3 % are articles published in scientific journals, 14 % correspond to preprints, and 82.2 % of the publications are open access articles. The publications reach a high number of citations and high altmetric scores with a predominance of activity on Twitter.

Conclusions:

Scientific research on COVID-19 has been published, mainly directly and in openly available thematic or institutional repositories. There are correlations regarding the academic and social impact of works published in high impact journals; however, the analysis at the article level shows a low correspondence between citations and mentions on social networks.

Keywords: Altmetrics; Bibliometrics; coronavirus; COVID-19; academic and social impact

Introducción

La población humana está en riesgo potencial a causa de un virus nuevo, que debido a su rápida propagación sumergió a la humanidad en una pandemia y en una crisis sanitaria, económica y social sin precedentes. El virus se denominó SARS-CoV-2 debido a su relación genética con el SARS-CoV-1.1 La población mundial carece de inmunidad y más de 173 proyectos se desarrollan en diferentes países para obtener una vacuna segura y eficaz.2)

La estimación epidemiológica hasta la fecha del presente estudio es, en promedio, de más de 100 millones de casos confirmados en el mundo y más de 2 millones fallecidos.3 Se realizan amplios esfuerzos mundiales para desarrollar vacunas y fármacos. Hasta la fecha existen por los menos 6 candidatos vacunales que están en carrera firme para ingresar a la fase III y probarla en voluntarios en aras de comprobar la tan ansiada eficacia.2

Las publicaciones científicas han experimentado un incremento exponencial en respuesta a la necesidad de comunicar los resultados de investigación sobre la enfermedad. Los análisis métricos de la producción científica asociada a la COVID-19 han considerado fuentes bibliométricas tradicionales (sobre todo las generadas a partir de Web of Science (WoS) y Scopus) para la cuantificación y visibilidad de la investigación.4,5,6,7,8) Se considera oportuno emplear indicadores que evalúen, además de la cantidad de información producida, su impacto, tanto por las citas recibidas como por las menciones en redes sociales y científicas.

En este sentido, el análisis del impacto por las citas recibidas se complementa con el impacto altmétrico, al tener en cuenta otros aspectos significativos como la visualización, recomendaciones y menciones en redes sociales y científicas. Se contribuiría con ello, por tanto, a un conocimiento más exhaustivo de la literatura científica sobre este tema, sus aportes y relevancia.

La presente investigación tiene como objetivo analizar el impacto académico y social de los resultados científicos sobre COVID-19 en Dimensions.

Material y Métodos

Se realizó un estudio observacional y descriptivo, de carácter transversal, que analizó la presencia, productividad e influencia de investigaciones sobre COVID-19, su impacto y uso en plataformas sociales y científicas a través de indicadores bibliométricos y altmétricos.

El análisis basado en citas es un método destacado para capturar material de importancia académica y teóricamente relevante.9 Teniendo en cuenta que la actividad de investigación en esta área comenzó principalmente con el brote de la enfermedad, las citas carecen de velocidad para mantener la producción y recepción de nuevos hallazgos, por lo que se propone el uso de indicadores altmétricos como complemento para medir el impacto de la investigación sobre COVID-19.

El uso de las mediciones altmétricas permite rastrear y capturar el impacto en línea de la investigación académica e indica los artículos que están influyendo en la comunidad de investigación. Son medidas de cómo las personas interactúan con un trabajo académico dado y reflejan la popularidad, el uso, la aceptación y la disponibilidad de un artículo científico.10,11

Las bases de datos tradicionales como WoS, Scopus y Google Scholar, se han incrementado con Microsoft Academic, Dimensions, Crossref y otras. La seleccionada en este estudio es una de las más recientes en aparecer y la más grande en comparación con WoS y Scopus,5 indiza el texto completo de documentos y emplea técnicas de aprendizaje automático con enfoques de inteligencia artificial para enlazar e integrar recursos de fuentes diversas.12 Además, proporciona información de citas y altmétricas del documento, acceso al texto completo y contiene módulos adicionales con información de ensayos clínicos, informes políticos, patentes y subvenciones.

El 1 de julio de 2020 se interrogó la versión pública de Dimensions (https://www.dimensions.ai) con una estrategia de búsqueda compuesta por la ecuación: ((2019-ncov) OR (covid-19) OR (sars-cov-2) OR ("2019 novel coronavirus") OR ("coronavirus disease 2019")) y se limitó la búsqueda a 2020. Se escoge esta fecha intencionalmente para recopilar los datos del primer semestre de ese año.

Para el análisis de la dimensión cualitativa se utilizó la plataforma SCImago Journal & Country Rank (https://www.scimagojr.com), así se logró definir la visibilidad de las revistas, el factor de impacto, así como el Índice H de revistas y autores.

El análisis altmétrico se realiza empleando el cálculo de Altmetric Attention Score que ofrece Dimensions, mediante la plataforma Altmetric.com. Se empleó Microsoft Excel 2019 para generar tablas y gráficos.

Indicadores analizados:

  • Número de publicaciones o Producción total.

  • Número de citas recibidas por campos del conocimiento.

  • Número de citas recibidas por publicaciones.

  • Número de citas recibidas por autores.

  • Índice H de autores.

  • Numero de menciones en noticias de prensa (news).

  • Número de menciones en blogs.

  • Número de menciones en informes técnicos (policy documents).

  • Número de menciones en Twitter.

  • Número de menciones en publicaciones de Facebook.

  • Número de menciones en páginas de Wikipedia.

  • Número de menciones en Reddit.

  • Número de menciones en videos (YouTube).

Resultados

Se obtuvo un total de 66 447 publicaciones, 84,3 % son artículos publicados en revistas científicas, 14 % corresponden a preprints y 82,2 % están disponibles gratuitamente bajo la modalidad de acceso abierto. Se han publicado 222 patentes, 4 151 ensayos clínicos, 945 documentos de políticas y otorgado 752 subvenciones.

Concentra la mayor producción la lista de revistas ERA 2018 (Excelencia en investigación para Australia) con 51,7 % y le sigue en el ranking la base de datos médica PubMed (49,4 %). Entre las 11 fuentes con mayor número de publicaciones 7 repositorios concentran 86,6 % y la revista The British Medical Journal 4,8 %. (Figura 1).

Fig. 1 Tipología y medios de publicación de las investigaciones sobre COVID-19. (Dimensions, julio de 2020). 

Dimensions emplea una clasificación temática de los contenidos, organizada de forma jerárquica en 22 divisiones y 157 campos de investigación. Además, aporta información del impacto de las publicaciones extraídas de sus bases a nivel de artículo, sobre la base del número de veces que una publicación ha sido citada por otra en Dimensions.

Las citas provienen de todo tipo de publicaciones, no solo artículos, sino también libros, capítulos de libros, monografías, comunicaciones de congresos y preprints.

Con respecto a la producción científica, el campo de investigación dominante es Medical and Health Sciences con 40 600 publicaciones. El resto de los campos con los que se articula de forma temática la producción científica, se relaciona con los campos propios de la Medicina (Ciencias Clínicas, Microbiología, Ciencias Biológicas, Medicina Cardiorrespiratoria y Hematología e Inmunología) y otros campos de las Ciencias Sociales. (Figura 2). Concentra mayor número de citas el campo Medical Microbiology (44 208).

Fig. 2 Distribución de artículos y citas por campos de investigación (Dimensions, julio de 2020). 

El artículo con mayor número de citas recibidas (5 465) fue “Clinical features of patients infected with 2019 novel coronavirus in Wuhan, China”, publicado el 24 de enero de 2020 en The Lancet por un colectivo de autores chinos. Aborda las características epidemiológicas, clínicas, de laboratorio y radiológicas, así como el tratamiento y los resultados clínicos de un grupo de casos de neumonía en Wuhan, China, causado por el nuevo coronavirus (SARS-CoV-2).

Los diez artículos con mayor Altmetric Attention Score y citas están publicados en revistas de alto impacto, indexadas en el primer cuartil de Scimago, como Nature Medicine, New England Journal of Medicine, The Lancet y Science. (Tabla 1).

Tabla 1 Top 10 de artículos sobre COVID-19 con mayor Altmetric Attention Score y Citations (Dimensions, 1 de julio de 2020) 

Se evidenció, de manera específica para algunas fuentes y plataformas, que existe una baja correlación entre el número de citas recibidas en Dimensions y menciones en Altmetric.com. Por tanto, no existe una clara coherencia entre la atención social que recibe un trabajo y el impacto científico por las citas recibidas. Se puede observar que un artículo retractado sobre el uso de la Hidroxicloroquina posee una alta puntuación altmétrica; sin embargo, la comunidad científica lo condena con una pequeña porción de citas que en su mayoría impugnan su validez con respecto a la veracidad de los datos y análisis realizados.

El trabajo con mayor Altmetric Attention Score “The proximal origin of SARS-CoV-2”, fue publicado en Nature Medicine, el 17 marzo de 2020 por autores de los Estados Unidos, Reino Unido y Australia. Se expone una revisión sobre el origen del SARS-CoV-2 a través de la comparación de análisis de datos genómicos. La investigación muestra claramente que el SARS-CoV-2 no es diseño de laboratorio o un propósito de manipulación de virus. Los resultados de esta investigación tienen un puntaje de atención altmétrica de 34 466. Medida de alto nivel de la calidad y cantidad de atención en línea que se recibe.

Altmetric.com ha rastreado 15 363 360 resultados de investigación en todas las fuentes registradas hasta el presente estudio. En comparación, el artículo ha tenido un desempeño particularmente significativo y se encuentra en el percentil 99: 5 % superior de todos los resultados de investigación rastreados por Altmetric.com. Recibió 1 025 noticias de 603 medios, 112 publicaciones de 75 blogs, referencia en 1 documento de política, 83 932 tweets de 73 512 usuarios con un límite superior de 26 344 850 seguidores, 138 publicaciones en el muro público Facebook de 133 usuarios, 10 citas en 9 páginas de Wikipedia, 26 enlaces de Reddit por 25 usuarios y 10 videos de 15 usuarios. (Tabla 2).

Tabla 2 Total de menciones recibidas en Altmetric.com por parte del top 10 de artículos sobre COVID-19 (Dimensions, 1 de julio de 2020) 

El desglose geográfico de los tweets recibidos por el artículo con mayor atención altmétrica evidencia que España es el país con mayor número de menciones realizadas, 8 % (6 183), seguido por los Estados Unidos, (6 %); Brasil (5 %) e Italia (3 %) entre los primeros países. Por otra parte, el desglose demográfico muestra que 67 091 (91 %) de las menciones fueron realizadas por miembros del público, mientras que 6 % la efectuaron científicos, 2 % practicantes (doctores y otros profesionales de la salud) y 1 % comunicadores de ciencia (periodistas, blogueros y editores).

Entre los autores con mayor número de contribuciones, lidera el ranking Viroj Wiwanitkitc con presencia de autoría en 0,14 % de las publicaciones (Figura 3); es profesor de Medicina y académico asiático. Actualmente profesor universitario visitante en la Universidad Médica de Hainan, China. Es el científico tailandés con mayor número de publicaciones.

Fig. 3 Distribución entre artículos, índice H y citas por autores. 

Se observó presencia de colaboración internacional con predominio de colaboración nacional; los autores firmaron con filiación proveniente de 115 países. Entre aquellos con más contribuciones, lidera con mayor número de publicaciones bajo su firma los Estados Unidos (505), le siguen en el ranking China (449), Italia (252), Reino Unido (240), India (184) y Canadá (111) con más de 100 publicaciones y un alto nivel de coautoría.

Discusión

La enfermedad COVID-19 tomó al mundo por sorpresa. La alarmante propagación del virus, el desafío para controlarlo y sus graves consecuencias para la salud, la falta de vacuna o fármaco eficaz, entre otros, generó una explosión de la producción científica sin precedentes. Esto ha dado lugar a un gran volumen de resultados de investigación en un corto período de tiempo e indica un crecimiento exponencial de publicaciones, citas y menciones en redes sociales.

Los resultados que arroja el presente estudio corroboran que la publicación directa y en abierto en repositorios temáticos e institucionales se ha convertido en la forma más inmediata y expedita de compartir los hallazgos de investigación sobre COVID-19. Como plantea Kupferschmidt, nunca hasta hoy en el campo de conocimiento de las Ciencias Biológicas, y especialmente en las biomédicas, se había producido un crecimiento tan rápido y espontáneo del número de preprints depositados en repositorios frente al de artículos publicados en revistas en los medios tradicionales de publicación.13)

Un rasgo distintivo de las publicaciones sobre COVID-19 es la perfecta sincronización que se está logrando entre la “ruta verde” (publicación en repositorios) y la “ruta de oro” de la publicación científica (pago por publicación en abierto). El libre acceso a las múltiples secuenciaciones del genoma del virus, que se comparten y analizan en tiempo real, dan fe exclusiva de ello. No obstante, esta tendencia demanda un aumento de la cultura científica de los profesionales y la población en general y, fundamentalmente, del desarrollo de habilidades informacionales que contribuyan a discernir información veraz. De modo que se fortalezca la capacidad crítica respecto a las fuentes de información y la lógica de sus contenidos.14

Los campos de investigación, según la denominación que emplea Dimensions indican que trabajos clasificados en campos propios de la Medicina y en menor medida otros campos de las Ciencias Sociales, son los que presentan mayor producción científica e impacto por las citas recibidas; trabajos publicados en revistas prestigiosas como Nature Medicine, The New England Journal of Medicine, The Lancet y Science.

Se puede observar que los estudios relacionados con la epidemiología y las características clínicas de COVID-19 tienen mayor citación. Los artículos con mayor visibilidad e impacto científico son aquellos que tienen repercusión directa en la mejora del diagnóstico, prevención, tratamiento y cura del virus. No obstante, aun teniendo una alta repercusión altmétrica, estos resultados no son equivalentes.

Por su parte, los trabajos con mayor atención altmétrica también se registran en revistas de alto impacto (The Lancet, Science, Nature Medicine, The New England Journal of Medicine y el repositorio MedRxiv). Por lo que la popularidad de un artículo se correlaciona fuertemente con revistas que tienen alta reputación en el campo (factor de alto impacto, revista líder de la comunidad científica).

El análisis de contenido de los diez artículos nos da una idea amplia del porqué se han vuelto populares. Los artículos con mayor Altmetric Attention Score revelan aspectos relacionados con el origen del virus, su estabilidad en superficies, vías de transmisión, medicamentos y uso de mascarillas. Es decir, aspectos relacionados con el virus, importantes desde el punto de vista de sus efectos políticos (posibles problemas geoestratégicos) y sociales (alarma generada en la población).

Uno de los fenómenos habituales es la concentración que se produce del total de menciones que recibe un conjunto de documentos en una plataforma concreta, así en el caso de la COVID-19 se ha verificado que el mayor número de las menciones que reciben los artículos pertenecen​ a Twitter.

Las redes sociales son un gran potencial informativo, de visibilidad e impacto complementario, pero al mismo tiempo, representan un gran riesgo informacional. La población, en general, sugestionada hoy a redes sociales, puede ser receptiva a informaciones falsas. Un artículo publicado acerca del impacto mediático de un preprint sobre el coronavirus, demuestra que una máxima atención mediática no equivale a mayor calidad y relevancia científica,15 así lo corrobora la presente investigación, pues un artículo publicado en The Lancet sobre el empleo de Hidroxicloroquina fue retractado por preocupaciones con respecto a la veracidad de las fuentes de datos; sin embargo, ocupa la tercera y cuarta posición en el ranking de mayor atención altmétrica.

El debate en torno al virus COVID-19 tampoco se escapa a las cuestiones conspirativas. Los avances científicos se informan a diario en los medios de comunicación, se discuten en Twitter y los políticos los utilizan para adoptar decisiones. De hecho, los esfuerzos científicos no solo se han centrado en mitigar la pandemia, también han respondido a preocupaciones sociales, como las derivadas del aumento de las noticias falsas acerca del origen artificial del coronavirus, medicinas falsas sobre productos que ofrecían inmunización contra el virus y afirmaciones falsas sobre gobiernos y celebridades.16

Esta es una combinación peligrosa en la esfera de la información sobre la salud.17 La naturaleza dinámica de los medios sociales ha posibilitado la difusión de información poco fiable o errónea durante una epidemia en curso, como por ejemplo durante el brote de Zika en 2016,18 en que se abrió un fuerte debate sobre las teorías de conspiración acerca del origen del virus.

Varios trabajos buscan averiguar si existe una correlación entre las métricas tradicionales, especialmente el número de citas recibidas por un artículo y las métricas alternativas, ya sea, recomendaciones en bases de datos,19tweets20 o menciones en blogs.21 Estos trabajos han encontrado correlaciones moderadas entre ambos tipos de métricas, lo que sugiere, que existe alguna relación entre ellas, aunque no miden el mismo concepto.

Las cifras resultantes indican que la mayoría de los datos altmétricos generados sobre COVID-19 provienen de Twitter y News, seguidos por Facebook y otras fuentes cuya suma es poco representativa. Twitter es la plataforma que desempeña un papel fundamental en la difusión de información sobre la salud, si bien muchos estudios demuestran que los tweets no son tan precisos al promover información científica, la red social Twitter, se destaca por su capacidad para capturar tendencias epidémicas, recopilar información y difundir conocimiento durante crisis de salud pública.22,23

Por otro lado, la baja presencia de las publicaciones en los informes políticos, puede depender de las limitaciones de la herramienta utilizada para este fin (Altmetric.com), que solo tiene en cuenta los documentos elaborados por grandes organismos internacionales o europeos.24)

Los resultados muestran una baja correlación entre citas y menciones en redes sociales, así lo evidencian investigaciones precedentes.25,26,27 Es decir, que las altmétricas muestran una baja similitud con el impacto académico, lo cual constituye un aviso, pues miden la influencia social pero no la calidad de una investigación. Las altmétricas permiten obtener indicadores de difusión de los artículos de manera casi inmediata, mientras que las citas requieren un largo período de tiempo para acumular un volumen de datos significativo.

Elementos importantes como la co-ocurrencia temática, co-autoría, co-citación e índice de inmediatez no se analizaron en los resultados del presente estudio, por lo que serán aspectos que se tendrán en cuenta para futuras investigaciones. Asimismo, sería oportuno establecer análisis del comportamiento del tema en otras bases de datos de prestigio como WoS, Scopus, PubMed y Scielo, así como otras fuentes de datos altmetrics como Plum X, ImpactStory, Crossref Even Data y PLoS ALM.

Conclusiones

La investigación científica sobre COVID-19 se ha publicado, fundamentalmente, de forma directa y abierto en repositorios temáticos e institucionales, en respuesta a la perentoria necesidad de compartir los resultados de investigación. Se producen convergencias en cuanto al impacto académico y social de trabajos publicados en revistas de alto impacto, pero también divergencias, ya que el análisis a nivel de artículo evidencia una baja correlación entre citas y menciones en redes sociales.

El presente estudio pone de relieve que la aplicación de perspectivas altmétricas trascienden y complementan los indicadores de impacto de la investigación tradicionales y permiten una enfoque alternativo que cabe seguir explorando para lograr una visión lo más amplia posible respecto a cómo se posiciona la investigación científica en estos tiempos en los que la situación epidemiológica mundial es alarmante e implica un desafío constante para toda la comunidad científica y el público en general.

Referencias bibliográficas

1. Carod Artal FJ. Neurological complications of coronavirus and COVID-19. Rev Neurol [Internet]. 2020 [Citado 07/08/2020];70(9):311-22. Disponible en: Disponible en: http://dx.doi.org/10.33588/rn.7009.2020179Links ]

2. Organización Panamericana de la Salud. Preguntas frecuentes sobre las vacunas candidatas contra la COVID-19 y mecanismos de acceso [Internet]. Washington: OPS; 2020 [Citado 04/09/2020]. Disponible en: Disponible en: https://www.paho.org/es/documentos/preguntas-frecuentes-sobre-vacunas-candidatas-contra-covid-19-mecanismos-acceso-versionLinks ]

3. Johns Hopkins University. Coronavirus Resource Center. [Internet]. Baltimore: JHU; 2020 [Citado 04/09/2020]. Disponible en: Disponible en: https://coronavirus.jhu.eduLinks ]

4. Chahrour MA. Bibliometric Analysis of COVID-19 Research Activity: A call for increased output. Cureus [Internet]. 2020 [Citado 07/08/2020];12(3):e7357. Disponible en: Disponible en: https://doi.org/doi:10.7759/cureus.7357Links ]

5. Torres Salinas D. Daily growth rate of scientific production on COVID-19. Analysis in databases and open access repositories. Profes Inform [Internet]. 2020 [Citado 07/08/2020];29(2):[Aprox. 2 p.]. Disponible en: Disponible en: https://doi.org/10.3145/epi.2020.mar.15Links ]

6. Ortiz Núñez R. Metric analysis of the scientific production about COVID-19 in Scopus. Rev Cubana Inf Ciencias Salud [Internet]. 2020 [Citado 07/08/2020];31(3):1-20. Disponible en: Disponible en: http://www.rcics.sld.cu/index.php/acimed/article/vi ew/1587Links ]

7. Gregorio Chaviano O, Limaymanta CH, López Mesa EK. Bibliometric evaluation of Latin American contributions on COVID-19 Estudio bibliométrico sobre el COVID-19. Biomédica [Internet]. 2020 [Citado 07/08/2020];40:[Aprox. 12 p.]. Disponible en: Disponible en: https://revistabiomedica.org/index.php/biomedica/a rticle/download/5571/4576Links ]

8. Ortiz Núñez R. Producción científica sobre COVID-19 y pediatría en Scopus (2019-julio de 2020). Rev Cubana Pediatría [Internet]. 2020. [Citado 07/08/2020];92(Supl.):e1269. Disponible en: Disponible en: http://www.revpediatria.sld.cu/index.php/ped/article/view/1269/647Links ]

9. Glänzel W. Bibliometrics as a research field a course on theory and application of bibliometric indicators. Course Handouts [Internet]. 2003. [Citado 07/08/2020]. Disponible en: Disponible en: https://www.researchgate.net/publication/242406991_Bibliometrics_as_a_research_field_A_course_on_theory_and_application_of_bibliometric_indicatorsLinks ]

10. Das AK, Mishra S. Genesis of Altmetrics or Article-Level Metrics for Measuring Efficacy of Scholarly Communications: Current Perspectives. J Scientometric Res [Internet]. 2014 [Citado 10/08/2020];3(2):82-92. Disponible en: Disponible en: http://doi.org/10.4103/2320-0057.145622Links ]

11. Williams A. Altmetrics: an overview and evaluation. Online Inform Rev [Internet]. 2017 [Citado 10/08/2020];41(3):311-7. Disponible en: Disponible en: https://doi.org/10.1108/OIR-10-2016-0294Links ]

12. Olmeda Gómez C, Perianes Rodríguez A. Altmetrics as a research specialty (Dimensions, 2005-2018). Profes Inform [Internet]. 2019 [Citado 15/08/2020];28(6):e280508. Disponible en: Disponible en: https://doi.org/10.3145/epi.2019.nov.08Links ]

13. Kupferschmidt K. Preprints bring ‘firehose’of outbreak data. Science [Internet]. 2020 [Citado 07/08/2020];367(6481):963-4. Disponible en: Disponible en: http://science.sciencemag.org/content/367/6481/96 3.abstractLinks ]

14. Larrivière V, Shu F, Sugimoto C. The Coronavirus (COVID-19) outbreak highlights serious deficiencies in scholarly communication [Internet]. London: LSE Impact Blog [Internet]. 2020 [Citado 15/08/2020]. Disponible en: Disponible en: https://blogs.lse.ac.uk/impactofsocialsciences/2020/03/05/the-coronavirus-covid-19-outbreakhighlights-serious-deficiencies-in-scholarly-communication/Links ]

15. López Cózar ED, Martín Martín A. La viralidad de la ciencia defectuosa: el contagioso impacto mediático de un preprint en bioRxiv sobre el coronavirus y sus efectos en la comunicación científica [Internet]. España: Universidad de Granada; 2020 [Citado 15/08/2020]. Disponible en: Disponible en: https://digibug.ugr.es/handle/10481/60872Links ]

16. Pérez Dasilva JA, Meso Ayerdi K, Mendiguren Galdospín T. Fake news y coronavirus: detección de los principales actores y tendencias a través del análisis de las conversaciones en Twitter. Profes Inform [Internet]. 2020 [Citado 15/08/2020];29(3):e290308. Disponible en: Disponible en: https://doi.org/10.3145/epi.2020.may.08Links ]

17. Albalawi Y, Nikolov NS, Buckley J. Trustworthy health-related tweets on social media in Saudi Arabia: Tweet metadata analysis. J Med Internet Res [Internet]. 2019 [Citado 15/08/2020];21(10):e14731. Disponible en: Disponible en: https://doi.org/10.2196/14731Links ]

18. Wood MJ. Propagating and debunking conspiracy theories on Twitter during the 2015-2016 Zika virus outbreak. Cyberpsychol Behav Soc Netw [Internet]. 2018 [Citado 20/08/2020];21(8):485-90. Disponible en: Disponible en: https://doi.org/10.1089/cyber.2017.0669Links ]

19. Waltman L, Costas R. F1000 recommendations as a potential new data source for research evaluation: a comparison with citations. J Assoc Inf Sci Technol [Internet]. 2014 [Citado 20/08/2020];65(3):433-445. Disponible en: Disponible en: http://dx.doi.org/10.1002/asi.23040Links ]

20. Haustein S, Peters I, Sugimoto CR, Thelwall M, Larivière V. Tweeting biomedicine: an analysis of tweets and citations in the biomedical literature”. J Assoc Inf Sci Technol [Internet]. 2014 [Citado 20/08/2020];65(4):656-69. Disponible en: Disponible en: http://dx.doi.org/10.1002/asi.23101Links ]

21. Shema H, Bar Ilan, J, Thelwall M. Do blog citations correlate with a higher number of future citations? Research blogs as a potential source for alternative metrics. J Assoc Inf Sci Technol [Internet]. 2014 [Citado 25/08/2020];65(5):1018-27. Disponible en: Disponible en: http://dx.doi.org/10.1002/asi.23037Links ]

22. Odlum M, Yoon S. What can we learn about the Ebola outbreak from tweets?. Am J Infect Control [Internet]. 2015 [Citado 25/08/2020];43(6):563-71. Disponible en: Disponible en: https://doi.org/10.1016/j.ajic.2015.02.023Links ]

23. Scanfeld D, Scanfeld V, Larson EL. Dissemination of health information through social networks: Twitter and antibiotics. Am J Infect Control [Internet]. 2010 [Citado 25/08/2020];38(3):182-8. Disponible en: Disponible en: https://doi.org/10.1016/j.ajic.2009.11.004Links ]

24. Bornmann L, Robin H, Werner M. Policy documents as sources for measuring societal impact: how often is climate change research mentioned in policy-relatedocuments?. Scientometrics [Internet]. 2016 [Citado 02/09/2020];109(3):14771495. Disponible en: https://doi.org/10.1007/s11192-016-2115-yLinks ]

25. Thelwall M, Kousha K. Web indicators for research evaluation. Part 2: Social media metrics. Profes Inform [Internet]. 2015 [Citado 02/09/2020];24(5):607-20. Disponible en: Disponible en: http://dx.doi.org/10.3145/epi.2015.sep.09Links ]

26. Bornmann L, Haunschild R. Do altmetrics correlate with the quality of papers? A large-scale empirical study based on F1000Prime data. PLoS One [Internet]. 2018 [Citado 02/09/2020];13(5):e0197133. Disponible en: Disponible en: https://doi.org/10.1371/journal.pone.0197133Links ]

27. Borrego A. Altmétricas para la evaluación de la investigación y el análisis de necesidades de información. Profes Inform [Internet]. 2014 [Citado 02/09/2020];23(4):352-7. Disponible en: Disponible en: http://dx.doi.org/10.3145/epi.2014.jul.02Links ]

Contribución de autoría

2RON: Contribuyó al diseño del estudio, análisis de datos, interpretación y redacción del manuscrito.

3YRG: Interpretación y redacción del manuscrito.

4Todos los autores participamos en la discusión de los resultados y hemos leído, revisado y aprobado el texto final del artículo.

Recibido: 04 de Septiembre de 2020; Aprobado: 14 de Enero de 2021

*Autor para la correspondencia: roelvis.ortiz@gmail.com

Los autores declaran no tener ningún conflicto de intereses.

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons