Un estudio sobre la implementación del método Delphi en publicaciones de ciencias médicas indexadas en Scopus

A study on the implementation of the Delphi method in publications of medical indexing sciences in Scopus

Miguel Cruz Ramírez

Departamento de Matemática. Universidad de Holguín. Holguín, Cuba.

RESUMEN

Introducción: El método Delphi ha sido aplicado en varias investigaciones del campo de las ciencias médicas cubanas. Con frecuencia, este método sigue el enfoque clásico de la búsqueda de consenso, aunque existen numerosas variantes en el campo de la prospectiva.
Objetivo: Caracterizar el uso del método Delphi, en busca de un patrón que facilite la identificación de posibles tendencias de desarrollo en el ámbito de las ciencias médicas.
Métodos: Se utilizaron técnicas cienciométricas para procesar una matriz de datos obtenida de Scopus. La lógica de búsqueda se apoyó en la aparición de los términos más frecuentes "Delphi method", "Delphi study", o "Delphi technique" en los títulos, resúmenes y palabras claves. Las variables objeto de estudio fueron la productividad científica, la distribución por ramas del conocimiento, el impacto por índice de citas, las tendencias investigativas y las redes de colaboración.
Resultados: De 10341 documentos, 5282 fueron relacionados con las ciencias médicas (33,26 %), y 29 son de autores cubanos. El crecimiento diacrónico fue exponencial y el número de citas se concentró en un número reducido de documentos. Predominó el Delphi clásico enfocado hacia el consenso, en detrimento de otras variantes más flexibles descritas en la literatura. Las redes de colaboración indicaron la existencia de 15 colegios invisibles por clústeres de co-autoría.
Conclusiones: El uso del método Delphi en investigaciones médicas cubanas no es una eventualidad local, sino que responde a una tendencia mundial acrecentada durante los últimos años.

Palabras clave: Método Delphi; Ciencias Médicas; Cienciometría; Scopus; investigación médica.

ABSTRACT

Introduction: The Delphi method has been applied to several investigations in the field of Cuban medical sciences. Frequently, this method follows the classical approach of seeking consensus, although there are numerous variants in the field of prospective. ]]> Objective: To characterize the use of the Delphi method, in search of a pattern that facilitates identifying possible development trends in the field of medical sciences.
Methods: We used scientometric techniques to process a data matrix obtained from Scopus. The search logic is based on the appearance of the most frequent terms Delphi method, Delphi study, or Delphi technique in titles, abstracts and keywords. The variables studied are scientific productivity, distribution by branches of knowledge, impact by citation index, research trends, and collaboration networks.
Results: From 10 341 documents, 5282 are related to medical sciences (33.26%), and 29 are by Cuban authors. The diachronic growth is exponential and the number of citations is concentrated in a reduced number of documents. The classic Delphi focused on consensus predominates over other more flexible variants described in the literature which are decreasing. Collaboration networks indicate the existence of 15 invisible colleges by clusters of co-authorship.
Conclusions: The use of the Delphi method in Cuban medical research is not a local event, but responds to a global trend that has increased during the last years.

Keywords: Delphi method; medical sciences; scientometrics; Scopus; medical research.

INTRODUCCIÓN

Durante los últimos años, los métodos de experto han sido utilizados en varias investigaciones cubanas del campo de la medicina, la enfermería, la estomatología, las ciencias de la salud, y la educación médica. De forma general su uso constituye un complemento para el estudio científico, como ocurre en los siguientes ejemplos seleccionados de investigaciones doctorales desarrolladas a lo largo de la década 2005-2014 (vid. repositorio http://tesis.repo.sld.cu/). En orden se delimita el uso que se le da a dicho método, en el contexto específico de cada investigación:

• Redefinición y establecimiento de una escala para el diagnóstico del síndrome de insuficiencia respiratoria aguda.¹
]]> Diseño y validación de formularios para encuestas.²
• Determinación de competencias profesionales requeridas para tener un mejor desempeño en las actividades relacionadas con el análisis de la situación de salud, la investigación y la vigilancia en salud.³
• Estimación de la proporción de población sexualmente activa de riesgo bajo o estándar.⁴
• Determinación de variables relevantes en un procedimiento para evitar la fuga anastomótica pancreático-intestinal.⁵
• Valoración de los resultados de la introducción de una metodología para la prevención del alcoholismo.⁶
• Búsqueda de consenso sobre predictores a utilizar para el proceso de destete.⁷
• Valoración de la pertinencia y desarrollo de las habilidades pedagógicas en los licenciados en Enfermería que realizan funciones docentes.⁸
• Análisis de validez de contenido en un procedimiento metodológico para caracterizar la integración en redes de servicios de salud del primer nivel de atención.⁹
• Determinación de marcadores y herramientas utilizadas en la evaluación del riesgo preoperatorio del paciente propuesto para intervención quirúrgica electiva no cardiaca.¹⁰

Partiendo de aquí, surge la problemática de analizar si el uso de este método en el campo de las ciencias médicas responde a una eventualidad nacional, o si constituye parte de una tendencia mundial. Este aspecto ya ha sido señalado en investigaciones previas, asociadas al método Delphi en un contexto más abarcador de la investigación científica.¹⁵ Para precisar, en lo adelante se utiliza el concepto de ciencias médicas en el sentido amplio expresado en el codificador de la ciencia, que se establece por la Comisión Nacional de Grados Científicos de la República de Cuba (30001-30008, 30101, 30201, 30301 y 30401).¹⁶ De esta forma, el objetivo de la investigación consiste en caracterizar el uso del método Delphi, en busca de un patrón que facilite la identificación de posibles tendencias de desarrollo en el ámbito de las ciencias médicas.

Todo el análisis se enfoca desde la óptica de las ciencias de la información, específicamente con el empleo de recursos cienciométricos. Ello constituye una herramienta valiosa para el estudio del desarrollo científico, a partir del procesamiento de volúmenes significativos de información.^17,18 En el campo de las ciencias médicas, estos recursos han ganado un espacio importante para identificar tendencias de desarrollo en investigaciones relativamente recientes. Por ejemplo, algunas investigaciones exploran la colaboración científica entre países,¹⁹ el desarrollo de revistas del campo de las ciencias médicas,^20-22 la producción científica en campos específicos,^23-26 el desarrollo científico nacional,^27,28 e incluso el impacto de los resultados científicos en el ámbito de la salud.^29,30

MÉTODOS

Para el desarrollo de la presente investigación se realizó una búsqueda bibliográfica en la base de datos Scopus (www.scopus.com) de Elsevier el día 10 de noviembre de 2017, utilizándose sentencias lógicas que permiten la conformación de una matriz de datos en formato CSV, contentiva de todos los registros que poseen al menos una de las tres terminologías más comunes Delphi method, Delphi study, y Delphi technique, en los títulos, resúmenes, o palabras claves de los metadatos. Ya que el sistema solo exporta archivos de tamaño limitado, la búsqueda se realizó de forma estratificada, se tomó intervalos de a lo sumo 2000 registros. Por ejemplo, la siguiente sentencia lógica produce 1836 registros: TITLE-ABS-KEY("Delphi method" OR "Delphi study" OR "Delphi technique") AND (PUBYEAR < 2003).

Todos los archivos resultantes se ensamblaron en una matriz única de 42 columnas estandarizadas de Scopus (Author, Title, Year, …, EID), y tantas filas como registros resultan de la búsqueda. La matriz no se circunscribió solo a ramas de las ciencias médicas sino a todos los campos del conocimiento científico de la base de datos, con la finalidad de poder establecer comparaciones. Aquí fue permisible un filtrado posterior, restringido al campo de las ciencias médicas. Ello se debió a la existencia de un campo estandarizado consiste en la columna PubMed ID, referida a los registros que aparecen simultáneamente en la base de datos PubMed ( www.ncbi.nlm.nih.gov/pubmed/ ). Este filtrado se comparó con el proveniente de la siguiente sentencia lógica para asegurar una búsqueda más objetiva: TITLE-ABS-KEY("Delphi method" OR "Delphi study" OR "Delphi technique") AND (LIMIT-TO(SUBJAREA, "MEDI")).

Para el desarrollo del estudio, las variables de investigación se centraron en la productividad científica, la distribución por ramas del conocimiento, el impacto por índice de citas, las tendencias investigativas y las redes de colaboración. El procesamiento de los datos se desarrolló utilizándose los recursos estadísticos de Excel en combinación con VOSviewer, un paquete desarrollado en la Universidad de Leiden para la generación y exploración de mapas basados en sistemas de redes de datos (v. 1.6.6, www.vosviewer.com).

RESULTADOS

Fue notorio el grado de aplicación del método de expertos en campos disímiles de la ciencia moderna. En lo particular, el campo de las ciencias médicas comprende el mayor volumen de publicaciones que hacen uso de este método (5282, para el 33,26 %), donde es necesario aclarar que un mismo artículo puede estar relacionado con varias ramas de la ciencia, lo que implica que se cuente más de una vez. En este caso, el porcentaje se calculó respecto a la suma de todos los campos del universo de documentos. La figura 1 revela que las ciencias médicas comprenden aproximadamente la mitad de toda la producción científica mundial.

Un muestreo aleatorio permitió observar que la búsqueda directa en Scopus, restringida a la sub-área "MEDI", produjo un conjunto de documentos algo alejados del objeto específico de la presente investigación. En cambio, el filtrado de la matriz original de datos mediante el campo "PubMed ID", aportó información más estrechamente vinculada con las ciencias médicas. Definitivamente se conformó una base de datos con los metadatos de 4708 documentos. Este análisis no pudo considerarse completamente exhaustivo, ya que una búsqueda complementaria en PubMed produjo 5721 resultados con la misma lógica de búsqueda, o sea un millar de documentos más. De todos modos se continuó utilizando la base de datos proveniente de Scopus, no solo por su mayor impacto, sino también por su mayor volumen de información por cada documento e incluso por considerarse la principal base de datos multidisciplinar y con mayor cobertura geográfica.^18,24,27 Aunque Scopus carece de una interfaz de búsqueda apropiada para el procesamiento de información de carácter biomédico, clínico y de salud que las bases de datos especializadas PubMed y Embase,³¹ la propia conformación de la matriz permitió superar esta carencia ya que puede ser procesada directamente con software apropiados.

Un total de cinco autores publicaron al menos 20 documentos (I. Kirchberger con 20, D. Moher y A. F. Jorm con 24, G. Stucki con 38, y A. Cieza con 44). El primer artículo del campo de las ciencias médicas, relacionado con el método Delphi, vio la luz en 1973 y se debe a G. I. Stiagov. Este trabajo se tituló "El uso del método Delphi para predecir la morbilidad de la población" (O primenenii metoda Delfi v prognozirovanii obshchei zabolevaemosti naseleniia, Zdravookhranenie Rossiiskoi Federatsii, Ministerstvo zdravookhraneniia, RSFSR). Por otra parte, el idioma predominante en las publicaciones fue el inglés con 4312 documentos (91,59 %), seguido del español con 115 (2,44 %), el alemán con 71 (1,1 %), el mandarín con 64 (1,36 %), y el francés con 46 (0,98 %).

La tabla muestra las revistas donde aparecen al menos 20 artículos relacionados con el método Delphi, en el ámbito de las ciencias médicas.

El promedio de citas fue de 26,79 (desviación estándar = 127,51), pero resultó igual a 12,51 para una media recortada al 5 %. Este desbalance obedeció a la concentración de las citas en torno a un subconjunto reducido de documentos. Se contabilizaron cinco artículos con más de 2000 citas, mientras que 13 alcanzaron al menos 1000 (20,02 % del total de citas). Por su parte, 1876 documentos experimentaron a lo sumo 5 citas, mientras que 4527 tuvieron a lo sumo 100 (45,79 % del total de citas). Los valores elevados de curtosis (445,46 con error estándar = 0,07) y asimetría (18,42 con error estándar = 0,04) reflejaron un cumplimiento discreto de la ley de Lotka.³² En efecto, después de tomar coordenadas log-log entre el número de citaciones y la cantidad de documentos respectivos, resultó una nube de puntos con tendencia lineal decreciente (y ~ -1,0064x + 2,6126; R² » 0,7651).

El artículo más citado correspondió a JL. Cummings y colaboradores, bajo el título de The neuropsychiatric inventory: comprehensive assessment of psychopathology in dementia. Este trabajo apareció publicado en la revista Neurology (H Index = 310, SJR = 3,54, vid. http://www.scimagojr.com) en 1994 y hasta el momento del presente estudio acumuló 4100 citaciones, con 5772 en Google Académico. Después de restringir la búsqueda a los datos de la propia matriz (o sea, quien cita también utiliza el método Delphi), entonces no resultó el artículo antes referido. El más citado en este caso correspondió a DM. Fick, y colaboradores, bajo el título Updating the beers criteria for potentially inappropriate medication use in older adults: results of a US consensus panel of experts, publicado en JAMA Internal Medicine (H Index = 291, SJR = 6,68, ibíd.) en 2003 con un total de 1720 citaciones, y 2767 en Google Académico. Las evidencias empíricas sugieren que fue esta la investigación de mayor impacto por índice de citaciones dentro del campo de las publicaciones en ciencias médicas, toda vez que se demanda el uso del método de expertos y especialmente del método Delphi. Por tanto, en términos cienciométricos, la primera constituyó un resultado de mayor trascendencia científica y la segunda un procedimiento de mayor relevancia metodológica.

Toda la producción científica muestra un crecimiento de naturaleza exponencial (y ~ 3,3274e^0,1169x; R² » 0,9314), mientras que el mayor volumen de citaciones se concentra en las dos últimas décadas, como ilustra la figura 2, donde se excluyen el año 2016 y el año en curso para conseguir mayor fiabilidad de los datos. Los promedios de citas se calculan respecto a toda la producción del año correspondiente.

El ritmo de crecimiento de la producción científica relacionada con el método Delphi, si bien ofrece un testimonio plausible de interés cada vez mayor, también se relaciona con el mayor volumen de información que se registra cada año en la base de datos. Por otra parte, es importante resaltar que el número de coautores ha ido aumentando de forma lineal (y ~ 0,0968x + 1,5; R² » 0,806), con un promedio de 2 en los años 70, hasta un promedio de 5 en la actualidad. De aquí puede inferirse que existe tendencia al trabajo colectivo e interdisciplinario.

También un aspecto interesante dimanó de las interrelaciones entre palabras claves, declaradas por los propios autores. La figura 3 contiene un gráfico de densidad generado por VOSviewer.El análisis refirió la co-ocurrencia de palabras claves declaradas por los autores, donde el conteo se tomó de forma absoluta con una frecuencia no menor que 10. Se obtuvieron 155 palabras claves de las cuales se eliminaron tres reiterativas (Delphi survey, Delphi consensus y Delphi approach). El método de normalización se seleccionó con bases en asociaciones fuertes, según los enlaces entre palabras claves (Method = Association strength, Weights = Links). El desplazamiento hacia los colores rojos y azul indicó la mayor y menor densidad, respectivamente.

Como puede observarse, existe un núcleo muy denso y centralizado que enlaza el método Delphi con la idea tradicional de consenso, de modo que otras perspectivas más flexibles como la estabilidad de criterio no han ganado espacio perceptible.³³ En general se tipifican 25 clústeres lo cual dificulta la identificación de tendencias investigativas, pero algunos de ellos tienen como centro otros núcleos importantes que son visibles en el diagrama de densidad, tales como Nursing, Education, Quality of life, Patient safety, y Rehabilitation. Por tanto, el uso del método Delphi no se concentra en torno a investigaciones médicas propiamente dichas, sino en torno a la enfermería, la educación médica, y las ciencias de la salud.

Por último, también fue importante explorar la posible existencia de colegios invisibles, a partir de redes de cooperación y nexos de co-autoría en las investigaciones reportadas. Con el uso de VOSviewer, la figura 4 revela la presencia de 15 clústeres de colaboración (seis de ellos con más de 20 autores y 11 con menos de diez). En este gráfico, el tamaño de las burbujas es proporcional a la producción científica individual. Nótese que mayor productividad no significa mayor grado de colaboración. Por ejemplo, A. Cieza mostró un elevado número de documentos con menor grado de colaboración que R. Christensen, este último muy vinculado a tres colegios invisibles en el segundo cuadrante del gráfico.

Durante los últimos años ha crecido el interés por el estudio de los colegios invisibles, particularmente en estudios cienciométrios vinculados a las ciencias médicas.^34,35 Son muchas las problemáticas asociadas a este concepto, entre ellas la relacionada con la determinación de los intereses comunes de este tipo de comunidad científica, lo cual comúnmente se reduce al empleo de técnicas estadísticas.³⁶ El paquete VOSviewer no permite estudios de este tipo de manera directa, aunque exporta una matriz con el listado de integrantes por clúster junto a otros datos. Debido a la cantidad relativamente pequeña de los clústeres (15) y de la cantidad de integrantes (al sumo 36 autores), fue posible un estudio manual que permitió aislar una base de datos para cada colegio invisible. Con ello se logró combinar en VOSviewer un análisis de palabras claves con otro relacionado con los títulos y resúmenes de cada documento. No se logró identificar ningún patrón claro en ninguno de los colegios invisibles, pero al eliminar términos afines a "método Delphi" y "consenso", en la mayoría de los casos las conexiones se centraron en "recomendation". En fin, las evidencias sugirieron que los colegios invisibles identificados se vincularon a campos muy variados de las ciencias médicas, principalmente centrados en recomendaciones para la toma de decisiones.

Para estudios posteriores pudo identificarse un campo fértil, motivado por la determinación de las líneas de investigación de los colegios invisibles identificados. El alcance del presente estudio solo permitió avizorar que la mayoría de estos grupos trabajó en campos diversos de las ciencias médicas, pero centrados principalmente en el establecimiento de recomendaciones para la toma de decisiones. Por tanto, el estudio mostró que una taxonomía de colegios invisibles basada en el método Delphi no toma como criterio el subcampo específico de las ciencias médicas en que trabajan los investigadores, sino los objetivos de las metodologías que estos implementan durante sus estudios. Es decir, los grupos con intereses comunes basaron sus trabajos enfatizando más el para qué y menos el qué.

No constituye una singularidad el uso del método Delphi en investigaciones cubanas del campo de las ciencias médicas, sino la manifestación de un fenómeno de alcance mundial. A partir de los resultados obtenidos puede inferirse que el método Delphi ha ganado un espacio amplio en investigaciones de este importante campo del conocimiento científico, pero con mayor predominio en los ámbitos de la enfermería, la educación médica, y las ciencias de la salud. Si bien el número de resultados de autores cubanos alcanza un volumen discreto, este permite un posicionamiento dentro del primer tercio del total de países registrados, lo cual es loable si se compara con el volumen poblacional.

El número de trabajos donde se hace uso de este método presenta de manera bastante estable un crecimiento diacrónico de tipo exponencial, lo cual da cuenta de un grado superior de interés por su utilización durante los últimos años. Indagar acerca de posibles tendencias de desarrollo constituye un problema abierto, el cual requiere del establecimiento de una estrategia para la minería de datos, principalmente en los campos de los títulos, resúmenes y palabras claves. Si bien VOSviewer ofrece recursos gráficos de visualización global, un estudio adecuado debe establecer pautas que permitan explorar tendencias basadas en clasificaciones previas. Por ejemplo, partir de una clasificación ya establecida,¹³ como puede ser Delphi clásico o convencional, Delphi en tiempo real, y Delphi político, a fin de analizar el devenir histórico de cada uno de ellos en el campo de las investigaciones en ciencias médicas.

La utilización del método ocurre en la actividad científica de grupos de investigación conectados de manera compleja en una red de 15 colegios invisibles, donde un conjunto de autores se destaca por la elevada producción científica mientras que la inmensa mayoría apenas posee una publicación aislada. Además, el número de citaciones también se concentra en torno a una pequeña minoría de los documentos analizados. La trascendencia de los trabajos más citados en la literatura no se debe específicamente a su metodología, sino a los resultados específicos de las investigaciones. Por tanto, es necesario incrementar los estudios dirigidos a evaluar la pertinencia de este método, así como a delimitar sus fortalezas y oportunidades de mejora en las investigaciones de las ciencias médicas.

Otro aspecto relevante consiste en el vínculo directo del método Delphi con el enfoque clásico del consenso experto. Pocas investigaciones utilizan conceptos más flexibles y alejados de la idea apriorística de convergencia de criterios. Asimismo, tampoco se observa un número notable de investigaciones que sigan otros enfoques modernos registrados en la literatura, tales como e-Delphi,Delphi Online, Delphi Fuzzy, Hybrid Delphi,Real-time Delphi, Decision Delphi,Technological Delphi, max-min Delphi, entre otros.^14,15,37,38 Mucho queda por hacer en el campo de la metodología de la investigación, y las técnicas cienciométricas constituyen un recurso valioso para identificar problemas y evaluar tendencias de desarrollo.

CONSIDERACIONES FINALES

El uso del método Delphi en investigaciones médicas cubanas no es una eventualidad local, sino que responde a una tendencia mundial acrecentada durante los últimos años. No se trata de un método propio de este campo del saber científico, sino de un recurso proveniente del campo de la prospectiva que ha encontrado aplicaciones bajo condiciones específicas. Principalmente, la implementación de este método ha tenido lugar cuando se requiere el consenso de expertos para la toma de decisiones.

Llama la atención el predominio de estudios basados en el enfoque clásico lo cual, en sentido positivo, puede traducirse como oportunidad para el desarrollo de investigaciones que hagan uso de otros enfoques más flexibles. Además, en pocas ocasiones se realizan análisis retrospectivos que reflejen posibles carencias en el diseño metodológico, específicamente en elementos de naturaleza epistémica que permitan dilucidar hasta dónde llega la fiabilidad y la validez de los resultados, hasta qué punto la utilización del método es verdaderamente pertinente y relevante para el estudio, qué entender por experto en este campo específico de la ciencia, entre otros aspectos.

Quedan por delante otros caminos por recorrer, si se toma en cuenta algunas problemáticas emergentes del presente estudio. En particular, es interesante retomar la identificación de los colegios invisibles, a fin de determinar sus principales líneas de investigación, analizar las metodologías donde han imbricado el método Delphi y su correspondiente contexto, comparar la forma en que han sido seleccionados los expertos, entre otras ideas.

Declaración de conflicto de intereses

El autor declara no tener conflictos de intereses.

REFERENCIAS BIBLIOGRÁFICAS

1. Camacho VJ. Redefinición y establecimiento de una escala para el diagnóstico del síndrome de insuficiencia respiratoria aguda [tesis doctoral en Internet]. Ciego de Ávila. Facultad de Ciencias Médicas Dr. José Assef Yara. 2005 [citada 27 nov 2017]. 38 p. Disponible en: http://tesis.repo.sld.cu/247/1/Doctorado_de_camacho1.pdf

2. Espinosa AA. Cuidados paliativos a enfermos adultos terminales en la atención primaria de salud [tesis doctoral en Internet]. Santa Clara. Instituto Superior de Ciencias Médicas Villa Clara "Dr. Serafín Ruiz de Zárate"; 2006 [citada 27 nov 2017]. 158 p. Disponible en: http://tesis.repo.sld.cu/116/1/EspinosaRoca.pdf

3. Perdomo IT. Estrategia metodológica para evaluar competencias profesionales en especialistas de higiene y epidemiología [tesis doctoral en Internet]. La Habana. Escuela Nacional de Salud Pública; 2007 [citada 27 nov 2017]. 65 p. Disponible en http://tesis.repo.sld.cu/74/1/Perdomo_tesis(28.1.08).pdf

4. Galbán E. Prevalencia y frecuencias relativas de las ITS en la ciudad de Manaus, Brasil 2005 [tesis doctoral en Internet]. La Habana. Instituto de Gastroenterología. 2008 [citada 27 nov 2017]. 183 p. Disponible en: http://tesis.repo.sld.cu/198/1/Galban_Garc%C3%ADa.pdf

5. Lorenzo JG. Procedimiento para evitar la fuga anastomótica pancreático-intestinal en la duodenopancreatectomía cefálica [tesis doctoral en Internet]. Holguín. Hospital Universitario "Lucía Íñiguez Landín". 2009 [citada 27 nov 2017]. 192 p. Disponible en: http://tesis.repo.sld.cu/324/1/INTRODUCCI%C3%93N_EN_ADELANTE.pdf

6. Betancourt A. Intervención comunitaria para la prevención del alcoholismo en jóvenes guantanameros [tesis doctoral en Internet]. La Habana. Escuela Nacional de Salud Pública. 2010 [citada 27 nov 2017]. 158 p. Disponible en: http://tesis.repo.sld.cu/156/1/AnselmaBetancourtP.pdf

7. Iglesias NR. Protocolo para el destete de pacientes acoplados a ventilación mecánica [tesis doctoral en Internet]. Camagüey. Universidad de Ciencias Médicas "Carlos J. Finlay". 2011 [citada 27 nov 2017]. 158 p. Disponible en: http://tesis.repo.sld.cu/554/1/IglesiasAlmanzaNuria.pdf

8. Medina I. Programa educativo para el desarrollo de habilidades pedagógicas en los profesionales de enfermería [tesis doctoral en Internet]. La Habana. Ministerio de Salud Pública. 2012 [citada 27 nov 2017]. 155 p. Disponible en: http://tesis.repo.sld.cu/801/1/Dr._Inarvis_Medina.pdf

9. López P. Procedimiento metodológico para caracterizar la integración en redes de servicios de salud del primer nivel de atención. Cuba, 2013 [tesis doctoral en Internet]. La Habana. Escuela Nacional de Salud Pública. 2013 [citada 27 nov 2017]. 210 p. Disponible en: http://tesis.repo.sld.cu/829/1/L%C3%B3pez_Puig.pdf

10. Fuentes Z. Modelos multidimensionales pronósticos de mortalidad quirúrgica en intervenciones electivas no cardiacas [tesis doctoral en Internet]. Camagüey. Universidad de Ciencias Médicas "Carlos J. Finlay". 2014 [citada 27 nov 2017]. 122 p. Disponible en: http://tesis.repo.sld.cu/866/1/Zaily_Fuentes_D%C3%ADaz.pdf

11. Cruz M. El método Delphi en las investigaciones educacionales. La Habana: Editorial Academia. 2009.

12. Varela-Ruiz M, Díaz-Bravo L, García-Durán R. Descripción y usos del método Delphi en investigaciones del área de la salud. Inv Ed Med [Internet]. 2012 [citado 27 nov 2017];1(2):90-5. Disponible en: http://www.scielo.org.mx/pdf/iem/v1n2/v1n2a7.pdf

13. Asselin M, Harper M. Revisiting the Delphi technique. Implications for nursing professional development. J Nurses Prof Dev [Internet]. 2014 [citado 27 nov 2017];30(1):11-5. Disponible en: http://dx.doi.org/10.1097/01.NND.0000434028.30432.34

14. Hasson F, Keeney S. Enhancing rigour in the Delphi technique research. Technol Forecast Soc Change [Internet]. 2011 [citado 27 nov 2017];78(9):1695-704. Disponible en: http://dx.doi.org/10.1016/j.techfore.2011.04.005

15. Cruz M, Rúa JA. Surgimiento y desarrollo del método Delphi: una perspectiva cienciométrica. Biblios [Internet]. 2018 [citado 15 may 2018];71:90-107. Disponible en: http://dx.doi.org/10.5195/biblios.2018.470

17. Papadimitriou F, Kidman G. Statistical and scientometric analysis of international research in geographical and environmental education. Int Res Geogr Environ Educ [Internet]. 2012 [citado 27 nov 2017];21(1):11-20. Disponible en: http://dx.doi.org/10.1080/10382046.2012.639153

18. Ochoa A, Muñoz A, Morales H. Perspectivas de la bibliometría en las ciencias médicas. Arch Med Fam [Internet]. 2016 [citado 27 nov 2017];17(1):1-3. Disponible en: http://www.medigraphic.com/pdfs/medfam/amf-2016/amf161a.pdf

19. Alonso A, Tannuri EF, Cabrini MC, Pandiella A, Aleixandre R. Un análisis bibliométrico en el área de la medicina: colaboración científica entre Brasil y España (2002-2011). Inv Bibliot [Internet]. 2016 [citado 27 nov 2017];30(69):205-9. Disponible en: http://www.scielo.org.mx/pdf/ib/v30n69/0187-358X-ib-30-69-00205.pdf

20. Corrales-Reyes IE, Acosta-Batista C, Reyes-Pérez JJ, Fornaris-Cedeño, Y. Análisis bibliométrico de MEDICC Review. Período 2010-2015. Educ Med [Internet]. 2017 [citado 27 nov 2017]. Disponible en: http://dx.doi.org/10.1016/j.edumed.2017.04.015

21. Dalve D, Ashok SP. Scientometric study of contribution to the journal of experimental medicine. Knowledge Librarian [Internet]. 2016 [citado 27 nov 2017]; 3(6):39-45. Disponible en: http://www.klibjlis.com/3.6.6.pdf

22. Valdés R, Fundora-Mirabal JA, Cárdenas-de-Baños L, Bencomo-Díaz D, González-Losada C, Pacheco-Mendoza J, et al. Revista Habanera de Ciencias Médicas: una mirada desde la Cienciometría. Rev Hab Cienc Med [Internet]. 2017 [citado 27 nov 2017];16(1):38-56. Disponible en: http://scielo.sld.cu/pdf/rhcm/v16n1/rhcm06117.pdf

23. Sánchez M, Vega JC. La enfermedad de Alzheimer desde un análisis métrico de la producción científica de Cuba. Rev Cubana Inf Cienc Salud [Internet]. 2016 [citado 27 nov 2017];27(1):35-55. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2307-21132016000100004&lng=es

24. Munnolli SS, Pujar SM. Scientometric study of Indian cancer research based on Scopus database. J Sci Inf Manag [Internet]. 2017 [citado 27 nov 2017]. Disponible en: http://dx.doi.org/10.1080/09737766.2017.1284729

25. Bernabò N, Greco L, Mattioli M, Barboni B. A scientometric analysis of reproductive medicine. Scientometrics [Internet]. 2016 [citado 27 nov 2017];109(1):103-20. Disponible en: http://dx.doi.org/10.1007/s11192-016-1969-3

27. Zacca González G, Vargas Quesada B, Chinchilla Rodríguez Z, Moya Anegón F. Producción científica cubana en medicina y salud pública: Scopus 2003-2011. TransInformação [Internet]. 2014 [citado 27 nov 2017];26(3):281-93. Disponible en: http://www.scielo.br/pdf/tinf/v26n3/0103-3786-tinf-26-03-00281.pdf

28. Arencibia Jorge R, Corera Alvarez E, Chinchilla Rodríguez Z, Moya Anegón F. Scientific output of the emerging Cuban biopharmaceutical industry: a scientometric approach. Scientometrics [Internet]. 2016 [citado 27 nov 2017];108(3):1621-36. Disponible en: http://dx.doi.org/10.1007/s11192-016-2023-1

29. Cañedo R, Nodarse M, Cruz J, Celorrio I, Parra E. Impacto internacional de la investigación en salud de Cuba según áreas del conocimiento, Scopus, 2009-2013. Corr Cient Med [Internet]. 2015 [citado 27 nov 2017];19(3):588-99. Disponible en: http://scielo.sld.cu/pdf/ccm/v19n3/ccm24315.pdf

30. Zacca González G, Chinchilla Rodríguez Z, Vargas Quesada B, de Moya Anegón F. Patrones de comunicación e impacto de la producción científica cubana en salud pública. Rev Cub Salud Publica [Internet]. 2015 [citado 27 nov 2017];41(2):200-216. Disponible en: http://scielo.sld.cu/pdf/rcsp/v41n2/spu03215.pdf

31. Cañedo R, Nodarse M, Labañino N. Similitudes y diferencias entre PubMed, Embase y Scopus. Rev Cuba Inf Cienc Salud [Internet]. 2015 [citado 27 nov 2017];26(1):84-91. Disponible en: http://scielo.sld.cu/pdf/ics/v26n1/rci09115.pdf

32. Lotka AJ. The frequency distribution of scientific productivity. J Wash Acad Sci [Internet]. 1926 [citado 27 nov 2017];16(12):317-323. Disponible en: http://www.jstor.org/stable/24529203

33. Landeta J. El método Delphi: una técnica de previsión para la incertidumbre. Barcelona: Editorial Ariel; 1999.

34. Machado MO, López J. Producción científica relativa a los servicios de Información de medicamentos en la Web of Science. Medic Electrón [Internet]. 2015 [citado 27 nov 2017];19(2):63-71. Disponible en: http://scielo.sld.cu/pdf/mdc/v19n2/mdc02215.pdf

35. Naranjo Estupiñán NF, Mora QJ, Jaimes Vega D, Idrovo AJ. Redes de coautoría de investigación en salud pública en Santander. Biomédica [Internet]. 2014 [citado 27 nov 2017];34:2. Disponible en: http://dx.doi.org/10.7705/biomedica.v33i2.779

37. Davidson PL. The Delphi technique in doctoral research: considerations and rationale. Rev High Educ Self Learn [Internet]. 2013 [citado 27 nov 2017];6(22):53-65. Disponible en: https://research.phoenix.edu/sites/default/files/publication-files/The%20Delphi%20technique%20in%20doctoral%20research_1.pdf

38. Mullen PM. Delphi: myths and reality. J Health Organ Manag [Internet]. 2003 [citado 27 nov 2017];17(1):37-52. Disponible en: http://dx.doi.org/10.1108/14777260310469319

Recibido: 15 de diciembre de 2017.
Aprobado: 1 de febrero de 2018.

Miguel Cruz Ramírez. Departamento de Lic. Matemática. Universidad de Holguín. Holguín, Cuba. ]]> Correo electrónico: mcruzr@uho.edu.cu