Empleo del método Delphi en investigaciones sobre salud publicadas en revistas científicas cubanas
Use of the Delphi method in investigations on health published in Cuban scientific magazines
]]> MSc. Margarita García Valdés,I Dr. Mario Suárez MarínII
I Facultad "Dr. Salvador Allende". Universidad de Ciencias Médicas de La Habana. La Habana, Cuba.
II Hospital General Docente "Enrique Cabrera". La Habana, Cuba.
Introducción: el método Delphi es útil para obtener consenso en la consulta a expertos, y su uso en investigaciones sobre salud se incrementa internacionalmente.
Objetivos: conocer las investigaciones publicadas en revistas científicas cubanas en el campo de la salud que emplearon el Delphi y describir cómo reportaron el proceso a partir del análisis de las tareas y acciones que conforman el método.
Métodos: se examinaron las investigaciones publicadas en revistas científicas cubanas de salud que emplearon el Delphi y se describieron las características del reporte, a partir de la búsqueda en agosto de 2012 en SciELO Cuba.
Resultados: los parámetros con mayor presencia y los mejor descritos fueron el número de expertos consultados, los criterios de selección, la composición del panel de expertos, el número de rondas, el método de selección del cuestionario inicial y el número y la descripción detallada de los acápites del cuestionario aprobados. El tiempo de la aplicación fue prolongado. La ausencia de descripción de la forma de retroalimentación y del criterio de consenso fue notable, los cuales constituyen importantes aspectos de la metodología. ]]>
Conclusiones: el uso de este método necesita ser extendido en investigaciones sobre salud en Cuba y se requiere perfeccionar el reporte. Los parámetros utilizados en este estudio pueden ser una guía para futuras publicaciones que reporten la utilización del método Delphi.
Palabras clave: método Delphi, investigaciones en salud, revistas científicas cubanas.
Introduction: the Delphi method is useful to reach a consensus when consulting experts that's why its use in health research is increasing internationally.
Methods: investigations published in Cuban Health Scientific Journals where the Delphi method was used were examined to describe the characteristics of the reports. The search started in August 2012 in SciELO Journals.
Results: in the study, the best described parameters were the number of consulted experts, the selection criteria, the composition of panel of experts, the method of selection of the initial questionnaire and the number and detailed description of the items in the questionnaire. The time of application was long. The study showed an evident lack of the description of the experts' feedback and consent criteria, being both important aspects of the methodology.
Conclusions: it is important to increase the use of the Delphi method in Cuban scientific research and the report needs to be improved as well. The parameters used in this study can be a guide for future scientific article that reports the use of the Delphi method.
Key words: Delphi method, health scientific research, Cuban scientific journals.
]]>
INTRODUCCIÓN
Consultar a especialistas en calidad de expertos es un proceder común en la investigación científica. En dependencia del diseño de una investigación, este sondeo puede proponerse solamente obtener la mayor información posible sobre un asunto (típico en investigaciones exploratorias cualitativas) o requerir lograr un consenso entre las opiniones de los encuestados.
Se considera que el consenso es el acuerdo general de un grupo a partir del procesamiento de los criterios de sus miembros. En la práctica cotidiana puede ser tan simple como contar y sumar las opiniones a favor de un parecer, pero en la investigación científica esto se logra a partir del procesamiento estadístico de las diferencias y coincidencias entre las apreciaciones individuales de los miembros de un panel de expertos.1-4
Los métodos de consenso parten de acercamientos cualitativos para, a través del procesamiento estadístico, obtener una opinión grupal general.1 Son métodos para obtener el acuerdo general sobre los grupos nominales, el método Delphi y las conferencias de desarrollo de consenso. Estas últimas requieren de recursos que no están a la disposición de la mayoría de los investigadores y son habitualmente convocadas de manera centralizada. Por ejemplo, la conferencia sobre competencias: direcciones futuras en educación y acreditación en psicología profesional celebrada en Arizona en el año 2002, logró acuerdos acerca de los dominios y niveles de competencia a desarrollar por el psicólogo profesional y fue convocada por instituciones educativas y profesionales de la psicología de toda Norteamérica.5 Son también técnicas de consenso el Brainstorming, el Brainwriting, la técnica Phillips 6/6 y el Fórum Comunitario.6
El Delphi es una metodología estructurada para recolectar sistemáticamente juicios de expertos sobre un problema, procesar la información y, a través de recursos estadísticos, construir un acuerdo general de grupo.
Permite utilizar la experticia para predecir o pronosticar cómo se comportaría un fenómeno en el futuro o para definir o delimitar un objeto, fenómeno o situación, cuando es improbable o muy difícil acceder directamente a estos para su descripción. Igualmente cuando la evidencia es insuficiente, no publicada, excesiva o controvertida y se requiere la interpretación de los expertos en el tema. En ambos casos el Delphi contrasta y combina criterios individuales e impide indeseables decisiones unilaterales del investigador.1
Se han destacado sus ventajas para obtener el acuerdo grupal entre otras formas de consulta a expertos ya que: permite encuestar a un grupo de participantes que nunca podrían reunirse para construir un consenso estén o no geográficamente dispersos y el empleo del correo electrónico como vía disminuye los costos y potencia su utilidad, lo que posibilita que gran número de individuos de situaciones y áreas de especialización diversas puedan ser incluidos. Se le reconoce como mayor beneficio que reduce la influencia del líder en la interacción del grupo, y evita el dominio en el acuerdo general de lo que consideren los que tienen mayor autoridad.4,7
Este método fue creado por la Corporación Rand en los Estados Unidos en la década del 50 del pasado siglo para investigar el impacto de la tecnología en la guerra. Su nombre es la traducción al inglés de Delfos, antigua ciudad griega que acogió al Templo de Apolo, lugar donde se consultaba a la Pitonisa sobre el futuro de algunos asuntos. El Oráculo de Delfos estuvo rodeado por una leyenda de "aciertos" que le garantizó gran influencia en la vida y en la política griega durante siglos.2,3
]]> En 1958 se publicó un artículo que expone la fundamentación científica del método Delphi8 y en 1975 se reportaron resultados de cientos de estudios que lo emplearon en 20 años.9Se reconocen cuatro principios básicos que rigen la realización de un Delphi:1-4 Este es un proceso iterativo consistente en rondas sucesivas de consultas para que los expertos revisen sus opiniones; se produce la retroalimentación individualmente a cada participante de las valoraciones del resto de los miembros del panel en cada ronda, para contrastar sus criterios con los del grupo y cambiar o no el suyo. La aplicación requiere del anonimato para las respuestas individuales y su propósito es la construcción de un consenso o acuerdo general de grupo a partir del procesamiento estadístico de las diferencias y coincidencias entre las apreciaciones individuales y sus modificaciones a través de las rondas.
La realización de un estudio Delphi implica un algoritmo de tareas y acciones sucesivas cuya ejecución rigurosa repercute en la calidad de los resultados, como se muestra a continuación:4
]]> La complejidad del Delphi, y fundamentalmente su variabilidad derivada de sus amplias posibilidades de adaptación a la especificidad de cada investigación, dificulta evaluar la calidad de los trabajos que lo utilizan y considerar si el proceder cumple con rigurosidad los requerimientos metodológicos. En la literatura científica aparecen algunos reclamos de estandarización de requisitos7,10 por la gran variabilidad existente en las investigaciones que se valen de este método, en cuanto a algunos parámetros: la selección de expertos, las características del cuestionario, el número de rondas, la forma de retroalimentación, el procesamiento estadístico, la definición de acuerdo general de grupo, etcétera.I. Fase preparatoria.
1) Selección de los expertos.
2) Preparación del instrumento que va a ser sometido a la consideración de los expertos.
3) Decisión de la vía de consulta.]]> II. Fase de consulta.
4) Realización de las rondas de consulta.
5) Procesamiento estadístico sucesivo.
6) Retroalimentación de los resultados del procesamiento de las respuestas.
7) Rescate de los expertos que no responden.III. Fase de consenso.
8) Construcción del consenso.
9) Reporte de resultados.
Para evaluar la calidad y el rigor en la aplicación de un método que se inscribe en la metodología cualitativa hay que atender a indicadores de coherencia del diseño y especificidad con la que se use cada parámetro, independiente de la necesaria variación que exista en cada caso. Se requiere que se informe detallada y ampliamente que el recuento de la metodología empleada sea exhaustivo, lo que permite además que sus resultados sean transferibles.6
Se ha empleado para investigar en los más diversos campos: defensa, educación, agricultura, salud, turismo etcétera.2,3 En el campo de la salud ha permitido obtener consenso sobre criterios diagnósticos y terapéuticos en situaciones específicas, indicadores de calidad de servicios, aplicación y evaluación de tecnologías, y establecer prioridades tanto en vías de desarrollo como en la investigación y en la educación médica pre y posgraduada.5,11
En Cuba se aplicó por primera vez en la década del 80 para la generalización de una política de informatización.12 Su uso es más frecuente en investigaciones relacionadas con el turismo y la educación.2
La aplicación del método Delphi en la investigación en salud ha ido en aumento en la última década;7,13 sin embargo, en Cuba pocas publicaciones reportan su uso en este ámbito.
Fue por eso nuestro interés en conocer las investigaciones publicadas en revistas científicas cubanas en el campo de la salud que emplearon el Delphi y describir cómo reportaron el proceso a partir del análisis de las tareas y acciones que conforman el método.
MÉTODOS
]]> Se realizó una búsqueda en agosto de 2012 en la colección electrónica SciELO Cuba, con el término "Delphi", sin condición de búsqueda y sin restricción de fecha. Esta amplitud obedeció a la intención de obtener el máximo posible de artículos publicados con resultados de investigaciones, en las cuales se consultara a expertos a través de este procedimiento y sobre temas relacionados con el sector de la salud.Se recuperaron 13 artículos, todos originales, que luego de un proceso manual de selección y eliminación se redujeron a seis. Los motivos de exclusión de los siete artículos fueros los siguientes: uno estaba referido al Delphi lenguaje de programación; dos no ofrecían ninguna información sobre el proceso y las características de aplicación del Delphi y solo reportaban los resultados; dos utilizaron el procedimiento para consultar a los expertos sobre temas no relacionados con salud y dos realizaron una sola consulta a los expertos, por lo que no consideramos que fueran un estudio Delphi al no reunir una característica esencial (no hubo al menos una segunda consulta donde los expertos pudieran reevaluar su respuesta a partir de la retroalimentación de las opiniones del grupo).
Los resultantes se procesaron independientemente, con la revisión del texto completo para obtener la información referida a las categorías elaboradas a partir del análisis de revisiones sistemáticas sobre el uso del Delphi encontradas en la literatura; estas fueron:
I. Características de la aplicación.
]]>1. Tiempo total de aplicación.
2. Área geográfica de alcance.
3. Procedimiento de administración de la encuesta.
4. Propósito del consenso.
II. Características de los expertos consultados.1. Número de expertos consultados.
2. Criterios para la selección de expertos.
3. Composición del panel de expertos.
4. Cambios del número de expertos entre rondas.
III. Características del cuestionario utilizado.]]> 1. Tipo de preguntas.
2. Número de ítems del cuestionario.
3. Cambios al cuestionario entre rondas.
4. Método de selección del cuestionario inicial.IV. Descripción del proceso de consulta.
1. Número de rondas realizadas.
2. Control del anonimato o cuasi anonimato.
3. Modalidad de retroalimentación.
4. Definición de consenso. ]]> 5. Resultado final del panel de experto enunciando cada acápite aprobado.
RESULTADOS
Los seis artículos analizados fueron publicados en cuatro revistas: dos en Educación Médica Superior, dos en la Revista Cubana de Higiene y Epidemiología, uno en la Revista Cubana de Medicina General Integral y uno en la revista MediSur.
Según el año de publicación, el primer artículo que reportó el uso del método Delphi publicado en revista científica en salud en Cuba apareció en el año 2005.14 Los cinco siguientes fueron publicados como sigue: uno en 2007, dos en 2009 y dos en 2012. En cada una de estas investigaciones se consultaron a expertos para obtener consenso en asuntos diferentes:
- Delimitar las funciones específicas para un tipo de personal de salud. ]]> - Delimitar las competencias requeridas en un tipo de personal de salud.
- Delimitar las características del docente para un tipo de estudios de posgrado.
- Delimitar los indicadores de calidad de un tipo de centro de salud.
- Delimitar los indicadores de calidad de un subprograma de salud.
- Modificar una guía para la evaluación de la docencia de pregrado en salud.
Como se muestra en la tabla 1, todos los artículos reportaron el tiempo de aplicación del método, el cual fue prolongado; cuatro de ellos consumieron más del año y el más largo alcanzó los dos años para su terminación. En dos no se precisa claramente el alcance del área geográfica a que pertenecen los expertos consultados; uno se realiza consultando a expertos de una única institución, lo cual puede comprometer el anonimato de las respuestas individuales que puede quedar fuera del control de los investigadores al existir elevadas posibilidades de intercambio entre los participantes y no neutraliza la influencia de líderes de opinión. No se consultaron expertos internacionales. En cuatro artículos no se reporta la vía de administración de la encuesta. No hubo encuestas realizadas a través de teléfono, fax o el uso de herramientas para responder en línea. Ninguno tuvo como objetivo realizar un pronóstico. En todos los casos se utilizó para definir o delimitar el asunto a dirimir.
La tabla 2 refleja que todos los artículos reportaron la composición del panel de expertos. Su número osciló entre 15 y 25 miembros. Los años de experiencia constituyeron criterio de selección utilizado en el 100 % de los artículos revisados. En ningún caso se utilizan estándares elevados de inclusión en el panel, como la cantidad de publicaciones o investigaciones relacionadas con el tema de análisis. Como era de esperar los médicos y enfermeros son los profesionales más representados. Dos no reportan si hubo cambios en el número de participantes entre rondas; solo refirieron cambios el 50 % de los estudios, tanto deserciones (2) como incrementos (1).
En un artículo se describe el uso de una acción dirigida al rescate de los que no responden "se les hizo llegar", pero no hay otros comentarios referidos a aumentar la participación o evitar el abandono de los participantes; solo uno mencionó la diferencia entre número de expertos convocados y el de participantes (91/25).
Los otros aspectos del proceso de consulta se presentan en la tabla 4 donde resalta la ausencia de información sobre cómo realizan la retroalimentación en la mitad de los artículos y que no esté presente en dos de ellos el criterio que utilizaron para llegar al consenso, parámetros esenciales para evaluar la calidad del procedimiento.
DISCUSIÓN
El objeto de consenso con el empleo del Delphi en los seis artículos analizados puede ser resumido en dos grupos: tres definen indicadores para evaluar un tipo de actividad en el sector de la salud y tres delimitan algún aspecto requerido en el personal de salud, dos de ellos relacionados con la actividad docente y cuatro con la asistencial; es mínimo si lo comparamos con los asuntos que se acuerdan en salud con su uso en los últimos años.4,11
En la revisión de la literatura encontramos dos artículos con objetivos similares al presente, titulados "Usando la técnica de Delphi para determinar qué resultados medir en los ensayos clínicos. Recomendaciones para el futuro basado en una sistemática revisión de los estudios existentes",7 publicado en PLoS Medicine en enero de 2011, y "Usando y reportando el método de Delphi para seleccionar indicadores de calidad de la atención de salud: una revisión sistemática",8 en PLoS ONE en junio de 2011.7,10 En ambos se realizaron búsquedas, con condiciones restringidas, de estudios Delphi en bases de datos electrónicas (PUBMED, EMBASE y Medline) sobre temas muy específicos del campo de la salud. Una diferencia que resalta es el número de reportes de investigación publicados que pudieron analizar (15 de 665 y 80 de 1 148 respectivamente) que en nuestra búsqueda, sin restricción de condiciones, en SciELO Cuba fue 6 de 13. El primero de ellos analiza la calidad de los reportes de investigaciones que utilizan el Delphi solo en el sentido de la ausencia/presencia de los parámetros mencionados, pero el segundo describe detalladamente la forma en que se reporta cada parámetro.
Comparativamente los parámetros con mayor presencia y mejor descritos en los dos estudios y el presente fueron: el número de expertos consultados, los criterios para su selección, la composición del panel, el número de rondas realizadas, el número de acápites del cuestionario y el método de selección del cuestionario inicial.
Resalta la diferencia con el estudio sobre indicadores de calidad antes mencionado, en cuanto al tiempo de duración que tuvo un promedio de 20 semanas y un máximo de 28 semanas, mientras en los artículos cubanos que revisamos el tiempo promedio ascendió a 17 meses y el tiempo máximo fue de 24 meses. Los artículos de las publicaciones cubanas no informan lo referido a la deserción de expertos y a las acciones para rescatarlos.
]]> Igualmente se hallaron limitaciones para valorar el proceso de realización del Delphi en todas sus fases en los tres estudios; las más llamativas son la ausencia de descripción de la forma de realización de la retroalimentación, dato esencial para comprender cómo ocurre la construcción del consenso en un Delphi, y la ausencia del propio criterio de consenso que utilizaron los investigadores, los que constituyen importantes aspectos de la metodología.Se concluye que el método Delphi fue útil para obtener el acuerdo general donde se requirió; sin embargo, nuestros resultados indican que su uso necesita ser extendido en investigaciones sobre salud en el contexto cubano. Se requiere perfeccionar el informe de investigación. Este proceder es complejo y demanda al publicar describir ampliamente los detalles del proceso, para que sea factible la apreciación de su veracidad, pertinencia y consistencia metodológica y sus resultados sean transferibles. Es conveniente que los investigadores expliquen cada elección metodológica y discutan los efectos que estas pueden tener en los resultados, con énfasis en la forma de realización de la retroalimentación y del criterio de consenso.
Los parámetros utilizados para el análisis en este estudio permitieron comprender el proceso y las características de aplicación del Delphi en estos artículos y pueden ser una guía para futuras publicaciones.
REFERENCIAS BIBLIOGRÁFICAS
1. Jones J, Hunter D. Qualitative Research: Consensus methods for medical and health services research. BMJ. 1995;311-65.
2. Cruz M, Campano A. El procesamiento de la información en investigaciones educacionales. La Habana: Educación Cubana; 2008.
3. Astigarraga E. El método Delphi [Internet]. Universidad Deusto San Sebastián [citado 20 de octubre de 2012]. Disponible en: http://www.codesyntax.com/Eneko/Metodo_delphi.doc
4. Steurer J. The Delphi method: an efficient procedure to generate knowledge. Skeletal Radiol. 2011;40(8):959-61.
5. Kaslow NJ, Borden KA, Collins FL, Forrest L, Nelson PD. Competencies Conference: Future Directions in Education and Credentialing in Professional Psychology. J Clin Psychol. 2004;60(7):699-13.
6. Álvarez González A (comp.) Investigación Cualitativa. La Habana: ECIMED; 2007.
7. Boulkedid R, Abdoul H, Loustau M, Sibony O, Alberti C. Using and reporting the Delphi method for selecting healthcare quality indicators: a systematic review. PLoS One. 2011;6(6): Epub PMID 21694759.
8. Helmer O, Rescher N. On the Epistemology of the Inexact Sciences [Internet]. California: RAND Corporation; 1959 [citado 20 de octubre de 2012]. Disponible en: http://www.rand.org/pubs/papers/2005/P1513.pdf
9. Linstone HA, M Turoff, eds. The Delphi Method, [Internet]. Londres: Addison-Wesley Publishing Co. Inc.; 1975 [citado 20 de octubre de 2012]. Disponible en: http://www.is.njit.edu/pubs/delphibook/
10. Sinha IP, Smyth RL, Williamson PR. Using the Delphi technique to determine which outcomes to measure in clinical trials: recommendations for the future based on a systematic review of existing studies. PLoS Med. 2011;8(1):e1000393. PubMed PMID:21283604.
11. Penciner R, Langhan T, Lee R, Mcewen J, Woods RA, Bandiera G. Using a Delphi process to establish consensus on emergency medicine clerkship competencies. [Internet]. Med Teach [citado 20 Oct 2012]. Disponible en: https://s100.copyright.com/AppDispatchServlet?author=Rick+Penciner+et+al.&contentID=0142159x.2011.575903&endPage=e339&issueNum=
6&numPages=7&orderBeanReset=true&publication=mte&publicationDate=06%2F01%2F2011&publisherName=IHC&startPage=e333&title=
Using+a+Delphi+process+to+establish+consensus+on+emergency+medicine+clerkship+competencies&volumeNum=33
12. Oñate N, Ramos L, Díaz A. Utilización del método Delphi en la Pronosticación: Una experiencia inicial. Cuba: Economía Planificada 1988;3(4):9-48.
13. Iljaž RJ, Megli M, Svab I. Building consensus about eHealth in Slovene primary health care: Delphi study. BMC Med Inform Decis Mak. 2011;18:11-4.
14. Torres Esperón M, Dandicourt Thomas C, Rodríguez Cabrera A. Funciones de enfermería en la atención primaria de salud. Rev Cubana Med Gen Integr [Internet]. 2005 [citado 27 de diciembre de 2011 ];21(3-4). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21252005000300007&lng=es
Recibido: 31 de octubre de 2012.
Aprobado: 14 de febrero de 2013.
MSc. Margarita García Valdés. Facultad "Dr. Salvador Allende". Universidad de Ciencias Médicas de La Habana. La Habana, Cuba. Correo electrónico: marpsi@infomed.sld.cu
]]>
