ARTÍCULO ORIGINAL

 

Validación mediante método Delphi de un sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación en el sector agropecuario

 

Validation with Delphi method of a system of indicators to prevision, design and measure the impact on local development of research projects on farming sector

 

 

M.Sc. Astrid Fernández de Castro Fabre, Dr.C. Alexander López Padrón

 

Universidad Agraria de La Habana (UNAH), San José de las Lajas, Mayabeque, Cuba.

 

 

---

RESUMEN

El objetivo del presente trabajo es validar un sistema de indicadores para la previsión, diseño y medición del impacto sobre el desarrollo local de los proyectos de investigación mediante el método Delphi de consulta a expertos, considerado uno de los métodos subjetivos de pronosticación más confiables, al combinar criterios de análisis de base subjetiva con análisis matemático-estadístico de los resultados. Este sistema de indicadores, a partir de una investigación para conocer cómo se realizaba la previsión, el diseño y la medición del impacto de los proyectos sobre el desarrollo local. Este análisis permitió situar las principales deficiencias en este proceso y establecer un sistema de indicadores para estandarizar el proceso y ayudar a la subsanación de sus deficiencias. Para la validación de este sistema de indicadores propuesto se analizaron las cuatro dimensiones utilizadas para medir el impacto: la científica, la económica, la social y la medioambiental. El sistema de indicadores validado por los expertos permite contar con una herramienta a los profesores e investigadores a la hora de diseñar un proyecto, prever determinados aspectos que tenidos en cuenta desde el inicio del proyecto, le ayudarán una vez concluido el mismo a medir el impacto de los resultados obtenidos.

Palabras clave: Método Delphi, indicadores de impacto, proyectos de investigación.

---

ABSTRACT

 

The aim of this study is to validate a system of indicators for forecasting, design and measuring impact on local development of research projects using the Delphi method of consulting experts, considered one of the subjective methods of forecasting more reliable, the criteria analysis combining subjective basis with mathematical-statistical analysis of the results. This system of indicators, based on an investigation to find out how the forecast was made, the design and measurement of project impact on local development. This analysis allowed us to place the main deficiencies in this process and establish a system of indicators to standardize the process and help to remedy their deficiencies. To validate the proposed system of indicators analyzed the four dimensions used to measure the impact, the scientific, economic, social and environmental. The indicator system validated by the experts can have a tool for teachers and researchers when designing a project, provide that certain aspects taken into account from the start of the project, once completed will help it to measure the impact the results obtained.

 

Keywords: Delphi Method, impact indicators, research projects.

---

 

 

INTRODUCCIÓN

El método Delphi de consulta a expertos tiene sus orígenes en el oráculo de Delfos, dedicado al dios Apolo, popular recinto en la antigua Grecia al cual acudían los ciudadanos para conocer sobre cuestiones inquietantes, la principal, el futuro. De ahí que se vincule con una visión prospectiva que descansa en la experiencia e incluso en la intuición de expertos. De pronóstico cualitativo, desarrollado por Olaf Helmer en la RAND Corporation a mediados de la década de los 60, es un procedimiento eficaz y sistemático que tiene como objeto recopilar opiniones de expertos diseminados geográficamente sobre un tema particular y conseguir un consenso a través de su convergencia. (Linstone & Turoff, 1975; Bass, 1983; Ludwig, 1996, 1997; Cruz, 2006).

Los inicios de su utilización, atribuida a Dalkey & Helmer (1963), han sufrido algunas modificaciones. Inicialmente se partía de un cuestionario abierto sobre un tema concreto que era presentado a expertos con el tema a investigar para que cada uno ofreciera, de forma anónima, sus aportaciones, aunque actualmente muchos estudios utilizan la versión modificada (Lee, 2009). Su principal novedad consiste en el uso desde la primera ronda, de un cuestionario estructurado al que se van adicionando o modificando, si es el caso, las diferentes opiniones de los expertos en las sucesivas rondas hasta completar al menos tres (Linstone & Turoff, 1975).

Por otra parte, este método tiene sus inconvenientes y ventajas. En cuanto a los primeros Bernard (1988) señala la selección de los ítems iniciales del cuestionario y de los expertos, que Andronovich (1995), recomendó se hiciera coincidir con el interés de los especialistas sobre el tema de estudio, a fin de que su participación fuera significativa. La no existencia de directrices que marquen el consenso entre los expertos es una de las desventajas, puesto que los resultados dependen de su percepción.

El tiempo requerido para completar el cuestionario puede llevar a dar respuestas/opiniones apresuradas. En cuanto a las ventajas podemos citar que permite obtener y participar en el procedimiento de validación a expertos distribuidos geográficamente, cosa que de hacerse de forma presencial costaría mucho más tiempo y dinero (Bravo y Arieta, 2005; Cruz, 2006). En cuanto a la subjetividad de las respuestas, éstas se verán avaladas por el análisis de contenidos que se realizará de cada una de las opiniones a fin de evitar esta circunstancia (Blasco y López, 2010).

La utilización del método Delphi como instrumento de validación de indicadores ha sido esgrimida en diferentes estudios y ámbitos de conocimiento (Hung, Altschuld y Lee, 2008). García y Palomares (2012) han validado un sistema de indicadores relacionado con la evaluación del desempeño de las universidades. Asimismo, González y López (2010) han validado un modelo de indicadores para la evaluación de la calidad en las universidades.

El objetivo de este trabajo es validar mediante el método Delphi de consulta a expertos un sistema de Indicadores para la previsión, el diseño y la medición del impacto sobre el desarrollo local de los proyectos de investigación. El trabajo está en concordancia con el objetivo 3: Integrar la educación superior en los municipios para incrementar su calidad y pertinencia con la máxima racionalidad posible, así como vinculados a los Lineamientos de la Política Económica y Social del Partido y la Revolución (2011) y a los objetivos del Partido referidos en los objetivos de trabajo para el año 2013 y hasta el 2016 del Ministerio de Educación Superior de Cuba, (2012).

 

MÉTODOS

Muestra

Para conseguir el objetivo de la investigación, en concordancia con lo que plan­tea el método Delphi en sus postulados teóricos (Oñate, Ramos y Díaz, 1998; Bravo y Arrieta, 2005; Cruz, 2006; Blasco y López, 2010), se conformaron los dos grupos humanos encargados de validar el sistema de indicadores diseñado, en este caso el grupo coordinador y el grupo de ex­pertos.

El grupo coordinador se conformó a partir de los miembros del Centro de Mecanización Agropecuaria (CEMA) de la Facultad de Ciencias Técnicas y el Centro de Estudios de la Educación Superior Agropecuaria (CEESA) de la Universidad Agraria de La Habana, encargados de desarrollar la investigación.

Éste está compuesto por un Doctor en Ciencias y dos Máster en Ciencias, siguiendo las características definitorias del grupo coordinador propuestas por Calabuig y Crespo (2009) en su investigación, donde los integrantes deben cumplir con requisitos tales como: buen conocimiento del método Delphi, ser investigadores académicos relacionados con el tema a estudiar y tener gran facilidad de intercomu­nicación al trabajar conjuntamente en otros estudios.

La selección del grupo de expertos la realizó el grupo coordinador, teniendo en cuenta los criterios de investigadores como Landeta (1999), que señala como necesario un mínimo de siete expertos, pero no más de 30. Okoli y Pawlowski (2004), sostienen que la literatura recomienda entre 10 y 18, y al respecto, Yáñez y Cuadra (2008), opinan que este rango en el número de expertos es razonable.

En la selección del grupo de expertos el primer paso fue fijar como criterio fundamental de selección la competencia de los candidatos en el área de las investigaciones y el postgrado, sobre la base de su currículo personal. Se identificaron 32 posibles candidatos y se descartó la mitad por falta de disposición a participar. Del total inicial quedaron 16 expertos.

Instrumento

El instrumento que se somete a validación por el panel de expertos es un sistema constituido por 17 indicadores, distribuidos en tres dimensiones propuestas por Fernández (2001): la del Conocimiento (9), la Económica (2) y la Social (6). También se evaluaron la Relevancia, la Pertinencia y la Coherencia del Sistema de Indicadores propuesto.

La validación del sistema se realizó mediante el método Delphi para la consulta a expertos, según el grado de conocimiento de los mismos (Hoddinott, 2003), lo cual le dio un carácter participativo al proceso, teniendo en cuenta que estos indicadores son aplicables al desarrollo local.

Procedimiento

Siguiendo los criterios de un grupo de autores que han aplicado el método Delphi en sus investigaciones (Oñate, Ramos y Díaz, 1998; Cruz, 2006; López, 2008; Blasco y López, 2010), se estableció la secuencia metodológica a seguir, compuesta de tres fases fundamentales: preliminar, exploratoria y final.

Fase preliminar

En esta primera fase se conformó el grupo coordinador que asumió la responsabilidad de seleccionar el grupo de expertos a partir de su nivel de conocimiento y competencia. Entre sus funciones estuvo interpretar los resultados parciales y finales de la investigación y supervisar la marcha correcta de la misma, para realizar ajustes y correcciones. El procedimiento para la conformación de los dos grupos que intervinieron en la investigación se explica en el apartado correspondiente a la muestra.

Fase exploratoria

Se confeccionó la primera versión del cuestionario y se sometió, en una segunda ronda, a la validación por el grupo de expertos seleccionados con la intención de recabar los criterios cuantitativos y cualitativos más estables.

El envío y la recepción del cuestionario se realizó por correo electrónico en archivo adjunto, el cual estaba conformado por una primera página con una breve introducción al tema de investigación, la explicación clara del objetivo de la investigación, el método que se utiliza, la fase en que se encontraba el proceso de investigación, las instrucciones para cumplimentar el cuestionario, seguido del correspondiente instrumento para la validación.

Este último consta de una escala de respuesta tipo Likert con 5 categorías, además de una pregunta abierta para recoger las valoraciones cualitativas de cada experto acerca de los ítems planteados o la introducción de alguno nuevo. El plazo máximo dado para responder fue de 20 días. Se le asignó un número a cada experto para garantizar el anonimato.

Los resultados de la segunda ronda de consulta para la validación por parte del grupo de expertos, fueron analizados desde el punto de vista cuantitativo aplicando la metodología descrita por Green en el año 1954, adaptada por Oñate, Ramos y Díaz (1998) y Cruz (2006) para su tratamiento estadístico, el cual se llevó a cabo a través del sistema automatizado para el procesamiento del método de consulta a expertos, versión 1.0 propuesto por Hurtado de Mendoza y Méndez (2007).

Asimismo, se realizó un análisis cualitativo de las opiniones expresadas por los expertos a la pregunta abierta incorporada al instrumento de consulta. Los resultados estadísticos tabulados y el cuestionario modificado, teniendo en cuenta las sugerencias de los expertos, fueron devueltos al grupo para una tercera ronda de consulta. La tercera ronda de consulta para la validación por parte del grupo de expertos, consistió en opinar sobre el sistema de indicadores incrementado con las sugerencias de los expertos participantes.

Fase Final

En esta última fase se solicita la valoración por parte de los expertos en cuanto a la Relevancia, la Pertinencia y la Coherencia del sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación, y se sintetizan los resultados de todo el proceso de validación mediante consulta interactiva a los expertos en la propuesta definitiva del sistema de indicadores para su posterior aplicación en el proceso de investigación.

 

RESULTADOS Y DISCUSIÓN

Fase preliminar

El grupo coordinador se conformó tal como se expresa en el apartado de selección de la muestra al describir los métodos usados para desarrollar la presente investigación. Seguidamente, el grupo coordinador seleccionó a los expertos, los cuales se determinaron a partir de los resultados de la valoración del grupo coordinador, unido a la autoevaluación de los propios expertos del nivel de com­petencia en el tema de investigación, al aplicarles la metodología propuesta por el Comité Estatal para la Ciencia y la Técnica de Rusia, elaborada en 1971 (Oñate, Ramos y Díaz, 1998).

La consulta se realizó a 16 expertos que alcanzaron resultados satisfactorios de desempeño en los valores del coeficiente de competencia (alto) para estudiar, analizar, dar criterios válidos y confiables sobre el trabajo elaborado tal como se recoge en la Tabla 1.

Como se puede apreciar en la Tabla 2, caracterización de los expertos que participan en la consulta, el  62% de los 16 expertos seleccionados proceden de seis instituciones académicas diferentes de alto nivel y prestigio, relacionados directamente con la temática de investigación. El 38% son de la Universidad Agraria de La Habana (UNAH).

Fase exploratoria

Esta fase constó de tres rondas de consulta para la validación del sistema de indicadores obtenido como resultado del análisis realizado por Fernández de Castro (2010). En la primera ronda de esta fase se sometió a la valoración del grupo coordinador la versión inicial del sistema que constaba de 17 indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación que aportó como resultado un grupo de consideraciones de orden cualitativo que favorecieron el ajuste y corrección del mismo.

Una vez modificado el sistema de indicadores a partir de las consideraciones obtenidas como resultado de la primera ronda, se sometió a una segunda ronda de consulta al grupo de expertos, cuyos resultados cuantitativos de las valoraciones realizadas se procesaron mediante análisis estadístico apli­cando la metodología descrita en los métodos.

En la Tabla 3 se puede apreciar que las dimensiones propuestas fueron calificadas de muy adecuadas por los expertos. En la Tabla 4 se recoge que el 77% de los indicadores fueron clasificados como muy adecuados y el 23% de adecuados.

Además, los expertos plantearon un grupo de consideraciones de orden cualitativo en respuesta a la pregunta abierta incluida en el instrumento. Éstas fueron recogidas y analizadas con el fin de comprobar, en términos de discrepancia o concordancia, la necesidad de complementación de las dimensiones e indicadores que conforman el sistema.

Se propone la inclusión de nuevos indicadores:

En la dimensión 1 Impacto del conocimiento se proponen 3 indicadores:

1.10. Cantidad de estudiantes procedentes de grupos científicos estudiantiles vinculados al proyecto.

1.11. El carácter multidisciplinario de los proyectos a evaluar.

1.12. Cantidad de aportes al conocimiento.

Para la dimensión 2 Impacto económico se proponen 5 indicadores:

2.3. Tecnologías, productos o servicios generados por el proyecto.

2.4. Desarrollo de nuevos fondos exportables que generen nuevos productos.

2.5. Sustitución de importaciones que generen soluciones.

2.6. Recuperación de la inversión para lograr ganancias o utilidades.

2.7. Valor apreciado del impacto equivalente en la localidad para lograr un reconocimiento medible en los beneficiarios.

Se propone por 3 expertos una nueva dimensión 4, el “Impacto medioambiental” y los siguientes indicadores:

4.1. Utilización de los métodos de la Agricultura de Conservación.

4.2. Tecnologías limpias para mejorar la calidad del medioambiente.

4.3. Servicios ecológicos generados por el proyecto.

4.4. Soluciones a los problemas de contaminación.

4.5. Contribución al decrecimiento de la degradación de los recursos naturales.

Un experto plantea que al indicador 1.1 se le debe incluir las publicaciones del grupo 3 y 4 y normas, innovaciones e instructivos técnicos, así como otros documentos que expliciten el conocimiento nuevo o mejorado obtenido y lo incorporen al ciclo de innovación de las entidades del territorio. Otro experto propone que el indicador 2.2 se denomine Crecimiento de la Eficiencia Económica, término más integral y abarcador que el de disminución de los costos.

En la tercera ronda de consulta al grupo de expertos, se presentaron los resultados estadísticos de la segunda ronda tabulados y el cuestionario modificado teniendo en cuenta las propuestas realizadas por ellos. Al repetir el mismo análisis estadístico utilizado de la segunda ronda, así como los resultados cualitativos en respuesta a la pregunta abierta, se mantuvo la estabilidad de los criterios en el 100% de los expertos consultados, que valoraron las 4 dimensiones y los 30 indicadores como muy adecuados.

Se consideró que la estructura del sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación, en la forma que están estructurados, son su­ficientes para la investigación, razón por la cual no se hace necesario realizar una nueva ronda como señalan en sus investigaciones Oñate, Ramos y Díaz (1998), Cruz (2006) y Blasco y López (2010).

Fase final

En esta última fase se solicitó la valoración por parte de los expertos de la Relevancia, la Pertinencia y la Coherencia del sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación. Las evaluaciones resultaron: muy relevante-relevante y muy coherente-coherente en el 81,3% y muy pertinente-pertinente en el 87,5%.

Una vez que los expertos han llegado a un consenso en relación a la validez del sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación a partir de su consulta iterativa aplicando el método Delphi, el grupo coordinador de la investigación estableció la estructura definitiva del mismo, la cual se presenta en el Anexo.

 

CONCLUSIONES

.El proceso de validación mediante el método Delphi de consulta a expertos concluyó con un consenso del 100% de los expertos consultados en relación a la validez del sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación.

.El sistema de indicadores propuesto fue enriquecido con las opiniones de los participantes, que otorgaron Relevancia, Pertinencia y Coherencia al sistema de indicadores.

Las evaluaciones fueron: muy relevante-relevante y muy coherente-coherente en el 81,3% y muy pertinente-pertinente en el 87,5%. Por todo lo antes expresado, se puede considerar validado el sistema de indicadores para prever, diseñar y medir el impacto sobre el desarrollo local de los proyectos de investigación.

 

ANEXO

SISTEMA DE INDICADORES PARA PREVER, DISEÑAR Y MEDIR EL IMPACTO SOBRE EL DESARROLLO LOCAL DE LOS PROYECTOS DE INVESTIGACIÓN 

1. Impacto del Conocimiento

1.1. Publicaciones en cualquiera de los 4 grupos propuestos. Normas, Innovaciones e Instructivos Técnicos, así como otros documentos que expliciten el conocimiento nuevo o mejorado obtenido y lo incorporen al ciclo de innovación de las entidades del territorio.

1.2. Tesis de Doctorado, que consideren dentro de sus resultados científicos en el plano teórico y práctico, los aportes al desarrollo local.

1.3. Tesis de Maestría y Especialidad, que aporten a la solución de problemas de la localidad.

1.4. Trabajos de Diploma, que aporten solución al problema real de la localidad, mediante el banco de problemas del municipio.

1.5. Fórum de Ciencia y Técnica, presentación de trabajos resultantes del proyecto a nivel municipal, provincial.

1.6. Premios obtenidos, el proyecto debe ser objeto de premios y reconocimientos por la calidad de su aporte científico y por su introducción en la práctica. Premios Fórum Ciencia y Técnica y de Innovación Provincial y Premios Ramales.

1.7. Propuestas de Propiedad Intelectual. Debe preverse la protección tanto por modalidades de propiedad industrial (patentes, registro de variedades vegetales u otra forma), como de derecho de autor (software, multimedia, WEB). Prever si es un proyecto con otras instituciones, el porcentaje de participación de las mismas con respecto a los resultados susceptibles de proteger.

1.8.  Participación en eventos científicos, presentación de trabajos en eventos científicos relevantes en Cuba y en el exterior.

1.9. Cantidad de profesores e investigadores participantes en el proyecto.

1.10. Cantidad de estudiantes procedentes de grupos científicos estudiantiles vinculados al proyecto.

1.11. El carácter multidisciplinario de los proyectos a evaluar integración de distintas disciplinas.

1.12. Cantidad de aportes al conocimiento como resultado de la investigación.

2. Impacto Económico

2.1. Diversificación de la producción y servicios, que los resultados tengan una repercusión en la localidad que favorezca la diversificación de productos y servicios.

2.2. Crecimiento de la Eficiencia Económica, disminución de los costos, aumento de la rentabilidad, ahorro de recursos materiales.

2.3. Tecnologías, productos o servicios generados por el proyecto.

2.4. Desarrollo de nuevos fondos exportables, que generen nuevos productos.

2.5. Sustitución de importaciones, que generen soluciones.

2.6. Recuperación de la inversión, lograr ganancias o utilidades.

2.7. Valor apreciado del impacto equivalente en la localidad, lograr un reconocimiento medible en los beneficiarios.

 

3. Impacto Social

 

3.1. Distinción entre investigación básica y aplicada: desarrollo e innovación según su carácter, las investigaciones pueden dar soluciones de carácter inmediato o a más largo plazo.

3.2. Ofertas para la solución de problemas al desarrollo local: propuestas desde el conocimiento científico para la solución de problemas locales.

3.3. Vinculación de actores sociales: establecimiento de vínculos con actores sociales locales y externos, como el gobierno local, CITMA municipal y provincial, las ONG, universidades, centros de investigación, (red de actores que contribuyan a un sistema local de innovación) necesario para vehicular la relación entre los resultados y la localidad.

3.4. Utilización de métodos participativos: base de comunicación entre los investigadores y los actores sociales.

3.5. Capacitación: capacitar de manera adecuada a las personas, comunidades, instituciones locales, responsables de continuar las acciones una vez culminados los proyectos.

3.6. Instituciones locales vinculadas al proyecto: para la introducción de los aportes en la práctica, que posteriormente avalen la importancia y los beneficios obtenidos.

4. Impacto Medioambiental

4.1. Utilización de los métodos de la Agricultura de Conservación, que no agredan el medioambiente.

4.2. Tecnologías limpias, para mejorar la calidad del medioambiente.

4.3. Servicios ecológicos, generados por el proyecto.

4.4. Soluciones a los problemas de contaminación, que se prevean antes de comenzar la investigación.

4.5. Contribución al decrecimiento de la degradación de los recursos naturales, suelos, aguas, biodiversidad, cobertura boscosa, etc.   

 

REFERENCIAS BIBLIOGRÁFICAS

1. ANDRONOVICH, G.: Developing community participation and consensus, The Delphi Technique, USA, 1992.     

2. BASS, B. M.: Organizational decision making, Homewood, IL: Irwin, USA, 1980.

3. BERNARD, H. R.: Research methods in cultural anthropology, Newbury Park, Sage, USA, 1988.

4. BLASCO, M. J. E. y A. LÓPEZ: “Validación mediante Método Delphi de un cuestionario para conocer las experiencias e interés hacia las actividades acuáticas con especial atención al Windsurf”, Revista Ágora para la Educación Física y el Deporte, 12(1): 75-96, España, 2010.

5. BRAVO, M. DE L. y J. ARRIETA: “El Método Delphi. Su implementación en una estrategia didáctica para la enseñanza de las demostraciones geométricas”, Revista Iberoamericana de Educación, España, 2005.

6. CALABUIG, F. y J. CRESPO: “Uso del método Delphi para la elaboración de una medida de calidad percibida de los espectadores de eventos deportivos”, Revista Retos, Nuevas tendencias en Educación Física, Deporte y Recreación, 15: 21-25, España, 2009.

7. CRUZ, M.: El Método Delphi en las investigaciones educacionales, 40pp., Informe Final del Proyecto de Investigación Estadística para la Educación, La Habana, Cuba, 2006.

8. DALKEY, N. C. & O. HELMER, “Delphi Method .An experimental application of the Delphi.Method to the use of experts”, Management Science, 9(3): 458–467, 1963.

9. FERNÁNDEZ DE CASTRO, F. A.: Análisis de la medición del impacto en los proyectos de investigación de la Universidad Agraria de La Habana (UNAH), 100pp., Tesis (en opción al título de Máster en Desarrollo Agrario y Rural), Universidad Agraria de La Habana, CEDAR, La Habana, Cuba, 2010.

10.FERNÁNDEZ, P. E.: La medición del impacto social de la ciencia y la tecnología, En: Temas actuales de indicadores de ciencia y tecnología en América Latina y el Caribe, compilado por Mario Albornoz, RICYT, Argentina, 2001.

11.GARCÍA,-A. y D. PALOMARES: “Indicadores para la evaluación de las Instituciones Universitarias: Validación a través del Método Delphi”, Revista Especializada de Documentación Científica, 35(1): 119-144, Valencia, España, enero-marzo, 2012.

12. GONZÁLEZ, L. I. & I. LÓPEZ: “Validación y propuesta de un modelo de indicadores de evaluación de la calidad en el la universidad”, Revista Iberoamericana de Educación, 53(6): Córdoba, España, 2010.

13. HOODINOTT, J.: Métodos para proyectos de desarrollo rural. Seguridad alimentaria en la práctica. Instituto Internacional de Investigación sobre políticas alimentarias, ISBN: 0-89629-719-5, Washington. DC., EE. UU., 2003.

14. HUNG, H-L.; W. ALTSCHULD & Y. LEE: “Methodological and conceptual issues confronting a cross-country Delphi study of educational program evaluation”. Evaluation and Program Planning, 31: 191–198, USA, 2008.

15. HURTADO DE MENDOZA, S. y D. MENDEZ: Software educativo, Método de Consulta a Expertos (Delphi). CECOFIS, [en línea] 2007. Disponible en: http://www.cecofis.cu/artículo3.asp. [Consulta: septiembre 10 2009].

16. LANDETA, J.: El método Delphi. Barcelona, Ariel, 60pp.-Wesley. Massachusetts. 618pp., 1999.

17. LEE, Y.: “Competencies Hended by Korean HRD Master’s Graduates: A Compararison Between the ASTD WLP Competency Model and the Korean Study”, Human Resource Development Quarterly, 20(1): 2009.

18. Lineamientos de la Política Económica y Social del Partido y la Revolución, aprobados el 18 de abril de 2011, “Año 53 de la Revolución” en el VI Congreso del Partido Comunista de Cuba, [en línea] abril 2011, Disponible en: www.pcc.cu [Consulta: abril 10 2012].

19. LISTONE, H. A. & TUROFF, M.: The Delphi Method: techniques and application. Addison, EU,1975.

20. LÓPEZ, A.: “La modelación de la habilidad Diagnóstico Patológico desde el Enfoque Histórico Cultural para la asignatura Patología Veterinaria”, Revista Pedagogía Universitaria, XIII(5): 51-71, Cuba, 2008.

21. LUDWIG, B. G.: “U.S. Extension systems—Facing the Challenge to Internationalize”, Journal of Extension (electronic version), [en línea] 34(2): 1996, Disponible en: http://www.joe.org/joe/1996april/rb3.html [Consulta: noviembre 02 2009].

22. LUDWIG, B. G.: Predicting the future: Have you considered using the Delphi methodology? Journal of Extension (electronic version), [en línea] 35(5): 1997, Disponible en: http://www.joe.org/joe/1997october/tt2.html [Consulta: noviembre 02 2009]

23. Objetivos de trabajo para el año 2013 y hasta el 2016. Ed. Ministerio de Educación Superior (MES), La Habana, Cuba, septiembre 24 de 2012.

24. OKOLI, C. y PAWLOWSKI S.: “The Delphi method as a research tool: an example, design considerations and applications”, Information & Management, 42:15-29, USA, 2004.

25. OÑATE, N., RAMOS, L. y A. DÍAZ: “Utilización del Método Delphi en la pronosticación: Una experiencia inicial. Cuba”, Economía Planificada, 3(4): 9-48, La Habana, Cuba, 1998.

26.YAÑEZ, R. y O. CUADRA: “La técnica Delphi y la investigación en los servicios de salud” Ciencia y Enfermería, XIV(1): 9-15, 2008.

 

 

Recibido: 19 de mayo de 2012.
Aprobado: 14 de junio de 2013.

 

 

Astrid Fernández de Castro Fabre, Investigadora Auxiliar, Universidad Agraria de La Habana (UNAH), Sub Directora del Centro de Mecanización Agropecuaria (CEMA), San José de las Lajas, Mayabeque, Cuba, Correo electrónico: [e-mail].