ARTÍCULO ORIGINAL
Validación mediante criterio de usuarios del sistema de indicadores para prever, diseñar y medir el impacto en los proyectos de investigación del sector agropecuario
Validation by means of users’ of the system of indicators approach to foresee, to design and to measure the impact in the projects of investigation of the agricultural sector
]]>
M.Sc. Astrid Fernández de Castro FabreI, Dr.C. Alexander López PadrónII
I Universidad Agraria de La Habana, Centro de Mecanización Agropecuaria, San José de las Lajas, Mayabeque, Cuba.
II Universidad Agraria de La Habana, Centro de Estudios de la Educación Agropecuaria, San José de las Lajas, Mayabeque, Cuba.
]]>
RESUMENEl sistema de indicadores para prever, diseñar y medir el impacto de los proyectos de investigación del sector agropecuario, es una herramienta que permite a los profesores e investigadores desde el diseño de un proyecto, prever determinados aspectos que tenidos en cuenta desde la confección del mismo contribuirán a la medición del impacto de los resultados obtenidos. Este sistema de indicadores ha sido validado desde lo teórico y lo práctico, mediante la implementación de dos estudios de caso. Posteriormente, se sometieron a la validación por criterio de expertos mediante el método Delphi, lo que permitió proceder a la implementación del sistema de indicadores a nivel de 12 instituciones académico investigativas del país. El objetivo del presente trabajo es validar mediante la Técnica de IADOV el grado de satisfacción de los usuarios con la implementación del sistema de indicadores. Como resultado se confirmó la factibilidad de uso, expresado cuantitativamente en el alto Índice de Satisfacción Grupal (ISG = 0,92) y cualitativamente en los criterios emitidos donde evidencian su satisfacción por la contribución del sistema de indicadores, lo que refleja aceptación de la propuesta y un reconocimiento a su utilidad.
Palabras clave: indicadores de impacto, satisfacción del cliente, técnica de Iadov.
ABSTRACT
The system of indicators to foresee, to design and to measure the impact of the projects of researching of the agricultural sector, it is a tool that allows to the professors and investigators from the design of a project, to foresee certain aspects that kept in mind from the making of the same one they will contribute to the mensuration of the impact of the obtained results. This system of indicators has been validated from the theoretical thing and the practical thing, by means of the implementation of two case studies. Later on, they underwent the validation for experts’ approach by means of the method Delphi, which considered valid the same one for its application. The validation level before expressed it allowed coming to the implementation from the system of indicators to level of 12 research institutions academic of the country. The objective of the present work is to validate by means of the Technique of IADOV the degree of the users’ satisfaction with the implementation of the system of indicators. As a result you confirmed the use feasibility, expressed quantitatively in the high Index of Satisfaction Grupal (ISG = 0,92) and qualitatively in the emitted approaches where they evidence their satisfaction for the contribution of the system of indicators, what reflects acceptance of the proposal and a recognition to their utility.
Key words: impact indicators, satisfaction of the client, technique of Iadov.
INTRODUCCIÓN ]]>
El sistema de indicadores para prever, diseñar y medir el impacto de los proyectos de investigación del sector agropecuario (Anexo), es una herramienta que permite a los profesores e investigadores desde el diseño de un proyecto, prever determinados aspectos que tenidos en cuenta desde la confección del mismo en correspondencia con la Resolución 44 /2012 del Ministro CITMA (Cuba-CITMA, 2012), con vistas a ayudar a la medición del impacto delos resultados obtenidoscomo se solicita en los objetivos de delMES (Cuba, Ministerio de Educación Superior, 2012), y en el Manual de Procedimientos para la Gestión y Control de los Programas y Proyectos del MES (Cuba, Ministerio de Educación Superior, 2009).Dicho sistema de indicadores ha sido validado desde lo teórico y lo práctico, mediante la implementación de dos estudios de caso único instrumental, el primero desarrollado a nivel de la Universidad Agraria de La Habana con los proyectos concluidos que tributaban al desarrollo local en el período 2007-2009 (Fernández de Castro, 2010), y el segundo a nivel del Centro de Mecanización Agropecuaria con la totalidad de los proyectos de investigación concluidos en el período 2006-2010 (Fernández de Castro y Shkiliova, 2012). Posteriormente, se sometieron a la validación por criterio de expertos mediante el método Delphi, con la participación de 16 expertos de 8 instituciones del país, los cuales consideraron válido el mismo para su aplicación y lo enriquecieron con sus opiniones cualitativas al recomendar la inclusión de la dimensión medioambiental con sus indicadores (Fernández de Castro y López, 2013).
El nivel de validación antes expresado permitió proceder a la implementación del sistema de indicadores a nivel de 12 instituciones académico investigativas del país (5 universidades y 7 centros de investigación de tres ministerios diferentes relacionados con el sector agropecuario), con vistas a una validación de la factibilidad de su aplicación en la práctica mediante el criterio de usuarios, utilizando como procedimiento científico metodológico para el procesamiento de los resultados la Técnica de IADOV, que constituye una vía indirecta para el estudio de la satisfacción del cliente (López y González, 2001, 2002, Tejedor, 2005, Lombillo, 2011; Pérez y Morejón, 2013).
El grado de satisfacción-insatisfacción según López y González (2001) es un estado psicológico que se manifiesta en las personas como expresión de la interacción de un conjunto de vivencias afectivas que se mueven entre los polos positivo y negativo en la medida en que en la actividad que el sujeto desarrolla, el objeto, da respuesta a sus necesidades y se corresponde con sus motivos e intereses.
En correspondencia con lo antes expresado, Campistrous y Rizo (2006), argumentan la posibilidad de ampliar el criterio de expertos, con un criterio en el cual la consideración esencial para la selección sea, además de conocer los fundamentos de lo que se va a investigar, de alguna manera haber vivido, sentido, experimentado lo que se está sometiendo a su consideración.
Estos autores le han denominado Criterio de Usuarios a este nuevo uso, y recomiendan su empleo como vía para valorar resultados en aquellos casos en que los evaluadores son usuarios de lo que se propone, lo cual es de utilidad para la presente investigación, pues se considera pertinente tener en cuenta el criterio de los líderes de los proyectos de investigación en las instituciones académico investigativas donde se aplicó el sistema de indicadores, como beneficiarios directos de los resultados, para la evaluación de la misma.
El objetivo del presente trabajo esvalidar mediante la Técnica de IADOV el grado de satisfacción delos usuarios con la implementación del sistema de indicadores para prever, diseñar y medir el impacto de los proyectos de investigación del sector agropecuario.
MÉTODOS ]]>
Para conseguir el objetivo del presente trabajo, se utilizó la Técnica de IADOV para la evaluación de la satisfacción de los usuarios, teniendo en cuenta los postulados teóricos de Campistrous y Rizo (2006), cuando expresan que la técnica de criterio de usuarios debe usarse como vía para valorar resultados en aquellos casos en que los evaluadores son usuarios de lo que se propone, es decir que además de tener dominio del problema en estudio, están “contextualizados”, inmersos en el contexto en el que se aplica el resultado. En correspondencia con el criterio antes esgrimido, se seleccionaron un total de 12 instituciones del país en las cuales se hautilizado previamente el sistema de indicadores propuesto, coincidiendo con igual número de profesores e investigadores, que son líderes de proyectos de investigación afines con el sector agropecuario, cuya caracterización se presenta en la Tabla 1. El procedimiento de selección de la muestra para determinar la distribución de esta con respecto a la población, fue de tipo no probabilística, intencional, que permitió seleccionar directa y explícitamente los sujetos que se consideraron más accesibles y con posibilidades de ofrecer mayor cantidad de información.El cuestionario empleado para determinar el grado de satisfacción de los usuarios con la propuesta de sistema de indicadores para prever, diseñar y medir el impacto de los proyectos de investigación en el sector agropecuario cuenta con un total de cinco preguntas, de ella tres cerradas (1, 3 y 5) y dos abiertas (2 y 4), cuya relación ignora el sujeto. Estas tres preguntas cerradas se relacionan a través del “Cuadro lógico de Iadov”, el cual se presenta adaptado a la presente investigación en la Tabla 2.
El número resultante de la interrelación de las tres preguntas nos indica la posición de cada sujeto en la escala de satisfacción, o sea su satisfacción individual. La escala de satisfacción utilizada es la siguiente:
1. Clara satisfacción
2. Más satisfecho que insatisfecho
3. No definida
4. Más insatisfecho que satisfecho
5. Clara insatisfacción
6. Contradictoria
Esta técnica también permite obtener el índice de satisfacción grupal (ISG), para lo cual se trabaja con los diferentes niveles de satisfacción que se expresan en la escala numérica que oscila entre +1 y - 1 de la siguiente forma: ]]>
La satisfacción grupal se calcula por la siguiente fórmula:
En esta fórmula A, B, C, D, E, representan el número de sujetos con índice individual 1; 2; 3 ó 6; 4; 5 y donde N representa el número total de sujetos del grupo.
El índice grupal arroja valores entre + 1 y - 1. Los valores que se encuentran comprendidos entre - 1 y - 0,5 indican insatisfacción; los comprendidos entre - 0,49 y + 0,49 evidencian contradicción y los que caen entre 0,5 y 1 indican que existe satisfacción.
RESULTADO Y DISCUSIÓN
Para evaluar la satisfacción con el sistema de indicadores aplicado en las doce instituciones seleccionadas como muestra, se utilizó la Técnica de IADOV para recoger el criterio de los usuarios, mediante dicha técnica se determina el nivel de satisfacción individual y grupal a partir de una encuesta elaborada según las exigencias pertinentes y aplicada a la muestra seleccionada de profesores e investigadores, que son líderes de proyectos de investigación afines con el sector agropecuario.Los resultados individuales de la satisfacción se resumen en la Figura 1 que a continuación sepresenta:
Para obtener el Índice de Satisfacción Grupal (ISG) se parte de asociar los diferentes niveles de satisfacción de los encuestados (Tabla 3), con una escala numérica que oscila entre +1 y – 1, de la siguiente forma:En esta investigación el Índice de Satisfacción Grupal fue: ISG = 0,92. Como se puede apreciar en la Figura 2, el valor del Índice es alto, lo que refleja aceptación de la propuesta, un reconocimiento a su utilidad, en tanto los usuarios han emitido criterios donde evidencian su satisfacción por la contribución del sistema de indicadores para prever, diseñar y medir el impacto en los proyectos de investigación del sector agropecuario, resultados que concuerdan con lo alcanzado por González y López (2010), Alfonso y Toledo (2013) y González (2013).
La técnica de IADOV contempla además dos preguntas complementarias de carácter abierto. Estas son:
• Pregunta 2. ¿Qué importancia le concede al sistema de indicadores?
• Pregunta 4. ¿Qué aspectos a su juicio potencian o limitan el uso de este sistema de indicadores?
Con respecto a la importancia que le conceden al sistema de indicadores respondieron lo siguiente:
• Constituye una herramienta metodológica de trabajo que permite prever, diseñar y medir el impacto de forma rápida e imparcial, lo cual posibilita fundamentar científicamente los resultados y el futuro impacto de los proyectos.
• Permite analizar un proyecto con un enfoque integrador, considerando las dimensiones abordadas (conocimiento, económica, social y medioambiental).
• Facilita la planificación, el control y el análisis justo y oportuno del impacto de los proyectos de investigación.
Con relación a losaspectos que potencian o limitan el uso de este sistema de indicadores aplicado, señalaron que: ]]>
Potencian:• Incrementar la generalización del sistema de indicadores en las instituciones académico investigativas del sector agropecuario.
• La exigencia del jefe del proyecto, de la institución ejecutora y los financista para prever, diseñar, y medir dichos impactos.
• La validez e impacto de los resultado de los proyectos, previo, durante y posterior a su aplicación.
• Mejorar la calidad de los proyectos y la medición de impacto.
Limitan:
• No contar con la herramienta.
• La falta de difusión y conocimiento por parte de los usuarios del sistema de indicadores.
• La falta de rigor profesional al realizar una evaluación detallada del impacto que se logra al aplicar este tipo de proyectos.
• La resistencia al cambio. ]]>
Resulta significativo en el análisis de estas opiniones, la preponderancia de aspectos positivos planteados, lo cual sirve como fundamento del alto valor obtenido en el ISG.No obstante varias de las opiniones negativas aportan elementos que señalan la necesidad de perfeccionar el proceso de implementación del sistema de indicadores propuesto, lo cual constituye un valioso elemento de retroalimentación.
CONCLUSIONES
El proceso de validación mediante la Técnica de IADOV de la consulta a los usuarios donde se ha implementado el sistema de indicadores propuesto, confirmó su factibilidad de uso, expresado cuantitativamente en el alto Índice de Satisfacción Grupal (ISG = 0,92) y cualitativamente en los criterios emitidos donde evidencian su satisfacción por la contribución del sistema de indicadores para prever, diseñar y medir el impacto en los proyectos de investigación del sector agropecuario, lo que refleja aceptación de la propuesta y un reconocimiento a su utilidad.
]]>
REFERENCIAS BIBLIOGRÁFICAS
1. ALFONSO, P., I.y R. TOLEDO: “Análisis de la orientación educativa en la formación del ingeniero civil”, Revista Cubana de Ingeniería. 4(2): 13-18, La Habana, mayo-agosto, 2013.
2. CAMPISTROUS, L. y RIZO, C.: El Criterio de Expertos como Método en la Investigación Educativa, pp.1-31, Documento elaborado para el Doctorado Curricular: Ed. Instituto Superior de Cultura Física “Manuel Fajardo”, La Habana, 2006.
3. CUBA, MINISTERIO DE CIENCIA, TECNOLOGÍA Y MEDIO AMBIENTE: Reglamento para el proceso de elaboración, aprobación, planificación, ejecución y control de los Programas y Proyectos de Ciencia, Tecnología e Innovación,Resolución 44 /2012 del Ministro CITMA. La Habana, Cuba, 2012.
4. CUBA, MINISTERIO DE EDUCACIÓN SUPERIOR: Manual de procedimientos para la gestión y control de los programas y proyectos, Ed. Ministerio de Educación Superior (MES), La Habana, Cuba, 2009. ]]>
5. CUBA, MINISTERIO DE EDUCACIÓN SUPERIOR: Objetivos de trabajo para el año 2013 y hasta el 2016, Ed. Ministerio de Educación Superior (MES), La Habana, Cuba, septiembre 24 de 2012.
6. FERNANDEZ DE CASTRO, F. A. y A. LOPEZ:“Validación mediante método Delphi de un sistemade indicadores para prever, diseñar y medirel impacto sobre el desarrollo local de los proyectosde investigación en el sector agropecuario”, Revista Ciencias Técnicas Agropecuarias, 22(3): 54-60, 2013.
7. FERNÁNDEZ DE CASTRO, F. A. y L. SHKILIOVA: “Uso de un set de indicadores para medir el impacto en los proyectos de investigación de ingeniería Agrícola de la Universidad Agraria de La Habana”, Revista Ciencias Técnicas Agropecuarias, 21(1): 79-82, 2012.
8. FERNÁNDEZ DE CASTRO, F. A.: Análisis de la medición del impacto en los proyectos de investigación de la Universidad Agraria de La Habana (UNAH), 100pp., Tesis en opción al título de Máster en Desarrollo Agrario y Rural, Universidad Agraria de La Habana, CEDAR, La Habana, Cuba, 2010.
9. FERNÁNDEZ, P. E.: "La medición del impacto social de la ciencia y la tecnología", En: Temas actuales de indicadores de ciencia y tecnología en América Latina y el Caribe, compilado por Mario Albornoz, Ed. RICYT, Argentina, 2001. ]]>
10. GONZÁLEZ, C. L.:Sistema de Indicadores para evaluar el impacto de la formación de los profesionales del Centro Universitario Municipal de Quivicán,157pp., Tesis en opción al título de Máster en Educación Superior. Universidad Agraria de La Habana, CEESA, Mayabeque, Cuba, 2013.
11. GONZÁLEZ, L. I. y I. LÓPEZ: “Validación y propuesta de un modelo de indicadores de evaluación de la calidad en el la universidad”, Revista Iberoamericana de Educación, 53(6), Córdoba, España, 2010.
12. LOMBILLO, R. I.: Estrategia metodológica para el uso integrado y progresivo de los medios de enseñanza por docentes de la Universidad Agraria de La Habana, Tesis presentada en opción al Grado Científico de Doctor en Ciencias Pedagógicas. Universidad Agraria de La Habana, Mayabeque, 2011.
13. LÓPEZ, A. y V. GONZÁLEZ: “La técnica de Iadov. Una aplicación para el estudio de la satisfacción de los alumnos por las clases de Educación Física”, Revista Digital Lecturas: Educación Física y Deporte [en línea] Año 8 - N° 47 - Abril de 2002. Buenos Aires, Argentina. Disponible en: http://www.efdeportes.com [Consulta: febrero 232013].
14. LÓPEZ, A. yV. GONZÁLEZ: La técnica de Iadov: Una aplicación para el estudio. [en línea]2001, Disponible en: http://www.efdeportes.com/efd32/iadov.htm [Consulta: febrero 23 2013].
15. PÉREZ, B., y C.A.MOREJÓN: “Sistema de generación automática de hipervideo basado en repositorios de objetos de aprendizaje para la carrera Ingeniería Agrícola”, Revista Ciencias Técnicas Agropecuarias, 22(4): 36-40, 2013.
16. TEJEDOR, L. J.C.:“Niveles de satisfacción e insatisfacción escolar por las actividades en el medio natural en la Educación Secundaria Obligatoria y el Bachillerato: aplicación de la técnica Iadov”, Lecturas: Educación Física y Deportes, (85): 2005.
Recibido: 14 de septiembre de 2013. ]]> Aprobado: 20 de marzo de 2014.
Astrid Fernández de Castro Fabre. Universidad Agraria de La Habana, Centro de Mecanización Agropecuaria, San José de las Lajas, Mayabeque, Cuba. Correo electrónico: astrid@unah.edu.cu ]]>
