ARTÍCULO ORIGINAL

Instrumento para la evaluación del impacto de la formación académica

Instrument for the impact assessment of the academic training

MSc. Fridel Julio Ramos Azcuy, MSc. María del Carmen Meizoso Valdés, Dra. C. Rosa Mayelin Guerra Bretaña

Universidad de La Habana. La Habana. Cuba.

---

RESUMEN

La evaluación del impacto de la formación es un aspecto de gran importancia no solo para las organizaciones que reciben la capacitación, sino también para las instituciones que la brindan, como una forma de evaluar la calidad del proceso formativo. Sin embargo, no siempre las instituciones educativas cuentan con los instrumentos adecuados para la evaluación de estos impactos, por lo que el objetivo de este trabajo es desarrollar un instrumento para la evaluación del impacto de la formación académica de posgrado, tomando como caso de estudio el Programa de Maestría en Gestión de la Calidad y Ambiental de la Universidad de La Habana. A partir del análisis de los modelos de evaluación del impacto de la formación existentes y de las experiencias anteriores del programa objeto de evaluación se diseñó un instrumento que consta de encuestas y entrevistas a egresados y directivos. Las variables evaluadas se agrupan en cinco dimensiones: aprendizaje, impacto en las personas, impacto en la organización, impacto en la sociedad y satisfacción. Las herramientas propuestas fueron validadas mediante su aplicación a los egresados de la cuarta edición del Programa de Maestría en Gestión de la Calidad y Ambiental. La evaluación realizada permitió conocer impactos fundamentales del mismo e identificar oportunidades de mejora.

Palabras clave: Programa de formación de posgrado, evaluación de impacto.

---

ABSTRACT

Assessing the impact of training is an issue of great importance not only for the organizations receiving the training, but also to the institutions that provide, as a way to assess the quality of the training process. However, educational institutions do not always have the appropriate tools for assessing these impacts, so the aim of this work is to develop a tool for assessing the impact of academic postgraduate training, taking as a case study Master Program in Quality and Environmental Management of the University of Havana. From the analysis of the existing models of impact assessment of the training and previous experiences of the program under assessment, an instrument consisting of surveys and interviews with graduates of the program and its managers was designed. The evaluated variables are grouped into five dimensions: Learning; Impact on people, Impact on the organization, Impact on society and Satisfaction. The proposed tools were validated by applying to graduates of the fourth edition of the Master Program in Quality and Environmental Management. The assessment allowed knowing the fundamental impacts of the Program and identifying opportunities for improvement.

Keywords: Postgraduate training program, impact assessment.

---

INTRODUCCIÓN

En la actualidad existe un amplio consenso sobre la importancia de la mejora continua del desempeño de las organizaciones, con un enfoque de calidad, para alcanzar el éxito sostenido (ISO, 2009), a partir de la innovación y el aprendizaje organizacional, lo que incluye la creación y adquisición de nuevo conocimiento. Es por esta razón que las empresas competitivas emplean significativos recursos financieros en actividades de formación como una forma de transferencia de conocimientos y habilidades a las personas de la organización. A pesar de que este es el objetivo de la formación, no siempre se realiza la evaluación de sus impactos como retorno de la inversión realizada. En otras ocasiones, cuando se intenta evaluar el resultado de la capacitación, faltan elementos o información relevante o la acción formativa no responde a objetivos de desempeño y necesidades sociales previamente determinados.

Las universidades, como parte fundamental de los Sistemas Nacionales de Innovación, realizan contribuciones al mismo a partir de la formación de profesionales y también por los resultados de la investigación universitaria y de la formación de posgrado (Núñez, 2010). En el contexto de las relaciones universidad-industria, la transferencia del conocimiento se materializa a través de varios mecanismos: las formas colaborativas de interacción (investigación colaborativa, investigación por contrato, consultoría, cursos de formación, trabajo en redes); transferencia científica abierta y de la propiedad intelectual (eventos y conferencias, publicaciones, patentes, licencias) y la forma de interacción más común y tradicional, el empleo de los graduados universitarios (Perkmann & Walsh, 2009).

Conocer los impactos de la formación es un aspecto clave no solo para las organizaciones que reciben la capacitación, sino también para las instituciones que la brindan, como una forma de evaluar la calidad del proceso formativo para mejorarlo. Si bien la evaluación del impacto de la formación es un requisito establecido por las agencias encargadas de acreditar la calidad de los programas formativos, no siempre las instituciones cuentan con los instrumentos adecuados para la evaluación de estos impactos.

Cuando se trata de programas de formación-investigación de posgrado a tiempo parcial en temáticas relacionadas con la gestión y la innovación organizacional, donde los estudiantes adquieren las competencias necesarias para solucionar los problemas detectados en las organizaciones donde trabajan, la evaluación del impacto de la capacitación adquiere relevancia no solo desde el punto de vista del desempeño personal, sino también para la mejora del desempeño organizacional y la elevación del impacto social de las organizaciones objeto de investigación.

Por todo lo anteriormente expuesto, el objetivo de este trabajo es desarrollar un instrumento para la evaluación del impacto de la formación académica de posgrado, tomando como caso de estudio el Programa de Maestría en Gestión de la Calidad y Ambiental de la Universidad de La Habana. Se parte del estudio de un grupo de métodos existentes en la literatura internacional para evaluar el impacto de la capacitación, se hace la propuesta del instrumento y se aplica en un grupo de egresados del mencionado programa para su validación. Finalmente, se realiza un análisis de los aspectos que influyen sobre los impactos del programa.

Tanto el método propuesto, como las consideraciones realizadas en este trabajo son aplicables a otros programas de formación de posgrado de corte profesional y específicamente, en las temáticas de dirección, que pretenden influir en la mejora del desempeño de las organizaciones y contribuir de esta forma al desarrollo económico y social sustentable.

DESARROLLO

Las intervenciones para la formación y el desarrollo de competencias suelen incluir evaluaciones de la satisfacción o del aprendizaje alcanzado. Sin embargo, existe la tendencia a que los efectos de la capacitación se evalúen con menor frecuencia, aun cuando las empresas y los propios participantes deberían estar cada vez más interesados en conocerlos (Billorou, Pacheco & Vargas, 2011).

La evaluación del impacto de la capacitación es un proceso que posibilita el conocimiento de los efectos de un programa formativo en relación con las metas propuestas (eficacia) y los recursos asignados (eficiencia). Tiene como objetivo determinar si un programa produjo los efectos deseados en las personas e instituciones y si esos efectos son atribuibles a la intervención del programa. Por tanto, no es posible valorar el trabajo de capacitación sin evaluar la capacidad de los egresados, para transformar su aprendizaje en acciones concretas en el entorno laboral (Toral, 2007).

Siguiendo las ideas presentadas, el impacto de un programa de formación de posgrado con enfoque profesional puede ser definido como su "repercusión en cambios favorables en los niveles de competencia de los estudiantes, su desempeño en el puesto de trabajo, la eficiencia y la competitividad de las organizaciones y sus efectos en el entorno interno y externo".

En el contexto del proceso formativo se tiende a diferenciar entre la evaluación de la calidad del servicio que se brinda y la evaluación del impacto de la capacitación. Por ejemplo, Pineda (2000), define que la evaluación de la capacitación en las organizaciones es una estrategia necesaria para garantizar la calidad de las acciones de capacitación ejecutadas, para impulsar el proceso de aprendizaje permanente que exige la dinámica de los entornos actuales. Mientras que, la evaluación del impacto de la capacitación es un tipo concreto de evaluación que permite identificar los efectos reales que la capacitación tiene en la organización que recibe la capacitación y determinar los beneficios que aporta para el logro de los objetivos organizacionales.

La idea que se defiende en este trabajo es que la evaluación del impacto es parte integrante de la evaluación de la calidad de los programas formativos. Esto es así si se reconoce la calidad, conceptualizada en la familia de normas internacionales ISO 9000 (ISO, 2015), como el grado en el que un conjunto de características inherentes (en este caso al proceso formativo) cumple con las necesidades o expectativas establecidas por todas las partes interesadas en el desempeño del proceso.

En el entorno laboral el objetivo de la capacitación es dotar a las personas de conocimientos y destrezas, que se puedan aplicar en las organizaciones y permitan a las personas adoptar mejores comportamientos y actitudes, desarrollar su carrera profesional y obtener beneficios para la organización. En este sentido, Chiavenato (1992), propone tres criterios para valorar la eficacia de la capacitación:

·           Importancia: las actividades de capacitación se deben dirigir hacia los objetivos más importantes.

·           Transferibilidad: los conocimientos y habilidades ofertadas deben ser aplicables a la situación concreta.

·           Alineación sistémica: el sistema de conocimientos y habilidades desarrollado debe y tiene que ser aplicado a todo el sistema.

A un nivel macro, el impacto de determinadas acciones o intervenciones está asociado con los cambios en la calidad y modo de vida de las personas, de los grupos sociales, de las comunidades a diferentes niveles. Está relacionado, por tanto, con el logro del bienestar social, económico, político, ecológico, cultural, etcétera, de una sociedad determinada. Para Abdala (2014) la evaluación de impacto abarca todos los efectos generados por la planeación y a la ejecución del programa de formación, pueden ser estos efectos específicos y globales, buscados según los objetivos o no, positivos, negativos o neutros directos o indirectos. Plantea, además, que la sola puesta en marcha del programa puede generar efectos sobre los directamente involucrados hasta la sociedad toda.

En este trabajo se concuerda con autores que consideran la evaluación del impacto como una actividad del proceso de evaluación de la calidad de los programas formativos, en la que se evalúan aquellas variables que ponen de manifiesto el logro de las transformaciones esenciales propuestas (Espí Lacomba, Aruca Díaz & Lazo Machado, 2008). Se conceptualiza, entonces, la evaluación del impacto como el proceso dirigido a evaluar la correspondencia entre los objetivos del programa y los resultados alcanzados por los participantes en el entorno social concreto, con el propósito de valorar el proceso formativo y propiciar la necesaria retroalimentación para elevar la pertinencia social del programa.

La sistematización de las definiciones expuestas permite observar sus aspectos comunes y definir una primera condición a cumplir por el instrumento de evaluación del impacto de la capacitación: la necesidad de valorar el logro de los objetivos planificados, así como de medir el efecto de la formación en los participantes y en sus contextos de actuación.

Entre los modelos internacionalmente reconocidos para la evaluación del impacto de la capacitación está el modelo de Kirkpatrick (1959), el cual ha sido modificado por otros autores (Watkins, et al., 1998), su estructura básica ha aguantado el paso del tiempo lo que evidencia su solidez.

El modelo de Kirkpatrick está conformado por cuatro niveles:

1       Aprendizaje realizado por los participantes o nuevas competencias adquiridas gracias a la formación.

2       Reacción de los participantes ante la formación, es decir, nivel de satisfacción con la formación recibida.

3       Conducta de los participantes en el puesto de trabajo, es decir, transferencia de los aprendizajes realizados al propio puesto.

4       Resultados en la organización, es decir, efectos que la formación genera en las diferentes áreas de la organización.

El cuarto nivel de evaluación del modelo de Kirkpatrick es el que se corresponde con lo que comúnmente se denomina como "impacto". En este modelo se adopta un enfoque cualitativo del impacto de la formación y se propone concebir la medición de la rentabilidad como un elemento más de evaluación, interesante cuando es viable, pero se advierte que convertir la rentabilidad en la meta última de todo proceso evaluativo conduciría a una visión reduccionista del impacto de la formación. Además, Kirkpatrick sugiere seleccionar rigurosamente el momento de evaluación.

El modelo de Phillips (1990), a pesar de estar inspirado en los postulados de Kirkpatrick, tiene una visión más cuantitativa de la evaluación del impacto de la capacitación, propone  una metodología basada en el cálculo del retorno de la inversión como instrumento para medir sus resultados a nivel de rentabilidad exclusivamente. El modelo está conformado por cinco fases:

1       Recogida de datos.

2       Aislamiento de los efectos de la formación.

3       Clasificación de los beneficios en económicos y no económicos.

4       Conversión a valores monetarios.

5       Cálculo del retorno de inversión.

Wade (1999), concibe la evaluación del impacto como la medición del valor que la formación aporta a la organización. Este modelo tiene una concepción bidimensional de la evaluación del impacto: la evaluación de los resultados que la formación genera en el puesto de trabajo, detectable a través de indicadores cualitativos y económicos, y la evaluación del impacto que la formación genera en la organización, para lo que propone el análisis del coste-beneficio como instrumento de medida. Está conformado por cuatro niveles:

1       Respuesta: reacción ante la formación y el aprendizaje por parte de los participantes.

2       Acción: transferencia de aprendizajes al puesto de trabajo.

3       Resultados: efectos de la formación en el negocio, medidos mediante indicadores cuantitativos o duros y cualitativos o blandos.

4       Impacto de la formación en la organización a través del análisis del costo-beneficio.

Pineda (2000), parte del diseño de un plan sistemático, riguroso y coherente para responder de forma integrada a las cinco interrogantes básicas que afectan a la evaluación: ¿para quién evalúo?, ¿qué evalúo?, ¿quién evalúa?, ¿cuándo evalúo? y ¿cómo evaluar? A partir de las respuestas dadas a estas interrogantes se elaboran estrategias evaluativas que cubren la totalidad del proceso de formación.

En relación con los aspectos a evaluar, en el modelo de Pineda (2000) se definen seis niveles básicos:

1       Satisfacción del participante con la formación.

2       Logro de los objetivos de aprendizaje por los participantes.

3       Coherencia pedagógica del proceso de formación.

4       Transferencia de los aprendizajes al puesto de trabajo.

5       Impacto de la formación en los objetivos de la organización.

6       Rentabilidad de la formación para la organización.

Se plantea en el modelo de Pineda (2000), que los instrumentos a utilizar para la evaluación del impacto pueden ser múltiples: cuestionarios, entrevistas individuales y grupales, controles y test finales, actividades y productos de aprendizaje, observaciones sistemáticas, demostraciones, informes de evaluación, indicadores cualitativos y cuantitativos del impacto. Respecto al momento en que es conveniente evaluar plantea cuatro momentos básicos:

·           Antes de iniciar la formación: evaluación inicial o diagnóstica.

·           Durante la formación: evaluación procesual o formativa.

·           Al acabar la formación: evaluación final.

·           Un tiempo después de acabar la formación: evaluación diferida o de transferencia e impacto.

El Centro Interamericano para el Desarrollo del Conocimiento en la Formación Profesional de la Organización Internacional del Trabajo (OIT/Cinterfor) elabora la Guía para la Evaluación del Impacto de la Formación (Billorou, Pacheco & Vargas, 2011). Este modelo propone cinco niveles en la evaluación de las acciones formativas:

1.   Reacción o satisfacción de los participantes: se valora parcialmente el diseño y en  particular el proceso y los recursos utilizados, desde la perspectiva del participante.

2.   Aprendizaje: se valoran los primeros resultados de la formación que, en muchas ocasiones, constituyen por sí mismos el objetivo principal de las actividades formativas.

3.   Transferencia o aplicación: valorar los cambios en las competencias de las personas y hasta qué punto esta formación está siendo aplicada en los entornos de trabajo.

4.   Impacto: valora la relación "causa-efecto" mediante la traducción de los resultados de la formación en impactos.

5.   Retorno de la inversión: implica asignar valores económicos a los impactos para calcular la rentabilidad de la inversión que se realizó para llevar a cabo la formación.

El modelo de OIT/Cinterfor está concebido con una visión integral y abarcadora de la formación, se pueden obtener los impactos en tres categorías que van de lo general a lo particular: impacto en la sociedad, impacto en la empresa e impacto en la persona. Plantea que la evaluación del impacto se basa en el contraste entre la situación de partida y lo que ocurre una vez que la formación ha tenido lugar. Ese contraste busca revelar los cambios que se pueden atribuir a la intervención que se evalúa.

Con el objetivo de garantizar la calidad de los programas de formación que se imparten en las universidades cubanas, la Junta de Acreditación Nacional de la República de Cuba (JAN) ha elaborado diferentes Sistemas de Evaluación y Acreditación, Patrones de Calidad y Guías de Evaluación para instituciones, carreras y programas de formación de posgrado, así como los correspondientes Reglamentos para su puesta en vigor. En el Sistema de Evaluación y Acreditación de Maestrías la JAN (2014) ha establecido las pautas para determinar la calidad de los programas y propone un grupo de seis variables de calidad: I. Pertinencia social; II. Tradición de la institución y colaboración interinstitucional; III. Profesores y tutores; IV. Aseguramiento didáctico, material y administrativo; I. Estudiantes y VI. Currículo.

En la variable pertinencia social se plantea que los Programas de Maestría deben "prever en su estrategia los impactos que se propone producir, los cuales han de lograrse a través de la influencia en los procesos de transformación y desarrollo sostenible, mediante el efecto producido en el crecimiento espiritual y el desempeño en las funciones sociales de los egresados. Existen, y se emplean, formas y vías para la determinación de esos impactos" (República de Cuba. Junta de Acreditación Nacional,2014). El modelo plantea un grupo de indicadores que permiten evaluar esta variable, ellos son:

·           El programa se justifica por necesidades sociales relevantes (actuales y perspectivas).

·           Los resultados de investigación y del trabajo científico metodológico vinculados al programa han influido en procesos de desarrollo económico y social en los últimos años.

·           Efecto del programa en las funciones sociales de los egresados: desempeño profesional, producción intelectual, prestigio profesional.

·           Monitoreo de los impactos.

El análisis de los diferentes modelos citados permite establecer los aspectos que deben ser definidos para la elaboración del instrumento para evaluar el impacto de la formación en el Programa de Maestría objeto de estudio: ¿en qué nivel de evaluación del impacto de la formación se enmarca el instrumento a elaborar?, ¿qué aspectos del programa y sus efectos se pretende evaluar?, ¿en qué momento se aplicará el instrumento elaborado?

Caracterización del programa de maestría objeto de evaluación y su contexto

La Cátedra de Calidad, Metrología y Normalización de la Universidad de La Habana es un proyecto de colaboración académica y extensión universitaria encaminado a contribuir a la elevación de la cultura de la sociedad cubana en estas temáticas. Entre otras actividades, la Cátedra imparte un Programa de Maestría en Gestión de la Calidad y Ambiental orientado a un amplio perfil de profesionales, que trabajan estos temas en diferentes sectores de la economía, incluidos los centros de producción y servicios y los centros de investigación e instituciones académicas.

Los estudiantes del programa realizan trabajos de investigación-acción encaminados a la mejora del desempeño de las organizaciones, a partir de la aplicación de los conocimientos adquiridos e influyen en aspectos de la gestión organizacional que no habían sido suficientemente desarrollados. Entre las temáticas más abordadas por los maestrantes figuran: la integración de los sistemas de gestión en las organizaciones, establecimiento de programas de mejora de la calidad en las organizaciones, la calidad y los riesgos, en específico, en la industria farmacéutica y de equipos médicos, y el desempeño ambiental.

El programa se imparte a tiempo parcial y tiene una duración total de 3 a 5 años, lo que incluye las actividades lectivas (cursos presenciales obligatorios y opcionales); actividades investigativas que se evalúan en tres seminarios y la presentación del trabajo final de tesis y actividades propias de la profesión (publicaciones, presentaciones en eventos, auditorías y asesorías a otras instituciones y actividades docentes).

Mediante estas actividades se pretende lograr que el egresado sea un profesional capacitado para contribuir a la mejora del desempeño de su institución con creatividad e independencia, mediante su participación en actividades de investigación científica, a través del diseño, la implantación, operación y mejora de sistemas de gestión de la calidad y ambiental, integrados en la dirección estratégica. Además, capaz de colaborar en el contexto de equipos multidisciplinarios y contribuir a la formación de otros especialistas en este campo del conocimiento al poseer mayor calificación académica que un egresado del pregrado.

El impacto de la formación se evalúa en tres niveles (Reacción, aprendizaje, impacto) durante el proceso formativo y al finalizar el programa, según se resume en la Tabla 1.

Durante el proceso formativo, la percepción de los estudiantes sobre los cursos impartidos (Reacción) se evalúa mediante una encuesta de satisfacción al finalizar cada curso. El aprendizaje es evaluado directamente por los profesores que imparten los cursos, a través de preguntas en clases, seminarios, trabajos extraclase y exámenes, según los métodos de evaluación planificados en cada curso. En los tres seminarios se evalúan avances realizados en la investigación por los estudiantes y, por tanto, sus competencias investigativas.

La evaluación al finalizar el programa se realiza mediante una encuesta, que recoge parcialmente los aspectos necesarios en los tres niveles de impacto. El tercer nivel, el impacto propiamente dicho, se centra en la forma en que los egresados han transferido los conocimientos recibidos a su quehacer diario en la organización, cómo los utilizan y cómo la capacitación recibida repercute en su desempeño profesional y en la organización. Esta evaluación es realizada al concluir cada edición del programa, mediante encuestas a los egresados y sus empleadores. Sin embargo, el análisis exhaustivo de los modelos de evaluación del impacto reseñados en la primera parte de este trabajo, las experiencias adquiridas en la aplicación de la encuesta anteriormente diseñada, permitió proponer un nuevo instrumento como una oportunidad de mejora del proceso de autoevaluación de la calidad del Programa de Maestría.

Diseño del instrumento para evaluar el impacto del programa de maestría

El instrumento de evaluación diseñado combina la realización de un cuestionario a los egresados y un cuestionario a los directivos de los egresados, con entrevistas a los mismos grupos, con el objetivo de triangular la información obtenida en las cuatro herramientas.

Los cuestionarios incluyen preguntas elaboradas por los autores y algunas de las variables empleadas en el modelo de la OIT/CINTERFOR (Billorou, Pacheco & Vargas, 2011) y en las encuestas a los egresados y sus empleadores elaboradas por la JAN (2014) para la evaluación de la calidad de los programas de maestría, específicamente, en los aspectos relacionados con la medición de los impactos. En la Tabla 2 se resumen las variables evaluadas en las encuestas a los egresados y a empleadores, respectivamente, se agrupan en cinco dimensiones: aprendizaje, impacto en las personas, impacto en la organización, impacto en la sociedad, satisfacción.

Las encuestas fueron elaboradas en forma de cuestionarios adecuados para los egresados y sus empleadores. En las encuestas a empleadores se elimina la variable 5.1: aseguramiento del programa y se adiciona la variable 3.5 en la dimensión impacto en la organización, para recoger sus percepciones sobre los impactos del programa en la eficiencia, la calidad y el clima laboral de la organización. Las respuestas de la mayor parte de las variables se codificaron en una escala de Likert, desde un valor máximo de cinco puntos (totalmente, muy satisfactorio, muy grande, según correspondiera) hasta un valor mínimo de un punto (nada, insatisfactorio, ninguno). Las variables relacionadas con condiciones o posibilidades se respondieron en tres niveles: Si, No, Parcialmente. Para otras variables, como la 2.2 y 3.1, se concibieron preguntas con respuestas cerradas. El cumplimiento de las expectativas se valoró en porcentajes (60 % o menos, 70 %, 80 %, 90 %, 100 %).

A partir de las respuestas de los encuestados en la escala de Likert de cinco puntos, con el  uso del software SPSS, se calculó el coeficiente Alpha de Cronbach (α), para medir la fiabilidad de ambas encuestas. Para ambos cuestionarios se obtuvo un α > 0,7 evidenciando la fiabilidad de las encuestas elaboradas.

Como guía para las entrevistas se emplearon las mismas variables establecidas para la encuesta, se profundiza en las respuestas valorativas sobre las fortalezas y debilidades identificadas en el programa y las condiciones existentes en las organizaciones para efectuar innovaciones y acciones de mejora organizacionales, con vistas a identificar las posibles barreras existentes.

Resultados de la aplicación del instrumento elaborado

El instrumento desarrollado fue aplicado a los egresados (16 individuos) y sus empleadores (16 individuos) de la cuarta edición del Programa de Maestría en Gestión de la Calidad y Ambiental, que defendieron sus trabajos finales en el tiempo establecido en el programa, corresponde al 89 % de los estudiantes que concluyeron todas las actividades precedentes a la defensa de las tesis.

Los nuevos cuestionarios recogen mayor cantidad de información, que los anteriormente existentes en el Programa, por lo que son más eficaces para valorar su impacto, la calidad intrínseca del proceso formativo y determinar oportunidades de mejora en el mismo. Una valoración global de las proporciones de resultados obtenidos en los niveles 4 y 5 (por ejemplo, muy satisfecho y satisfecho) en algunas de las dimensiones y variables, se muestra en la Figura 1.

Ver Tabla 2

En la mayoría de los aspectos analizados se obtienen buenos resultados, no obstante, queda un conjunto de oportunidades de mejora, identificadas a partir de aquellas variables donde la satisfacción de los estudiantes no alcanzó un 70 % de las respuestas en los niveles 4 y 5 de la escala empleada. Estas variables están relacionadas con el insuficiente acceso a los medios de computación y a las tecnologías de la información y las comunicaciones, así como la carencia de instalaciones propias del programa para las actividades docentes. Estas carencias en infraestructura, no dependen directamente de la gestión del claustro  que  imparte el programa, reconocido como de excelencia por los estudiantes (Guerra Bretaña & Meizoso Valdés, 2010), por lo que su satisfacción general con el programa es muy alta.

Los resultados obtenidos en las encuestas mostraron cierta variación en las percepciones que tienen los egresados (p_e) y sus directivos (p_d) con respecto al aprendizaje, la satisfacción general con el programa y el cumplimiento de las expectativas. Sin embargo, al realizar un contraste de hipótesis (H₀: p_e= p_d; H₁: p_e≠ p_d) no se rechaza la hipótesis nula con los datos con que se cuenta para ninguna de las variables, por lo que no se acepta la hipótesis alterna sobre la existencia de diferencias significativas entre las percepciones de ambos grupos.

Para contrastar los resultados de las encuestas se analizaron las respuestas dadas en las entrevistas por los egresados y sus directivos en las mismas variables. Por ejemplo, cuando se les preguntó a los directivos sobre las competencias adquiridas por los egresados y sobre su satisfacción con la formación recibida por sus subordinados, el 100% de los directivos responde que los egresados poseen todas las competencias requeridas y que la calidad de la formación adquirida es óptima.

Con respecto a los conocimientos y habilidades investigativas adquiridos en el Programa de Maestría en Gestión de la Calidad y Ambiental, todos los encuestados coinciden en que ellos pueden ser fuente de innovación organizacional. Sin embargo, no en todos los casos se pudo lograr la implementación de las innovaciones propuestas.

Según el Manual de Oslo (OECD, 2005), la innovación organizacional es la implementación de un nuevo método de organización aplicado a las prácticas de negocio, al lugar de trabajo o a las relaciones externas de la empresa. Ellas involucran la implementación de nuevos métodos para la distribución de responsabilidades y/o la toma de decisiones, así como nuevos conceptos para la estructuración de las actividades empresariales. Ejemplos de este tipo de innovaciones son la implementación del trabajo en equipo, las auditorías con enfoque de riesgos, la implementación de sistemas de gestión de la calidad, ambiental u otros.

De manera general, los impactos del programa están relacionados significativamente con la posición que ocupa el estudiante en la organización y con las características de la misma para asimilar los cambios. Las barreras que dificultan la aplicación de los conocimientos y habilidades adquiridos para realizar mejoras en las organizaciones, según las opiniones de los egresados, están relacionadas con las políticas de los organismos superiores no favorables al cambio, falta de recursos económicos e infraestructura, falta de compromiso de la dirección con la mejora, resistencia a cambiar métodos de trabajo, falta de compromiso y participación del personal de la organización.

Adicionalmente, la inestabilidad laboral de los estudiantes, generada por sus aspiraciones a una mejor retribución al trabajo o por el proceso de reordenamiento de la economía cubana, ha incidido de manera negativa en los impactos reales del programa. En ocasiones los estudiantes se ven obligados a cambiar su temática de investigación, los resultados que han obtenido dejan de ser de interés para la empresa de origen o no resultan aplicables a la de destino. Otras investigaciones pueden quedar sin aplicación, a pesar de su rigor científico, al cambiar escenarios internos y externos, en que se desarrollan las empresas en cuestión.

En el contexto de los programas de formación de posgrado, coincidiendo con Bierly, et al. (2009), el proceso de transferencia del conocimiento organizacional puede ser dividido en dos etapas: primero el conocimiento es transferido de la universidad a la organización; segundo, el conocimiento es aplicado al desarrollo de nuevas capacidades (exploración) o a la mejora de capacidades existentes (explotación).

En este proceso la transferencia y aplicación del conocimiento y, por tanto, el éxito de la innovación dependen de la capacidad de absorción de la empresa, existen factores del contexto, tanto interno como externo, que afectan la transferencia del conocimiento y el éxito de las innovaciones. La capacidad de absorción está relacionada con la cultura organizacional, el liderazgo y las capacidades estratégicas de la organización que recibe el conocimiento (Cohen & Levinthal, 1990).

Teniendo en consideración que la transferencia y aplicación del conocimiento es un proceso interactivo, y que los factores culturales están relacionados con el conocimiento tácito enraizado en la experiencia, las habilidades y el saber-hacer organizacional, el éxito de las innovaciones generadas en los programas de formación de posgrado depende en gran medida de la comunicación existente entre las partes, que genere el necesario intercambio de saberes y experiencias y la colaboración en equipos de trabajo que incluyan miembros del claustro del programa, estudiantes y sus directivos.

CONCLUSIONES

El instrumento elaborado para evaluar el impacto del Programa de Maestría en Gestión de la Calidad y Ambiental combina la aplicación de encuestas y entrevistas a los egresados y sus directivos, a partir del análisis contextualizado del reconocido modelo de Kirkpatrick, el modelo del Centro Interamericano para el Desarrollo del Conocimiento en la Formación Profesional de la Organización Internacional del Trabajo y las herramientas para evaluar la calidad de los programas establecidas por la Junta de Acreditación Nacional.

Las variables evaluadas se agrupan en cinco dimensiones: aprendizaje, impacto en las personas, impacto en la organización, impacto en la sociedad y satisfacción. Las herramientas propuestas fueron validadas mediante su aplicación a egresados de la cuarta edición del Programa de Maestría en Gestión de la Calidad y Ambiental. La evaluación realizada permitió conocer impactos fundamentales e identificar oportunidades de mejora.

REFERENCIAS BIBLIOGRÁFICAS

Abdala E. (2014). Manual para la evaluación de impacto en programas de formación para jóvenes. Montevideo: CINTERFOR.

Bierly III, P. E., Damanpour, F., & Santoro, M. (2009). The application of external knowledge: organizational conditions for exploration and exploitation. Journal of Management Studies, 46(3), pp. 481–509.

Billorou, N., Pacheco, M., & Vargas, F. (2011). Guía para la evaluación de impacto de la formación.

Chiavenato, I. (1992). Administración de Recursos Humanos. México: McGraw-Hill.

Cohen, W. M., & Levinthal, D. A. (1990). Absorptive capacity: a new perspective on learning and innovation. Administrative Science Quarterly, 35, pp. 128–52.

Espí Lacomba, N., Aruca Díaz, A., &Lazo Machado, J. (2008). Estrategias para la mejora continua de la calidad y su evaluación en la educación superior.

Guerra Bretaña, R. M., & Meizoso Valdés, M. C. (2010). Impacto de la Formación de Másteres en Gestión de la Calidad y Ambiental.

ISO. (2009). ISO 9004:2009. Gestión para el éxito sostenido de una organización — enfoque de gestión de la calidad.

ISO. (2015). FDIS ISO 9001:2015. Sistemas de Gestión de la Calidad. Requisitos.

Kirkpatrick, D. L. (1959). Evaluating Training Programs. San Francisco: Berrett Koehler.

Núñez Jover, J. (2010). Conocimiento académico y sociedad. Ensayos sobre política universitaria de investigación y posgrado. La Habana: Editorial UH.

Organization for Economic Co-operation and Development. (2005). The Measurement of Scientific and Technological Activities: Guidelines for Collecting and Interpreting Innovation Data. Paris: OECD. Recuperado de http://www.uis.unesco.org/Library/Documents/OECDOsloManual05_en.pdf

Perkmann, M., & Walsh, K. (2009). The two faces of collaboration: impacts of university-industry relations on public research. Industrial and Corporate Change, 18(6), pp. 1033–1065.

Phillips, J. (2003). Return on Investment in Training and Performance Improvement Projects.

Pineda, P. (2000). Evaluación del Impacto de la Formación en las Organizaciones.

República de Cuba. Junta de Acreditación Nacional. (2014). Sistema de Evaluación y Acreditación de Maestrías. La Habana: JAN.

Toral, M. (2007). El Modelo de Formación de Alto Impacto. Recuperado de http://www.rrhhmagazine.com/inicio.asp?url=/articulo/formacion/formacion8.asp

Wade, P. (1999). Measuring the Impact of Training: A Practical Guide to Calculating Measurable Results.

Watkins, R, Leigh D., Foshay, R., & Kaufman R. (1998). Kirkpatrick Plus: Evaluation and continuous improvement with a community focus. Educational Technology Research & Development, 46, pp. 90-96.

Recibido: Marzo de 2016.

Aprobado: Junio de 2016

MSc. Fridel Julio Ramos Azcuy

E-mail: [e-mail]

MSc. María del Carmen Meizoso Valdés

E-mail: [e-mail]

Dra. C. Rosa Mayelin Guerra Bretaña

E-mail: [e-mail]