Introducción
Los retos de la educación superior para el siglo XXI plantean la necesidad de unnuevo proceso educativo, fundamentado en los principios de excelencia, calidad ypertinencia.La evaluación es entendida como la verificación del cumplimiento de criterios reestablecidos con el fin de acreditar la calidad.1) Las relaciones existentes entre calidad educativa y evaluación de lacalidad resultan tan estrechas que imposibilitan en la práctica concebirlasindependientemente. Corresponde a la evaluación demostrar la existencia decalidad, evidenciarla e incluso certificarla socialmente.2
A diferencia de las evaluaciones generales, que pueden responder a muchos tipos de preguntas, las evaluaciones de impacto se preocupan por saber cuál es el impacto (o efecto causal) de un programa, proyecto de investigación, sobre un resultado de interés.3,4
Desde la óptica de la Educación Avanzada, la evaluación del impacto, constituye un proceso evaluativo que por su alcance y perspectiva merece ser llevado a cabo porque proporciona las herramientas para la medición de la magnitud del impacto en un complejo marco de interacción multifactorial.5,6
El objetivo de la capacitación es dotar a las personas de conocimientos y destrezas, que se puedan aplicar en las organizaciones y permitan a las personas adoptar mejores comportamientos y acti tudes, desarrollar su carrera profesional y obtener bene ficios para la organización.7
El programa de doctorado de Ingeniería Química en la Universidad de Oriente estructura el proceso de formación docto ral en un sistema que asume la investigación científica como centro, y contempla, además, otras actividades académicas. La estructura del programa, ha sido objeto de procesos de evaluación interna y externa, con el propósito de lograr su perfeccionamiento metodológico, para ello se han considerado las crecientes expectativas y necesidades del territorio, la práctica económica y social de sus egresados y las líneas de investigación abordadas en el programa, lo que ha llevado a la realización de cambios para la sostenibilidad, del mismo.
El objetivo de este trabajo es elaborar un sistema de evaluación de impactos del Doctorado en Ingeniería Química de la Universidad de Oriente, que contribuya a la mejora continua de la calidad del Programa.
Fundamentación teórica
El conocimiento de los impactos de la formación es un aspecto clave en la evaluación de la calidad del proceso formativo no solo para las organizaciones que reciben la capacitación, sino también para las instituciones que la brindan, como una forma de evaluar la calidad del proceso formativo.
La formación incide en aspectos tales como, la productividad, clima laboral, aprendizaje organizacional, procesos de innovación y ventajas comparativas de la organización. Por tanto, se debe considerar la evaluación de impacto de la formación como una herramienta útil para la toma de decisiones en diferentes ámbitos. Las evaluaciones de impacto se asocian directamente a la toma de decisiones y a su potencial para mejorar y ajustar las acciones formativas. Asimismo, se convierte en una herramienta significativa para mejorar la gestión del programa y una apertura al aprendizaje organizacional.
El impacto de un programa de formación de posgrado con enfoque profesio nal puede ser definido como su repercusión en cambios favorables en los niveles de competencia de los estudiantes, su desempeño en el puesto de trabajo, la eficiencia y la competitividad de las organizaciones y sus efectos en el entorno interno y externo.8
La sistematización de las definiciones expuestas permi te observar sus aspectos comunes y definir una primera condición a cumplir por el instrumento de evaluación del impacto de la capacitación: la necesidad de medir el efecto de la formación en los participantes y en sus contextos de actuación.
Es preciso conceptualizar el impacto cuando éste se vincula a la evaluación de un programa académico. Los cambios consolidados en el tiempo provocan efectos en la institución educativa, en el entorno social en que se desenvuelven, en el desarrollo de un trabajo creador, si éste se asume como el resultado de una participación comprometida de los individuos en el proceso de control y evaluación de su práctica, que conduzca al mejoramiento de la calidad, del bienestar y a la consecución de intereses tanto organizacionales como individuales. Evidentemente éstos son cambios sostenibles, los que hacen evolucionar un programa, siempre hacia la mejora.
Entre los modelos internacionalmente reconocidos para la evaluación del impacto de la capacitación está el mo delo de Pineda que parte del diseño de un plan sistemático, riguroso y coherente para responder de forma integra da a las cinco interrogantes básicas que afectan a la evaluación: ¿para quién evalúo?, ¿qué evalúo?, ¿quién evalúa?, ¿cuándo evalúo? y ¿cómo evaluar? A partir de las respuestas dadas a estas interrogantes se elaboran estrategias evaluativas que cubren la totalidad del proce so de formación.9
El Centro Interamericano para el Desarrollo del Conocimiento en la Formación Profesional de la Organización Internacional del Trabajo (OIT/Cinterfor) elabora la Guía para la Evaluación del Impacto de la Formación. Este modelo propone cinco niveles en la evaluación de las acciones formativas:10
Reacción o satisfacción de los participantes: se valora parcialmente el diseño y en particular el proce so y los recursos utilizados, desde la perspectiva del participante.
Aprendizaje: se valoran los primeros resultados de la formación que, en muchas ocasiones, constituyen por sí mismos el objetivo principal de las actividades formativas.
Transferencia o aplicación: valorar los cambios en las competencias de las personas y hasta qué punto esta formación está siendo aplicada en los entornos de trabajo.
Impacto: valora la relación “causa-efecto” mediante la traducción de los resultados de la formación en impactos.
Retorno de la inversión: implica asignar valores eco nómicos a los impactos para calcular la rentabilidad de la inversión que se realizó para llevar a cabo la formación.
El modelo de OIT/Cinterfor está concebido con una visión integral y abarcadora de la formación, se pueden obtener los impactos en tres categorías que van de lo general a lo particular: impacto en la sociedad, impacto en la empresa e impacto en la persona. Plantea que la evaluación del impacto se basa en el contraste entre la situación de partida y lo que ocurre una vez que la formación ha tenido lugar. Ese contraste busca revelar los cambios que se pueden atribuir a la intervención que se evalúa.
Métodos utilizados
En el desarrollo de la investigación se emplearon los métodos de nivel teórico: histórico- lógico, sistémico y de modelación con el apoyo de las técnicas del análisis de documentos y los procedimientos de análisis y síntesis e inducción y deducción. Todo ello, sustentado por el método materialista dialéctico.
Se determinaron los principales aportes y limitaciones de modelos, sistemas y metodologías que anteceden al propuesto en el trabajo y con el uso del método sistémico y de modelación, se propuso el sistema de evaluación de impactos del Doctorado de Ingeniería Química, estableciendo sus componentes y relaciones internas.
Para la instrumentación del sistema se propone la aplicación de técnicas, como las encuestas y entrevistas a doctorandos, egresados, claustro, empleadores y directivos del área a la cual pertenece el Programa de Doctorado; lo que permitirá obtener información necesaria para tomar acción con respecto a su mejora continua.
El tipo de investigación desarrollada fue descriptiva, en tanto se analizó el proceso de evaluación de impactos y sus componentes. Por otro lado, también se consideró esta investigación como de desarrollo tecnológico o fundamental orientada, debido a que estuvo dirigida a adquirir nuevos conocimientos orientados a un objetivo práctico bien definido y a la obtención de un nuevo sistema a una escala tal que permita su posterior generalización.
Resultados y su discusión
En este trabajo se concuerda con los autores que consideran la evaluación del impacto como una actividad del proceso de evaluación de la calidad de los programas formativos, en la que se evalúan aquellas variables que ponen de manifiesto el logro de las transformaciones esenciales propuestas.
La sistematización de las definiciones expuestas permite observar sus aspectos comunes y definir una primera condición a cumplir por el instrumento de evaluación del impacto de la capacitación: la necesidad de valorar el logro de los objetivos planificados, así como de medir el efecto de la formación en los participantes y en sus contextos de actuación.
El análisis de los diferentes modelos citados permitió es tablecer los aspectos que deben ser definidos para la elaboración del instrumento para evaluar el impacto de la formación en el Programa de Doctorado objeto de estudio.
Teniendo en cuenta que un sistema es el conjunto de elementos interrelacionados o que interactúan 11 y que la evaluación del impacto del proceso educativo es el proceso que mide el grado de trascendencia que tiene la aplicación del objeto evaluable en el entorno socioeconómico concreto, con el fin de valorar su efecto sobre los objetos aplicados y asegurar la selección mejorada de nuevos objetos de evaluación;12 el Sistema de Evaluación de Impactos del doctorado de Ingeniería Química, se fundamenta a partir de la necesidad de lograr una mejor gestión de la calidad del Programa evaluando su impacto en el entorno socioeconómico donde intervienen los actores implicados, mediante el empleo de diferentes instrumentos que contribuyan a su mejora continua.
A partir de los elementos planteados con anterioridad, se propone un sistema de evaluación de impactos del Programa de Doctorado en Ingeniería Química de la Universidad de Oriente, integrado por los componentes que se presentan en la figura 1.
Una explicación detallada de estos componentes se ofrece a continuación:
Objeto: proceso de evaluación del impacto del Programa de Doctorado de Ingeniería Química.
Objetivo: evaluar en términos cualitativos y cuantitativos la pertinencia del programa.
Principios: participativa, transparente, reflexiva y ética.
Actores involucrados: miembros del Comité Académico, claustro, doctorandos, egresados, empleadores y miembros de la Comisión autoevaluadora.
Formas de instrumentación: para planificar y dar seguimiento a las actividades académicas e investigativas previstas en el Programa y así poder determinar su impacto, se divide este proceso en tres momentos fundamentales: antes, durante y después de la formación; teniendo en cuenta el empleo de técnicas y acciones, tales como encuestas, entrevistas, revisión documental, trabajo grupal, visitas a entidades, intercambios de experiencias, entre otras.
En la etapa antes de la formación se establece un pronóstico del posible impacto que tendrá la misma, a través de un conjunto de elementos o indicadores relacionados con el contexto socioeconómico, la población objetivo, los problemas y necesidades de superación.
La segunda etapa: durante la formación, es el momento donde se ejecutan todas las acciones comprendidas en el plan de formación del doctorando y se evalúa la efectividad del mismo, teniendo en cuenta su correspondencia con las necesidades e intereses de los implicados en el proceso. En esta etapa se aplicarán instrumentos para evaluar el crecimiento individual y la satisfacción de los doctorandos con su proceso de formación teórica, metodológica, técnica e investigativa.
Por último, la etapa después de la formación, permite valorar si se cumplieron los objetivos propuestos y adoptar cualquier ajuste o adecuación para la formación de los restantes doctorandos. En esta etapa se comprueba si se modificaron los indicadores establecidos en la primera etapa, si se cumplieron las expectativas de los implicados y si hubo transferencia de conocimientos hacia otros directivos y trabajadores de las entidades y organismos implicados en el proceso y el impacto que ha producido en el ámbito económico y social de la introducción de los resultados de los graduados en los territorios donde realizan su actividad.
Dimensiones y sistema de actividades: El sistema de evaluación de impactos del Programa de Doctorado en Ingeniería Química de la Universidad de Oriente está integrado por las siguientes dimensiones: impacto en el crecimiento individual, impacto en el crecimiento organizacional e impacto socio económico y se presenta en la figura 2.
En la tabla 1 se resumen las actividades que como vía de retroalimentación, seguimiento y monitoreo se realizan en la dimensión impacto del crecimiento individual que incluye doctorandos y claustro.
El impacto del crecimiento organizacional incluye el crecimiento del Programa de Doctorado y de la Universidad de Oriente.
El impacto del proceso de formación en el crecimiento organizacional del propio Programa de doctorado se evalúa mediante laincorporación y participación permanente de todos los egresados a las sesiones científicas, el aumento de los convenios y el vínculo con las empresas y el enriquecimiento del claustro con la incorporación de doctores egresados del programa.
Para valorar el impacto del Programa en la Universidad de Oriente se proponen las siguientes actividades:
Controlar y estimular la introducción de los resultados de las investigaciones en el pregrado perfeccionando, actualizando y/o incorporando asignaturas a los currículos base, propio y optativo/electivo.
Controlar y estimular la actualización de contenidos y/o bibliografía en los cursos de posgrado, especialidades de posgrado y maestrías.
Evidenciar el tránsito de los egresados a categorías docentes e investigativas superiores.
Comprobar la incorporación de los egresados al claustro de la carrera de Ingeniería Química como vía de garantizar el relevo generacional del claustro.
Las actividades a realizar para evaluar el impacto socio económico del Programa que incluye: enfoque país, sector/rama/OACE y empresarial son:
Realizar encuestas a los egresados del doctorado y en ellas, valorar:
impacto de la formación doctoral en el crecimiento social y humano, desempeño laboraly en la solución de los problemas profesionales a los que se enfrentan.
el papel transformador que han jugado en sus áreas de incidencia.
el nivel de generalización de los aportes teórico y práctico de su investigación doctoral.
Monitorear y promover la participación de los egresados del doctorado en eventos científicos de distintos niveles, como vía de generalización y socialización de sus aportes científicos.
Controlar y estimular por cada área administrativa la continuidad de la producción científica de los egresados del doctorado, como vía de generalización y socialización de sus aportes científicos. Promover su publicación en revistas de alto impacto.
Registrar los reconocimientos y premios nacionales o internacionales obtenidos por los egresados que avalan la producción científica.
Las entrevistas a empleadores de solicitantes, doctorandos y egresados, para constatar el impacto de la formación doctoral en su desempeño laboral y en la solución de los problemas profesionales a los que se enfrentan.
Sistematizar las respuestas (aportes más significativos)del programa a la Agenda Educativa 2030, Objetivos de Desarrollo Sostenible, Ejes y Sectores Estratégicos.
Conclusiones
El Sistema de Evaluación de Impactos del doctorado de Ingeniería Química, se fundamenta a partir de la necesidad de lograr una mejor gestión de la calidad del Programa monitoreando su impacto en el entorno socioeconómico donde intervienen los actores implicados, mediante el empleo de diferentes instrumentos que contribuyan a su mejora continua.
El sistema propuesto está conformado por seis componentes, los cuales en su conjunto contribuirán a la mejora continua de la calidad del Programa en cuestión.
Para planificar y dar seguimiento a las actividades académicas e investigativas previstas en el Programa y así poder determinar su impacto, se divide este proceso en tres momentos fundamentales: antes, durante y después de la formación; teniendo en cuenta el empleo de técnicas y acciones, tales como: encuestas, entrevistas, revisión documental, trabajo grupal, visitas a entidades, intercambios de experiencias, sistematización de aprendizajes y buenas prácticas, entre otras.
Las dimensiones para la evaluación del impacto del Programa de Doctorado en Ingeniería Química de la Universidad de Oriente son: impacto del crecimiento individual que incluye doctorandos y claustro, impacto en el crecimiento organizacional del Programa de Doctorado y de la Universidad e impacto socio económico que incluye: enfoque país, sector/rama/OACE y empresarial.