Servicios personalizados
Español (pdf)
Articulo en XML
Referencias del artículo
Enviar articulo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
El programa de Maestría en Dirección de la Universidad de Pinar del Río está concebido para el desarrollo de profesionales en los ámbitos de la gestión empresarial, pública y las cooperativas, así como de instituciones de la educación superior y de la ciencia, y tiene como finalidad potenciar la búsqueda de eficiencia, eficacia y efectividad en los resultados de las organizaciones y su efecto en el desarrollo sostenible del territorio.
Los conocimientos y habilidades que proporciona el programa, convierten a los egresados en agentes que propician e influyen en el aumento sistemático de la capacidad de cambio de la organización donde laboran, en correspondencia con las condiciones que demanda el desarrollo económico y social del país.
Desde esta perspectiva, se hace cada vez más necesario que las organizaciones desarrollen sus sistemas de dirección acorde a las exigencias del entorno socioeconómico donde están enclavadas, para lo cual la formación de los recursos humanos, con conocimientos teóricos y prácticos en estas temáticas es de fundamental importancia (Sánchez, Laguna & Téllez, 2018).
Como parte del proceso investigativo que dio origen a este trabajo, se detectó que, independientemente de que el Ministerio de Educación Superior (MES) a través de la Junta de Acreditación Nacional, establece un Sistema de Evaluación y Acreditación de la Educación Superior (SEAES), dentro del cual se integran varios subsistemas como el SEA-M (Subsistema de Evaluación y Acreditación de Maestrías) y de que existen otras investigaciones que abordan la temática en cuestión; el Programa Académico de Maestría en Dirección de la Universidad de Pinar del Río, carece de un mecanismo que particularice en sus objetivos y necesidades con vistas a evaluar su impacto en los diferentes actores que forman parte del proceso formativo.
Las consideraciones referidas previamente propiciaron el planteamiento del problema científico de la investigación: ¿cómo contribuir al mejoramiento de la calidad del Programa Académico de Maestría en Dirección, perteneciente a la Universidad de Pinar del Río?
La evaluación del Programa se orientará a lograr una gestión de la calidad que permita satisfacer las necesidades de los cursistas, los empleadores y la sociedad en general. Se apoyará en las autoevaluaciones, la realización de ajustes y mejora continua, la evaluación externa y la acreditación de la calidad.
Varios son los autores que han propuesto modelos, sistemas y metodologías relacionados con el tema en estudio. Se analizaron diversos referentes nacionales e internacionales, entre los que destacan: mo delo de (Kirkpatrick, D. L. & Kirkpatrick, J. D, 2009), modelo de Phillips (1990), modelo de (Wade, 1999), modelo de (Pineda, 2000), guía para la evaluación del impacto de la formación (Billorou, Pacheco & Vargas, 2011), Sistema de Evaluación y Acreditación de la Educación Superior (MES, 2018), instrumento propuesto por (Ramos et al. 2016), criterios para la evaluación del impacto académico de Programas de maestría, de (Mestre, 2016), estrategia metodológica de (Lara et al. 2018), la metodología para evaluar el impacto en el desarrollo local de (Sánchez et al. 2018), entre otros.
El objetivo que se propone este trabajo es elaborar un sistema de evaluación de impactos de la Maestría en Dirección, que contribuya a la mejora continua de la calidad del Programa.
Materiales y métodos
En el desarrollo de la investigación se emplearon los métodos de nivel teórico: histórico lógico, sistémico y de modelación con el apoyo de las técnicas del análisis de documentos y los procedimientos de análisis y síntesis e inducción y deducción. Todo ello sustentado por el método materialista dialéctico.
Se determinaron los principales aportes y limitaciones de modelos, sistemas y metodologías que anteceden al propuesto en el trabajo y con el uso del método sistémico y de modelación, se propuso el sistema de evaluación de impactos de la Maestría en Dirección, estableciendo sus componentes y relaciones internas.
Para la instrumentación del sistema se propone la aplicación de técnicas, como las encuestas y entrevistas a estudiantes, egresados, claustro, empleadores y directivos del área a la cual pertenece el Programa de Maestría en Dirección; lo que permitirá obtener información necesaria para tomar acción con respecto a su mejora continua.
El tipo de investigación desarrollada fue descriptiva, en tanto se analizó el proceso de evaluación de impactos y sus componentes. Por otro lado, también se consideró esta investigación como de desarrollo tecnológico o fundamental orientada, debido a que estuvo dirigida a adquirir nuevos conocimientos orientados a un objetivo práctico bien definido y a la obtención de un nuevo sistema a una escala tal que permita su posterior generalización.
Resultados
Teniendo en cuenta que un sistema es el conjunto de elementos interrelacionados o que interactúan (Oficina Nacional de Normalización, 2015) y que la evaluación del impacto del proceso educativo es el proceso que mide el grado de trascendencia que tiene la aplicación del objeto eva luable en el entorno socio económico concreto, con el fin de valorar su efecto sobre los objetos aplicados y asegu rar la selección mejorada de nuevos objetos de evalua ción (Añorga, 2014); el Sistema de Evaluación de Impactos de la Maestría en Dirección (SEI-MD), se fundamenta a partir de la necesidad de lograr una mejor gestión de la calidad del Programa evaluando su impacto en el entorno socioeconómico donde intervienen los actores implicados, mediante el empleo de diferentes instrumentos que contribuyan a su mejora continua.
La evaluación del impacto de proyectos y de programas, resulta una tarea compleja, ya que medir el impacto es tratar de determinar lo que se ha alcanzado, lo cual generalmente es difícil cuando se trata de evaluar cambios cualitativos (Lara, Navales & Bravo, 2018).
A partir de los elementos planteados con anterioridad, se propone un sistema de evaluación de impactos de la Maestría en Dirección, integrado por los siguientes componentes:
Objeto
Objetivo
Principios
Premisas
Actores involucrados. Funciones
Representación gráfica
Explicación de sus elementos y relaciones
Formas de instrumentación
Patrón de calidad
Una explicación detallada de estos componentes se ofrece a continuación:
1. Objeto
2. Objetivo
3. Principios: participativa, transparente, reflexiva y ética
4. Premisas
Que exista voluntad y compromiso de los actores involucrados con el proceso de evaluación de impactos del Programa.
Que el Programa se encuentre en ejecución, de modo que se puedan aplicar los instrumentos diseñados y realizar valoraciones sistemáticas de su impacto.
Que se constituya una comisión autoevaluadora, encargada de gestionar la evaluación de los impactos.
5. Actores involucrados. Funciones
Miembros de la Comisión para la Educación del Posgrado (COPEP)-Universidad de Pinar del Río (UPR)
Miembros del Consejo de Dirección Facultad de Ciencias Económicas y Empresariales
Miembros del Consejo Científico Ramal de Ciencias Económicas
Miembros del Comité Académico
Claustro
Estudiantes
Egresados
Empleadores
Miembros de la Comisión autoevaluadora
Las funciones de estos actores aparecen reflejadas en diferentes documentos, tales como reglamentos, normas, manuales, instrucciones y resoluciones a distintos niveles y que pueden ser consultados por los interesados.
Solo se detallarán las funciones de la comisión autoevaluadora, creada a los efectos del Sistema de Evaluación de Impactos del Programa de Maestría en Dirección (SEI-MD).
Funciones de la Comisión Autoevaluadora:
Realizar el proceso de autoevaluación sistemática del Programa.
Aplicar los diferentes instrumentos de evaluación de impactos diseñados como parte del SEI-MD.
Procesar la información obtenida.
Analizar los resultados derivados del procesamiento de la información.
Entregar al Comité Académico los informes resultantes del proceso de autoevaluación.
6. Representación gráfica del sistema propuesto
7. Explicación de sus elementos y relaciones
La autoevaluación es un proceso integral, orientado a la determinación del estado, el funcionamiento y la proyección del Programa en correspondencia con lo predeterminado, a la obtención de nuevos conocimientos sobre el objeto que se evalúa para emitir juicios que contribuyan a fortalecer el proceso y a corregir las debilidades.
Su producto principal es el plan de mejora y la elevación de la cultura de la calidad, pero para la realización de un informe de autoevaluación al finalizar cada edición, es necesario evaluar sistemáticamente la marcha del Programa y corregir a tiempo las desviaciones que puedan presentarse.
Es en esta evaluación sistemática que centra su atención el sistema propuesto, aunque no excluye la autoevaluación al finalizar cada edición, tal como lo establece el SEAES.
El SEI-MD es un subsistema del SEA-M, que a su vez en un subsistema del SEAES y tiene como entradas los medios a disposición del Programa, o sea, la infraestructura y los materiales que sirven de apoyo para la ejecución exitosa del mismo, así como los instrumentos de recolección de la información, al definir en los mismos su diseño, objetivos, estructura y tipos.
En la evaluación de impactos participan los actores definidos en apartados anteriores, los cuales están estrechamente relacionados con el proceso en cuestión, al ser parte del mismo como población objeto de estudio o como decisores que gestionan, coordinan o supervisan el proceso. El papel de la comisión autoevaluadora es esencial, en tanto, se encargará de llevar a vías de hecho el sistema propuesto.
Como parte de este proceso, se realizará la aplicación de los instrumentos, el procesamiento de la información y la interpretación de los resultados; lo cual conducirá como salidas del sistema a la concreción de los resultados y a la presentación de los informes de autoevaluación pertinentes, con sus respectivos planes de mejora. Al concluir cada edición, tal como lo establece el SEAES, se realizará un informe de autoevaluación.
Además, se propone la realización de un informe resumen de evaluación de impactos con la siguiente estructura: portada, introducción, principales resultados de la edición (cualitativos y cuantitativos), explicación de los instrumentos utilizados para evaluar el impacto y de los actores involucrados, resultados del análisis derivado de la aplicación de los instrumentos, propuestas de perfeccionamiento (instrumentos, programa) y conclusiones.
Los instrumentos a aplicar forman parte de la evaluación sistemática referida con anterioridad, al mismo tiempo, la información obtenida a partir de su procesamiento sirve de referente para la elaboración del informe de autoevaluación al término de la duración del Programa.
Cierra el sistema, el proceso de retroalimentación, con la consecuente comunicación de los resultados (parciales y finales) a los actores pertinentes, dígase: miembros del Comité Académico, Consejo de Dirección, Consejo Científico Ramal de Ciencias Económicas y COPEP-UPR, a fin de tomar acciones correctivas y/o preventivas que permitan la mejora continua del Programa de Maestría.
Desde una apreciación general, Añorga (como se citó en Rodríguez, Mena & Lazo, 2017), asigna una importancia elevada a la evaluación como elemento esencial de retroalimentación.
La retroalimentación permitirá, el perfeccionamiento de los instrumentos de evaluación, de modo que puedan ser adecuados a las particularidades de la población objeto de estudio y a las necesidades de información del Programa para su mejora continua. De igual modo, deberán valorarse a partir de los resultados obtenidos y de acuerdo con la categoría superior de acreditación de la calidad que posea el Programa, aquellos cambios o ajustes necesarios para su perfeccionamiento.
La evaluación del impacto tributa a retroalimentar el sistema y como consecuencia a elevar su calidad y a incrementar su repercusión en el desarrollo económico y social del territorio.
8. Formas de instrumentación
Para planificar y dar seguimiento a las actividades académicas e investigativas previstas en el Programa y así poder determinar su impacto, se divide este proceso en tres momentos fundamentales: antes, durante y después de la formación; teniendo en cuenta el empleo de técnicas y acciones, tales como encuestas, entrevistas, revisión documental, trabajo grupal, visitas a entidades, intercambios de experiencias, entre otras.
En la etapa «antes de la formación» se establece un pronóstico del posible impacto que tendrá la misma, a través de un conjunto de elementos o indicadores relacionados con el contexto socioeconómico, la población objetivo, los problemas y necesidades de superación, los insumos necesarios y el nivel de motivación por aprender.
La segunda etapa: «durante la formación», es el momento donde se ejecutan todas las acciones comprendidas en el cronograma y se evalúa la efectividad del mismo, teniendo en cuenta su correspondencia con las necesidades e intereses de los implicados en el proceso. En esta etapa se aplicarán instrumentos para evaluar la satisfacción de los estudiantes con cada curso impartido.
Por último, la etapa «después de la formación», permite valorar si se cumplieron los objetivos propuestos y adoptar cualquier ajuste o adecuación para las futuras ediciones. Se comprueba si se modificaron los indicadores establecidos en la primera etapa, si se cumplieron las expectativas de los implicados y si hubo transferencia de conocimientos hacia otros directivos y trabajadores de las entidades y organismos implicados en el proceso.
Esta última etapa estará compuesta por dos fases: inmediata y mediata. En la fase inmediata se valorará el nivel de satisfacción de los estudiantes con el programa de Maestría al concluir la edición. Se aplicarán instrumentos también, como parte de la fase mediata, al transcurrir un año de concluida la edición, de manera que pueda evaluarse el grado de aplicación de lo aprendido en sus contextos laborales. Lo anterior no implica que en ese lapso no se apliquen instrumentos que permitan reajustar el Programa. De hecho, en ese período ya estará en ejecución otra edición y por tanto, se estarán aplicando herramientas para ese fin.
La Tabla 1 resume los niveles y etapas que se tendrán en cuenta como parte del SEI-MD.
Tabla 1 Niveles y etapas para la evaluación del impacto del Programa de Maestría en Dirección.
| Etapas | ||
|---|---|---|
| Niveles | Durante el proceso formativo | Al finalizar el Programa |
| 1. Reacción: Mide percepción sobre formación impartida. | Se evalúa la satisfac ción de los estudian tes con cada curso impartido. | Se evalúa la sa tisfacción de los egresados y de sus empleadores con respecto al Programa. |
| 2. Aprendizaje: Se evalúa si se han alcanzado los objetivos. | Se evalúa el aprendi zaje de los estudian tes en cada curso impartido. Los avances en investigación se evalúan en los talleres de tesis. | Se evalúa si los egresados han adquirido las competencias planificadas en el Programa, teniendo en cuenta los criterios de los egresados y de sus empleadores. |
| 3. Impacto: Se evalúan los efec tos del Programa en los egresados y sus contextos laborales. | Se evalúa si los egresados han transferido los conocimientos aprendidos en cada curso a su contexto laboral. | Se evalúa si los egresados han transferido los conocimientos recibidos a su quehacer diario y cómo la formación recibida repercute en su desempeño profesional y en la organización. |
Fuente: Adaptado de Ramos, Meizoso & Guerra (2016)
Se propone aplicar los siguientes instrumentos y acciones para la evaluación del impacto del Programa de Maestría en Dirección:
En la búsqueda de la operacionalización del proceso de evaluación de impactos del Programa, se tendrá en cuenta el conjunto de indicadores propuestos en la guía de evaluación del SEA-M, que simbolizan de manera cualitativa o cuantitativa aspectos relevantes en los que se manifiestan fortalezas y debilidades. Los indicadores se desglosan en criterios de evaluación que en su conjunto caracterizan a estos.
9. Patrón de calidad
En correspondencia con lo expuesto en el SEAES Ministerio de Educación Superior (MES, 2018), el patrón de calidad se identifica con un modelo ideal al cual debe aproximarse la calidad del objeto evaluado. En él se define el «deber ser» de los programas o Instituciones de Educación Superior, entendiendo por calidad la conjunción de la excelencia académica y la pertinencia social dada por los fines del desarrollo del proyecto histórico, sociocultural y económico cubano. Constituye la descripción de un conjunto de cualidades estables expresadas en variables e indicadores en los distintos subsistemas del SEAES.
Para determinar en qué medida un Programa de maestría satisface los estándares de calidad correspondientes, se establecen cinco variables (MES, 2018):
No es interés del sistema propuesto retomar lo que establece el SEAES para la autoevaluación de un programa académico de posgrado; aunque el SEI-MD no estaría completo si no tiene en cuenta el Patrón de Calidad propuesto como parte del SEA-M que sirve de referencia para realizar el informe de autoevaluación al cierre de cada edición, como base para la apertura de una nueva edición y para la solicitud de la evaluación externa a los órganos competentes.
Por tal razón, constituirá un referente obligado para el SEI-MD lo contentivo en el SEAES y en el subsistema SEA-M, dígase patrón de calidad, guía de evaluación y manual de implementación de las maestrías, así como los modelos y anexos exigidos para la confección del informe de autoevaluación del Programa.
Discusión
Para la propuesta de Sistema de Evaluación de Impactos de la Maestría en Dirección sirvieron como referentes diversos modelos, sistemas y metodologías relacionados con el tema de análisis. Entre los modelos internacionalmente reconocidos para la evaluación del impacto de la capacitación está el mo delo de (Kirkpatrick, D. L. & Kirkpatrick, J. D, 2009). También destacan los siguientes: modelo de Phillips (1990), modelo de (Wade, 1999), modelo de (Pineda, 2000), la guía para la evaluación del impacto de la formación del Centro Interamericano para el Desarrollo del Conocimiento en la Formación Profesional de la Organización Internacional del Trabajo (OIT/Cinterfor) (Billorou, Pacheco& Vargas, 2011).
Por otro lado, en el contexto cubano resaltan: el Sistema de Evaluación y Acreditación de la Educación Superior (MES, 2018), el instrumento para la evaluación del impacto de la formación académica, propuesto por (Ramos et al. 2016), los criterios para la evaluación del impacto académico de programas de maestría, de (Mestre, 2016), la estrategia metodológica para la evaluación del impacto de la Maestría en Educación de la Universidad de Cienfuegos (Lara et al. 2018), la metodología para evaluar el impacto en el desarrollo local del programa de Maestría en Contabilidad Gerencial de la Universidad de Holguín, Cuba (Sánchez et al. 2018), entre otros.
Como elementos comunes de los modelos citados, vistos como aportes considerados en la propuesta realizada, se destacan los siguientes:
El establecimiento de cuatro niveles de aprendizaje: (1) Aprendizaje realizado por los participantes o nuevas competencias adquiridas gracias a la formación, (2) reacción de los participantes ante la formación, es decir, nivel de satisfacción con la formación recibida, (3) conducta de los participantes en el puesto de trabajo, o sea, transferencia de los aprendizajes realizados al propio puesto y (4) resultados en la organización, es decir, efectos que la formación genera en las diferentes áreas de la organización.
Los momentos en que se debe evaluar el aprendizaje: antes de iniciar la formación, durante la formación y al concluir la formación, incluyendo este último, un tiempo después de finalizada la formación, de modo que permita evaluar la transferencia e impacto de la misma.
Dentro de las principales limitaciones de los modelos estudiados se encuentran:
No ofrecen las formas de instrumentación, o sea, los instrumentos que permitirán evaluar el impacto del Programa.
No aparece suficientemente tratado el proceso de retroalimentación del sistema.
El estudio de los referentes teórico-metodológicos sobre la evaluación de impactos en los procesos formativos, permitió establecer un conjunto de aportes y limitaciones que sirvieron de base para el diseño del Sistema de Evaluación de Impactos de la Maestría en Dirección.
Se diseñó un sistema de evaluación de impactos para el Programa Académico de Posgrado Maestría en Dirección, de la Universidad de Pinar del Río,sustentado en concepciones teórico metodológicas y conformado por nueve componentes,los cuales en su conjunto contribuirán a la mejora continua del Programa en función de la calidad.
