(pdf)
SciELO 
SciELO 
Permalink
INTRODUCCIÓN
La calidad y su gestión en las universidades, es un imperativo si de lograr desarrollo se trata. Más aún ante la necesidad de dar cumplimiento a los objetivos de la Agenda Educativa 2030, donde se resumen los más sublimes deseos de la humanidad en pos de lograr un desarrollo sostenible y sustentable para los ciudadanos.1
La calidad académica constituye una prioridad en el contexto universitario global contemporáneo. De forma gradual, se aprecia una necesidad de que las universidades evidencien su responsabilidad social por medio de instrumentos que validen su quehacer, donde se exige a dichas instituciones certificar los niveles de calidad en el desarrollo de sus procesos sustantivos. Para esto es el proceso de autoevaluación, evaluación externa y acreditación. Corresponde a la evaluación demostrar la existencia de calidad, evidenciarla e incluso certificarla ante la sociedad.2
Para la Universidad de Ciencias Médicas de Matanzas (UCMM) esto reviste especial interés, pues como resultado de los más de cincuenta años de experiencia en el desarrollo de la educación médica superior, y en la actualidad con sus más de setenta programas de formación entre el pregrado y posgrado, resulta una necesidad y exigencia social demostrar sus niveles de calidad, al igual que el impacto en el proceso de formación de profesionales de la salud en el territorio matancero.
Al analizar los antecedentes de este tema en el contexto internacional, se puede exponer que la evaluación y la acreditación de programas, procesos e instituciones formativas comienza a estar presente en las agendas de los gobiernos de Europa y América Latina, donde se crean espacios nacionales, regionales y globales para la discusión de estos temas. Un ejemplo de ello fue la Declaración de la Conferencia de Ministros de Educación de la Unión Europea, América Latina y el Caribe, adoptada en París en noviembre de 2000.3
En Cuba, el sistema educacional está amparado por la Constitución de la República,4 aprobada en la Sesión Plenaria de la Asamblea Nacional del Poder Popular el 24 de febrero de 2019, así como por los artículos 120 y 121 de los Lineamientos de la Política Económica y Social del Partido y la Revolución.5
En el país, la educación posgraduada se desarrolla en dos vertientes fundamentales: la superación continua de los egresados y la formación académica de posgrado, que contempla como formas organizativas la especialidad, la maestría y el doctorado.6
Para las universidades cubanas, la Junta de Acreditación Nacional (JAN) como órgano regulatorio, y su Sistema de Evaluación y Acreditación de la Educación Superior (SEAES), la calidad académica es asumida como “la conjunción de la excelencia académica y la pertinencia integral”, donde adquiere relevancia tanto la formación integral del estudiante como la garantía de que los programas de formación y las propias instituciones respondan a las demandas y exigencias del desarrollo socioeconómico en el país.7
Existen investigaciones sobre el tema, entre ellas la realizada por Fernández Oliva et al.,3 en la que evalúan la pertinencia y calidad académica del programa de la maestría en Educación Médica en la Escuela Nacional de Salud Pública, con la aplicación de encuestas y grupos focales.
El estado del arte sobre el tema, demuestra que los estudios que se relacionan con la pertinencia de los programas de maestría se limitan al análisis del impacto que producen en los egresados, a evaluar la calidad del proceso de formación y el nivel de preparación de los docentes, así como a las transformaciones académicas y sociales una vez que culminan. Los mismos se realizan posterior a la ejecución de las maestrías; sin embargo, ninguna de las investigaciones consultadas evalúa la pertinencia de los programas en el proceso de diseño y aprobación, elemento que influye en que en muchas ocasiones la oferta académica de posgrado responda a criterios académicos y comerciales y no a las necesidades reales de transformación de la realidad de un área específica del conocimiento.8
Una exigencia para la variable pertinencia e impacto social del Sistema de Evaluación y Acreditación-Matanzas (SEA-M) es el indicador referido al monitoreo del impacto y sus vías para evaluar los resultados esperados. Para ello se han diseñado modelos, metodologías, estrategias y procedimientos.
La provincia de Matanzas cuenta con experiencia en el tema en la Universidad de Matanzas. Sin embargo, la Universidad de Ciencias Médicas del propio territorio no presenta estudios sobre la evaluación de impacto en ninguno de sus programas de formación, lo que no permite el seguimiento a las transformaciones emanadas del proceso de formación y su retroalimentación. Esto motivó a los autores a desarrollar la investigación en los programas de maestría en esa institución.
El problema científico es cómo medir el impacto de los programas de maestría que se desarrollan en la Universidad de Ciencias Médicas de Matanzas.
En correspondencia con lo anterior, los autores plantean como objetivo diseñar un procedimiento para la medición del impacto de los programas de maestría en la universidad médica matancera.
MATERIALES Y MÉTODOS
Se realizó una investigación de desarrollo tecnológico que clasifica como un estudio analítico, longitudinal prospectivo, en la Universidad de Ciencias Médicas de Matanzas, en el período de septiembre de 2019 a mayo de 2021. El estudio forma parte de un macroproyecto institucional dirigido a la gestión universitaria para la formación y el desarrollo del capital humano, la calidad y la cultura de la profesión en el sector de la salud.
Se destacó el uso de métodos teóricos, empíricos y estadísticos, donde sobresalen el lógico-histórico, el inductivo-deductivo, el analítico sintético, la modelación y el enfoque sistémico. Asimismo, se empleó la revisión bibliográfica y documental, el análisis de contenido de los principales documentos programáticos y normativos, y la aplicación del criterio de expertos. Se tuvo en cuenta como procedimiento esencial la triangulación.
Se seleccionó como vía pertinente para el monitoreo del impacto de los programas de maestría de la UCMM el procedimiento, de acuerdo con Negrín Reyes,9 quien plantea que este contiene toda acción que se desarrolle, relacionada con aquellas reglas, normas o protocolos que tienen como objetivo encontrar un resultado; es decir, la forma específica que describe cómo alcanzar los resultados deseados con instrucciones específicas para las personas involucradas.
El procedimiento de la investigación se concibió con una visión integral y abarcadora de la formación académica, con la obtención de los impactos en tres categorías que van de lo general a lo particular: impacto en la sociedad (social y comunitario), en la institución (claustro y programa) y en la persona (estudiantes y egresados).10 Tiene como base seis variables, en correspondencia con las declaradas en el Patrón de Calidad del Sistema de Evaluación y Acreditación de Especialidades de Posgrado:11
Respecto al momento en que es conveniente evaluar el procedimiento, se basa en cuatro momentos básicos:
Antes de iniciar la formación: evaluación inicial o diagnóstica.
Durante la formación: evaluación procesual o formativa.
Al acabar la formación: evaluación final.
Un tiempo después de acabar la formación: evaluación diferida o de transferencia e impacto.
La recogida de datos contó con la autorización de la UCMM. La información es veraz y sin alteración; a los participantes se les informó que sería usada solo con fines investigativos, por lo que el informe final no reflejó sus identidades.
RESULTADOS
El diseño del procedimiento para la medición del impacto de los programas de maestría cuenta con tres etapas, 14 pasos y dos fases.
1. Etapa inicial (antes de comenzar el proceso de formación)
Objetivo: planificar el proceso de formación para que contribuya a la posterior evaluación de su impacto.
En esta etapa inicial se partió de varios supuestos. En la Universidad se encuentra actualizado el banco de problemas y el diagnóstico estratégico. Esto permitió definir cuáles pueden resolverse con dicha formación. Se tuvo presente que toda la gestión estuviera alineada a la estrategia general de la UCMM.
Paso 1. Revisión del banco de problemas, del diagnóstico estratégico y de las necesidades de formación en el área del conocimiento de las maestrías.
Se realizó una revisión de los principales documentos y fuentes, como son: el banco de problemas y la Planificación Estratégica de la Universidad y de la Dirección de Posgrado de la misma, en especial de la estrategia diseñada para la formación de másteres en Ciencias en el período 2017-2022, que contiene el diagnóstico estratégico que se refiere a las necesidades de aprendizaje relacionadas con las áreas del conocimiento de las maestrías que se desarrollan.
Paso 2. Diagnóstico de las necesidades de aprendizaje.
El objetivo esencial de la determinación de las necesidades de aprendizaje de las personas fue identificar las brechas entre el nivel de conocimiento actual y el necesario para el cumplimiento de los objetivos del programa objeto de estudio, con el fin de realizar la planificación del tipo de formación que requieren las mismas. Para ello se consultaron documentos de la organización, como el Reglamento de Posgrado de la República de Cuba,12 el Reglamento del SEAES7 -y dentro del mismo el subsistema SEA-M- y el Reglamento de Categorías Docentes de la República de Cuba,13 que contienen las evaluaciones del desempeño profesoral y las funciones y requisitos a cumplir por los cuadros científico-metodológicos para desempeñarse en la universidad.
También se diagnosticaron algunas de las necesidades de aprendizaje a partir de la observación participante, que consistió en la información que llega al investigador de forma directa por la percepción del objeto o fenómeno que se estudia, sin que este se percate que es observado. En este tipo de análisis el observador interactuó con los sujetos observados.
El trabajo grupal constituyó otro método a utilizar para identificar las necesidades de aprendizaje; no fue necesario crear un espacio para ello, sino que se aprovecharon las oportunidades de estar en grupo e identificarlas.
Paso 3. Determinación de objetivos o impactos deseados por la formación.
Los impactos que se desean en el programa de formación, se determinaron por medio del currículo y los indicadores y criterios de evaluación establecidos en el Patrón de Calidad y la Guía establecida en el SEA-M, en su variable no. 1, referida a la pertinencia e impacto social.
Paso 4. Elaboración del plan de formación. Para el mismo se toman en cuenta diferentes fases, las cuales se explican a continuación:
Fase 1. Propuesta del programa de formación.
Teniendo en cuenta los resultados obtenidos en los pasos anteriores, se asumió la utilización de los programas previamente aprobados por el Ministerio de Educación Superior y acreditados con nivel superior por la JAN, al amparo de un convenio interinstitucional. Los programas que asume la UCMM cuentan con el capital humano suficiente y con una alta preparación para llevar a cabo el proceso docente educativo, así como la infraestructura requerida para el desarrollo del mismo, cuestión indispensable para garantizar la calidad de la formación.
Fase 2. Negociación con las personas que recibirán la formación y sus jefes inmediatos superiores.
En la negociación existió una retroalimentación entre el solicitante que recibió la formación, el jefe inmediato superior y el Comité Académico de la maestría -elemento fundamental en esta fase del proceso-; en un primer momento con estas personas y en un segundo momento con los jefes inmediatos superiores, con el objetivo de presentarles la propuesta del currículo. Estos conocieron sobre los resultados de la revisión del diagnóstico de la organización y de las personas que recibieron la misma.
Paso 5. Definición de indicadores para evaluar el impacto de la formación.
Una vez estudiados los impactos esperados que se establecen en el SEA-M, se procedió a operacionalizar los indicadores con sus respectivos criterios de evaluación y se definieron las acciones que permitieron evaluar el impacto, tanto en las personas como en la institución académica, las entidades empleadoras, así como en la sociedad y la comunidad, haciendo mediciones a través de los mismos.
Paso 6. Organización del proceso de formación. Definición del Comité Académico, claustro y equipo de trabajo del Programa.
El aseguramiento material y humano del proceso de formación fue ejecutado por personas designadas, quienes fungieron como organizadoras de tal actividad. Se creó de manera definitiva el equipo de trabajo, aunque en los pasos anteriores se determinaron algunos de los participantes en el proceso, como son los estudiantes. Aquí se contempló, además, a los profesores, al coordinador (o coordinadores) de la maestría, entre otros.
Paso 7. Determinación del costo del proceso de formación.
Se elaboró una ficha de costos respecto al programa de formación, donde se hizo una distinción de los mismos en varios tipos: los costos de capital humano, los gastos de equipamiento y de mantenimiento, los gastos financieros, los normales de funcionamiento, los costos de salarios, de transporte, de electricidad, entre otros. El cálculo de los costos fue necesario no solamente para establecer una relación costo/beneficio o calidad/precio, sino también para poder comparar entre sí varias alternativas de capacitación.
Paso 8. Determinación de la motivación para recibir la formación.
Para poder determinar la motivación, los deseos y la disposición de las personas por recibir la formación, se realizó una entrevista grupal a las mismas para corroborar la información. Se aplicó con el objetivo de obtener información sobre el proceso de formación. Se utilizó la entrevista grupal, ara la que se preparó un guión previo, pero se tuvo flexibilidad en la conversación, dejando que se efectuara espontáneamente.
2. Etapa de desarrollo (durante el proceso de formación)
Objetivo: evaluar los impactos de la formación en las personas, la institución y la sociedad.
Paso 9. Evaluación de la satisfacción de los maestrantes con la formación (responde al nivel I de Kirkpatrick: reacción).
Para evaluar el nivel I, se aplicó una entrevista en el momento inicial, intermedio y una vez finalizada la formación. La misma se utilizó con las personas que recibieron la acción formativa para medir el nivel de satisfacción.
Paso 10. Evaluación del aprendizaje (responde al nivel II de Kirkpatrick: aprendizaje).
En el nivel II se analizaron las evaluaciones sistemáticas durante la impartición de la formación, y una vez concluida la misma se les orientó un trabajo investigativo, conjugándose lo teórico con lo práctico. De esta manera se detectaron cambios en los conocimientos de los maestrantes.
Paso 11. Evaluación de la transferencia al puesto de trabajo (responde al nivel III de Kirkpatrick: conducta).
El objetivo consiste en percibir los principales resultados alcanzados, para comparar el “deber ser” con lo que realmente se hace, referido al desempeño, prestigio profesional y producción intelectual. La transferencia no se logra comprobar hasta después de los seis meses, que se concluye el proceso de formación. Este paso no fue posible, dado que las maestrías que se desarrollan en la UCMM no cuentan con el tiempo requerido para realizar el mismo, pues recién concluyen su primera edición.
Paso 12. Evaluación del impacto del aprendizaje en la institución académica y en las entidades empleadoras (responde al nivel IV de Kirkpatrick: resultados).
Para el nivel IV es necesario remitirse al paso 5 de la etapa inicial, donde se identificaron indicadores globales relacionados con los objetivos a alcanzar en la institución formadora. Se analiza en qué medida impacta la formación recibida sobre cada indicador definido, mediante una evaluación de 360⁰, como mínimo un año después de haber concluido la misma. Los indicadores deben ser medidos antes del proceso para poder evaluar el impacto sobre dichas organizaciones. Este último no fue posible, por las razones expresadas en el paso anterior referidas al requisito de tiempo.
Paso 13. Impacto en la sociedad (social y comunitario).
Resultados que se esperan: evaluación y control a través de indicadores del impacto de la formación en los individuos, la institución académica, las entidades empleadoras, así como la sociedad y la comunidad.
3. Etapa final (después de la formación)
Objetivo: presentar a la Universidad acciones que permitan perfeccionar el proceso de formación.
Paso 14. Propuesta de acciones para el perfeccionamiento del proceso de formación.
La aplicación del procedimiento diseñado, permitió evaluar el impacto de los programas de maestría que se desarrollan en la UCMM; de manera que se logró, en cierta medida, la retroalimentación para la mejora continua de los mismos.
La figura muestra, de forma resumida, las tres etapas, 14 pasos y dos fases que conforman el procedimiento para la medición del impacto de los programas de maestría en la UCMM.
DISCUSIÓN
El impacto de un programa de formación de posgrado con enfoque profesional, se define como su repercusión en cambios favorables en los niveles de competencia de los estudiantes, su desempeño en el puesto de trabajo, la eficiencia y la competitividad de las organizaciones, y sus efectos en el entorno interno y externo.14
La evaluación del impacto de la formación es un proceso que posibilita el conocimiento de los efectos de un programa formativo en relación con las metas propuestas (eficacia) y los recursos que se asignan (eficiencia). Tiene como objetivo determinar si produjo los efectos esperados en las personas e instituciones, y si son atribuibles a la intervención del mismo.
Es criterio de los autores que la evaluación es un tema controversial, ya que las características del diseño de los aspectos cuantitativos y cualitativos, rigor metodológico, dimensiones, variables, métodos e instrumentos se definen en función de los objetivos.
Por otra parte, la evaluación del impacto se identifica como una herramienta idónea para determinar los efectos de políticas, programas y proyectos de desarrollo, reconociéndose el peso que posee la dimensión económica y social en la evaluación, y cómo lo social especialmente va cobrando cada vez una mayor atención, reiterándose el uso de los criterios de pertinencia, eficacia, eficiencia, impacto y sostenibilidad, enfatizándose en la importancia de poder determinar si se logran los efectos deseados en las personas e instituciones beneficiarias.15,16
Diferentes son las formas que describen cómo definir un procedimiento, ya sea por la uniformidad en sus contenidos como por la intención de cumplir los objetivos propuestos por quienes lo aplican.
Mayo Alegre et al.,17 definen un procedimiento como “la forma específica de acometer una actividad; contiene el objeto, el campo de aplicación y especifica qué debe hacerse y quién debe hacerlo; cuándo, dónde y cómo se debe llevar a cabo; qué aseguramientos deben utilizarse y cómo debe controlarse y registrarse”.
En palabras de Díaz Rojas et al.,18 una forma de medir el impacto que una maestría se propone producir es a través de la influencia en los procesos de transformación y desarrollo sostenible, mediante el efecto que se produce en el crecimiento espiritual y el desempeño en las funciones sociales de los egresados. Para evaluar impacto deben tenerse en cuenta un grupo de criterios metodológicos, donde se consideran los contextos, el aporte individual y el aporte colectivo de los procesos formativos, opinión compartida por los autores de la presente investigación.
La valoración de los resultados de la aplicación del procedimiento elaborado para la medición del impacto de los programas de maestría en la UCMM, se realizó por criterio de expertos: cinco doctores en ciencias particulares que tributan a las Ciencias Pedagógicas, Ciencias de la Educación y Ciencias Médicas, todos con vasta experiencia. Estos fueron seleccionados entre los miembros de los Comités Académicos y del claustro de las maestrías de la institución. Se tomó en cuenta, además, su interés en participar en el estudio, al igual que su motivación y su relación, de alguna manera, con las teorías y conceptos sobre los que se fundamenta el problema abordado.
Dicha valoración corroboró la pertinencia del procedimiento diseñado -principal resultado de la investigación-, sobre la base de una necesidad práctica y precedido de un estudio teórico-metodológico que lo sustenta y le confiere valor científico, al constatar la consulta de un número diverso de modelos, metodologías y procedimientos para la evaluación del impacto.
Los expertos, además, valoraron de muy favorable el procedimiento para la evaluación, con un mayor grado de profundidad para medir la efectividad de la gestión universitaria, sobre la base de la dirección por objetivos y valores, por vía de la administración estratégica, en función del desarrollo de la calidad del proceso universitario y su vinculación social, así como aplicar una herramienta de índole conceptual, metodológica y técnica en el diseño de la investigación.
El diseño del procedimiento permitió obtener una vía pertinente para la medición de los impactos esperados, conducentes al crecimiento intelectual y profesional de los egresados, que responde al encargo social de la universidad, sus diferentes escenarios laborales y las demandas del sector de la salud en el territorio matancero, lo que demuestra la necesidad y pertinencia del mismo con vistas a la mejora continua del programa y su calidad.
