ARTÍCULO ORIGINAL

 

Estrategia de preparación para la evaluación externa de maestrías

 

Preparation strategy for the external evaluation of master´s studies

 

 

Isabel Louro Bernal,^I Irene Perdomo Victoria,^II Ana María Gálvez González,^I Giselda Sanabria Ramos^II

^IDoctora en Ciencias de la Salud. Profesora Titular. Investigadora Auxiliar. Escuela Nacional de Salud Pública. La Habana, Cuba.
^IIDoctora en Ciencias de la Salud. Profesora Consultante. Escuela Nacional de Salud Pública. La Habana, Cuba.

---

RESUMEN

OBJETIVO: Describir la estrategia de preparación para la evaluación externa de las maestrías de la Escuela Nacional de Salud Pública.
MÉTODOS: Se revisaron los documentos normativos del posgrado para extraer la visión de excelencia y se aplicó la técnica grupo focal para la generación de ideas entre las coordinadoras de las maestrías.
RESULTADOS: La estrategia de preparación para la evaluación externa se estructuró en tres fases denominadas: Planificación, Ejecución y Evaluación. En cada fase se identificaron momentos clave y acciones específicas articuladas mediante un proceso de control que actúa como eje transversal de la propia estrategia.
CONCLUSIONES: Se relacionaron las fuentes de información necesarias. Las acciones desplegadas por los comités académicos tuvieron carácter científico, metodológico y administrativo. La estrategia utilizada tuvo carácter institucional y contribuyó al logro de la excelencia en las Maestrías de Atención Primaria de Salud, Economía de la Salud y Promoción y Educación para la Salud.

Palabras clave: Calidad del posgrado, estrategia preparatoria, evaluación de calidad, evaluación externa, maestrías.

---

ABSTRACT

OBJECTIVE: To describe the preparation strategy for the external evaluation of the Master´s courses in the National School of Public Health.
METHODS: The normative documents of the postgraduate programs to take out the vision of excellence were reviewed and the focal group technique was used to generate ideas from the various coordinators of the master's courses.
RESULTS:The preparation strategy for the external evaluation was structured in three phases, that is, planning, implementation and evaluation. Each phase identified key moments and specific actions that were integrated through a control process acting as a supporting point of the strategy as such.
CONCLUSIONS: The necessary sources of information were listed. The actions taken by the academic committees were of scientific, methodological and administrative nature. The strategy was institutional and contributed to attain the excellence in master's courses in primary health care, health economics and health promotion and education.

Key words: Postgraduate education quality, preparatory strategy, quality assessment, external evaluation, master's courses.

---

 

 

INTRODUCCIÓN

La gestión de calidad de la educación de posgrado en Cuba se orienta a la consecución de altos niveles de pertinencia social y excelencia académica.¹

La concepción más general que sustenta los sistemas de evaluación y acreditación es que la autoevaluación, la evaluación externa y la acreditación constituyen una unidad dialéctica y, por ello, son procesos de un sistema integral de gestión para el mejoramiento continuo de la calidad de la educación superior y de certificación pública de niveles de calidad: nacional e internacional.²

El Sistema de Evaluación y Acreditación de Maestrías (SEA-M) se implantó oficialmente en toda la educación superior cubana al desarrollarse y consolidarse la maestría como una figura de posgrado académico con reconocimiento internacional.³

El SEA-M establece períodos de vigencia finitos para cada categoría de acreditación, lo que indica que en una institución con varias maestrías, la evaluación externa se convierte en un proceso frecuente, consustancial a la propia existencia de los programas.

El reconocimiento de la calidad de las maestrías por intermedio de la acreditación, constituye un estímulo a la labor de los comités académicos y moviliza las fuerzas internas de los colectivos, departamentos e instituciones auspiciadoras de programas.

Por otra parte la evaluación externa deviene en motivo de expectación e incertidumbre para los comités académicos, debido al volumen de información requerida perteneciente a un período mayor a cinco años, a la búsqueda y organización de las evidencias necesarias y en general por la envergadura y significado de tal proceso, para el cual se necesita preparación.

El propósito central de la acreditación es promover y estimular el continuo mejoramiento y determinar si una institución académica posee calidad a nivel general o respecto de una o más de sus carreras o programas educativos, si es capaz de demostrar que progresa de manera continua y sistemática, con el empleo de estrategias, procedimientos y recursos adecuados para el logro de su misión y sus objetivos, cumpliendo razonablemente con los criterios y normas de calidad establecidos.⁴

Entre las experiencias internacionales revisadas se encontró que la guía de evaluación externa del Sistema Nacional de Acreditación de la Educación Superior de Costa Rica, del año 2009, plantea etapas en las cuales aparece la capacidad organizativa y de convocatoria que tienen que tener los comités académicos para enfrentar la preparación para la evaluación externa.⁵

El Manual de Implementación para los procesos de evaluación externa a los programas de maestrías constituye una guía para el trabajo de los evaluadores² y en consecuencia contribuye también a la preparación de los evaluados, aunque no está dirigida a ellos.

Aunque se constató la utilidad del Manual de referencia en tanto documento orientador para la evaluación externa, se identificó la necesidad de elaborar una estrategia institucional de preparación que articulara todas las acciones que debían acometerse a diferentes niveles, antes y durante la evaluación, y que reflejara los intereses de los evaluados.

Las maestrías de la Escuela Nacional de Salud Pública (ENSAP) se han orientado hacia la formación académica de posgrado en diferentes áreas de aplicación de la investigación en salud, tales como Salud Pública, Atención Primaria de Salud, Psicología de la Salud, Economía de la Salud, Promoción y Educación para la Salud, Educación Médica, así como Farmacoepidemiología, programa de más reciente creación.

Los comités académicos de las maestrías de la ENSAP han incorporado la visión de excelencia y el mejoramiento continuo de la calidad en su trabajo habitual, a lo que se agrega la experiencia de haber pasado varias evaluaciones externas de la Junta de Acreditación Nacional y haber logrado la excelencia en la Maestría de Salud Pública y en la de Psicología de la Salud, en el año 2004.

Se consideró pertinente sistematizar las experiencias obtenidas de forma tal que pueda servir a otras instituciones, al tiempo que contribuya a consolidar la concepción de calidad en la conducción del posgrado académico.

El objetivo trazado fue describir la estrategia de preparación para la evaluación externa de las maestrías de la ENSAP.

MÉTODOS

La estrategia de preparación para la evaluación externa de las maestrías de la ENSAP por la Junta de Acreditación Nacional surgió del trabajo conjunto de las autoras en el marco del Grupo de Maestrías desde inicios del año 2008.

Se revisaron los documentos Reglamento de Posgrado del Ministerio de Educación Superior, sus Normas y Procedimientos, Sistema de Evaluación y Acreditación de Maestrías y el Manual de Implementación de la Junta de Acreditación Nacional con el propósito de identificar la visión de excelencia en la estrategia.

Se realizaron 5 sesiones de grupo focal entre las coordinadoras de las maestrías que les correspondía la evaluación externa que fueron, Atención Primaria de Salud, Economía de la Salud, Promoción y Educación para la Salud y la coordinadora del Grupo de Maestrías de la ENSAP.

El grupo focal es una técnica de recolección de datos cualitativos que mediante el debate en reuniones de grupos pequeños permite discutir tópicos, obtener respuestas a profundidad, formar un esquema o perspectiva para la solución de un problema.^6,7

Se tomó como guía de temas para el debate en grupo, la definición de las fases de la estrategia, la descripción de los momentos clave, y las acciones correspondientes a cada uno de ellos. En las sesiones se analizaron los puntos de la guía hasta llegar al consenso.

El resultado del trabajo grupal se enriqueció con los criterios emitidos en diferentes espacios institucionales tales como, reuniones de comités académicos, actividades metodológicas de la vicedirección docente, consejo científico y consejo de dirección.

Se realizó presentación de la estrategia ante el grupo de coordinadores de maestrías de la Universidad Médica de la Habana, donde fueron expuestos criterios de pertinencia, utilidad y satisfacción.

RESULTADOS

Producto del trabajo grupal emergió la Estrategia de preparación para la evaluación externa de las maestrías, estructurada en fases, momentos clave y acciones, articuladas mediante un proceso de control permanente del comité académico, que actuó como eje transversal (Cuadro).

Cuadro. Fases, momentos clave y acciones de la estrategia de preparación para la evaluación externa de las maestrías

Fase Planificación
Momentos clave	Acciones
Posicionamiento del Comité Académico  ante la evaluación externa (EE)	Elaboración de la estrategia organizativa y cronograma de acciones. Formación de equipos o dúos de trabajo para generar la información que requiere el SEAM y preparar la documentación  de la EE.
Sensibilización de actores involucrados para lograr compromiso institucional	Divulgación, motivación y creación de ambiente de evaluación en la institución, de forma tal que se incorpore la EE de la maestría como una evaluación institucional. Lograr que la institución apoye, jerarquice y asigne un conjunto de recursos materiales que garanticen la EE. Sensibilización a responsables de: secretaría docente, cuadros, biblioteca, laboratorio de computación, punto de presencia, personal de aseguramiento y servicios de apoyo. Incorporación de la EE a los organismos políticos y al sindicato, generar información sobre la marcha del proceso en los espacios comunicativos de todos los trabajadores.
Preparación metodológica  sobre evaluación y acreditación	Estudio y análisis de documentos normativos, Reglamento del MES, Patrón de calidad y guía de evaluación, Manual de implementación, a nivel: comité académico, directivos, claustro, mediante actividad tipo taller. Presentación de resultados de las variables del SEAM en la maestría, al claustro.
Planeación logística	Identificación de recursos necesarios antes y durante la visita de EE. Localización de fuentes de información que serán revisadas. Ubicación de egresados de las ediciones a evaluar. Organización de evento científico para egresados maestrías ENSAP.
Fase Ejecución
Actualización de la información	Revisión de las fuentes de información para la EE.* Revisión de autoevaluaciones de ediciones anteriores. Análisis del cumplimiento del plan de mejora de cada edición. Análisis  del campo de fuerzas,  matriz DAFO; identificación de las amenazas y oportunidades, además de las fortalezas y debilidades que pide la autoevaluación. Identificación de brechas y problemas. Solicitud de curriculum  vitae actualizado a los profesores y tutores con acápite premios y reconocimientos.
Elaboración de información	Producción científica asociada a las ediciones de la  maestría. Caracterización del claustro, de la producción científica del mismo, relación de reconocimientos y premios. Procesamiento de encuestas a egresados e informe final. Confección de los seis modelos del SEAM.
Presentación de la información	Preparación de la información a enviar antes de la evaluación (autoevaluaciones y modelos SEAM) Elaboración de CD- ROM  con las informaciones a enviar a la JAN. Elaboración de la presentación de la maestría en power point para los evaluadores externos. Selección de posibles evaluadores para proponerlos a la JAN.
Evidencias	CD - ROM de la Maestría. Diseño para estudiantes y profesores con programa, textos e información histórica general de la maestría. CD - ROM de Encuentro de Egresados. Diseño con trabajos presentados, sesiones, conferencias, galería de fotos. Entorno virtual de la maestría, recursos de aprendizaje y desempeño de estudiantes. Confección de expediente de impactos de la maestría. Confección de expediente de evidencias de colaboración interinstitucional. Preparación de sitio demostrativo  de  resultados  científicos de la maestría, libros, revistas, CD- ROM, materiales docentes, entre otros.
Fase Evaluación
Logística de la visita de EE	Confección de programa de la visita. Preparación de condiciones materiales para la estancia, local privado con computadora,  alimentación, alojamiento y transporte de los evaluadores. Preparación de los documentos a mostrar, con estética, y organización.  Reproducción de encuestas de estudiantes, profesores y egresados. Citación al comité académico, profesores, directivos, estudiantes y egresados. Organización de la visita a los centros de trabajo de los egresados y entrevista a empleadores.
Visita de EE a la institución	Solicitud de breve presentación sobre la institución a la dirección del centro. Presentación de la maestría a los evaluadores. Establecimiento del cronograma de la visita, y adecuaciones en caso necesario. Organización de locales o espacios apropiados para entrevistas personales y grupales, en ocasiones simultáneas. Entrevistas a: miembros del comité académico, profesores y tutores, egresados, estudiantes, empleadores, directivos del centro; aspecto que pone a prueba la capacidad de convocatoria del comité académico y la institución auspiciadora.  Preparación del equipo para dar respuesta a preguntas y búsqueda de documentos para verificación, ejemplo, actas de consejo de científico donde se rindió cuenta de la maestría, actas de actividades metodológicas donde se aprecia la preparación del claustro. Acompañamiento al recorrido que se hace en el centro para observación de condiciones de aseguramiento docente y a la visita a entidades empleadoras principales. Participación del comité académico en reunión con evaluadores para análisis del informe final. En esta etapa es importante la disciplina, la puntualidad, la comunicación clara entre los integrantes del comité académico de forma tal que se garantice el cumplimiento del cronograma.
Proceso de Control: Eje transversal desde la fase de planificación hasta la visita de EE. Monitoreo y corrección de las acciones en cada momento clave. Observancia de los aspectos éticos implicados en la evaluación, velar por la transparencia del proceso.

La estrategia se concibió como un dispositivo organizativo que armoniza las diversas acciones para lograr la óptima preparación para la evaluación externa de las maestrías, de forma tal que pudieran cumplirse los estándares de la JAN para este propósito.

El desarrollo de las primeras acciones de la estrategia ocurrió con más de un año de antelación a las fechas programadas para la visita de evaluación externa a las maestrías, teniendo en cuenta las múltiples tareas científicas, metodológicas y administrativas que conlleva.

El proceso de preparación de la evaluación que integra la estrategia fue concebido con enfoque de investigación científica, al considerarse que cada categoría del SEA-M abre campos de indagación y transformación.

Se constató la importancia de extender la evaluación externa al ámbito institucional en su conjunto, generando espacios propicios para la comprensión de la visión de calidad, la participación creadora, el compromiso y la implicación personal.

Principales fuentes de información

1. Historia institucional: datos de la tradición institucional, antecedentes de las modalidades de pregrado y posgrado, número de cursos del área de conocimiento del programa.

2. Fondos de la biblioteca: tesis de los estudiantes de las ediciones comprendidas en la evaluación, lista de los títulos disponibles del área del conocimiento del programa.

3. Recursos destinados a la docencia; su estado de conservación.

4. Expedientes de las ediciones.

5. Currículum vitae de profesores.

6. Expediente de la maestría en secretaría

7. Expedientes de los estudiantes en secretaría: relación de calificaciones, acta de examen de tesis, cartas de bajas, convalidación (si hubiera).

8. Actas de comité académico.

9. Actas de trabajo metodológico.

10. Convenios de colaboración interinstitucional.

11. Evidencias de producción científica y social de los egresados.

12. Encuestas a egresados realizadas por comités académicos.

La información que se genera requiere coherencia interna, aspecto que se capta por los evaluadores mediante la confrontación de las diferentes fuentes y la triangulación de datos provenientes de los modelos SEA-M, de los expedientes de estudiantes y de las ediciones, de las tesis, las actas de comité académico, las evidencias de resultados científicos de profesores y egresados asociados a cada edición, así como opiniones de estudiantes, egresados, profesores, directivos y empleadores.

Se concluye que:

- La Estrategia de preparación para la evaluación externa de las maestrías se estructuró en tres fases que son: Planificación, Ejecución, y Evaluación. Las fases se concibieron como tramas de un sistema participativo institucional, con momentos clave y acciones específicas, articuladas mediante un proceso de control dirigido por el comité académico, que actúa como eje transversal de la propia estrategia.

- Las acciones desplegadas por los comités académicos tuvieron carácter científico, metodológico y administrativo, lo cual permitió el desarrollo de la estrategia e impregnarle enfoque de investigación al proceso autoevaluativo.

- La estrategia fue aplicada con más de un año de antelación a la visita de evaluación externa lo que permitió el tránsito por las fases y demostró la necesidad de incorporación de la cultura de la calidad al trabajo sistemático de los comités académicos y demás actores involucrados.

- La institución auspiciadora asumió la evaluación externa de las maestrías, como evaluación institucional, aspecto que actuó como recurso de apoyo a la estrategia de preparación.

- La estrategia cumplió el objetivo de preparación para la evaluación externa de tres maestrías de la ENSAP, que fueron acreditadas de excelencia: Atención Primaria de Salud, Economía de la Salud y Promoción y Educación para la Salud.

REFERENCIAS BIBLIOGRÁFICAS

1. Ministerio de Educación Superior. Reglamento de la Educación de Posgrado de la República de Cuba. Resolución No. 132/2004. La Habana: MES; 2004.

2. Junta de Acreditación Nacional. Manual de Implementación para los procesos de evaluación externa a los programas de maestría. La Habana: Junta de acreditación nacional; 2009.

3. Junta de Acreditación Nacional. Sistema de Evaluación y Acreditación de Maestrías. (SEA-M). La Habana: Junta de acreditación nacional; 2009

4. Borroto CR, Salas PR. Acreditación y evaluación universitarias. Educ Med Super. 2004;18(3).

5. Sistema Nacional de Acreditación de la Educación Superior (SINAES). Guía para la Evaluación Externa. [citado 18 de Ene 2009]. Disponible en: http://www.sinaes.ac.cr/manual_guias/guia_evaluacion_externa_12nov09.pdf

6. Hernández SR, Fernández CC, Baptista LP. Metodología de la Investigación. México: Mc Graw Hill Interamericana; 2006.

7. Dawson S, Manderson L, Tallo LV. A Manual for the use of focus groups. Methods for social research in disease. USA: Social and Economic research; 1998.

Recibido: 5 de diciembre de 2010.
Aprobado: 20 de diciembre de 2010.

Dra. Isabel Louro Bernal. Escuela Nacional de Salud Pública. Calle 100. Altahabana, Boyeros. La Habana, Cuba. Correo electrónico: [e-mail]