Introducción
La evaluación del impacto social forma parte del proceso de evaluación de las maestrías, por la Junta de Acreditación Nacional (JAN), a partir de las exigencias de la Resolución Nº 11/19 del Ministerio de Educación Superior [1], que incluye el Patrón de calidad, la Guía de evaluación y los Modelos establecidos para la realización de este proceso.
Esta resolución considera el impacto social como parte de la variable de calidad “pertinencia e impacto social” del Patrón de calidad. Su evaluación implica constatar el efecto del programa de la maestría en el desarrollo sostenible del territorio y el país, en el crecimiento espiritual, el desempeño profesional y en las funciones sociales de los egresados y en el propio programa.
Para garantizar resultados de calidad en este proceso, un aspecto muy importante a considerar por el Comité académico de las maestrías es la autoevaluación de su impacto social, que permite valorar el desarrollo alcanzado por el programa y establecer un plan de medidas para superar las debilidades detectadas y aprovechar las fortalezas y potencialidades en función del tránsito hacia niveles cualitativamente superiores de desarrollo.
Se necesita disponer de una herramienta práctica que oriente cómo realizar el proceso de autoevaluación del impacto social, teniendo en cuenta las exigencias de los documentos normativos que rigen el proceso de acreditación de las maestrías por parte de la JAN. Se requiere un documento metodológico preciso, sintético y operativo que refleje la operacionalización, los métodos e instrumentos a aplicar y cómo proceder para evaluar internamente dicho impacto.
En la revisión sobre el tema se ha encontrado diversidad de propuestas metodológicas que aportan referentes valiosos para este trabajo. En el ámbito internacional destacan los modelos de evaluación de impacto de Wade [2], Kirkpatrick [3], Pineda [4], Phillips [5], y Billorou, Pacheco y Vargas [6]. Este último aporta una guía para la evaluación del impacto de la formación. Otros autores proponen lineamientos, principios, dimensiones, métodos, fases y procedimientos de evaluación del impacto social (Albornoz, Estébanez y Alfaraz [7]; Berner, Cooper, Guzmán y Guzmán [8] González y Calcetero [9] y Vanclay, Esteves y Franks [10]; Clifford, Hehenberger y Fantini [11]).
En Cuba, los estudios realizados muestran indicadores y niveles para medir el impacto de los programas de posgrado (maestrías y doctorados) en los estudiantes, egresados, en las instituciones y en el desarrollo local; así como los métodos instrumentos, procedimientos para su calificación, etapas y pasos a seguir para su evaluación (Barazal [12]; Lozano, Saavedra y Fernández [13]; Borges y Añorga [14]; R am os [15]; Ramos, Meizoso y Guerra [16]; Mestre [17]; Guerra [18]; Lara, Navales y Bravo [19]; Sánchez, Laguna y Tellez [20]; Falcón, Escalante y Nordelo [21]; Vargas [22], García, Addine y Lombillo [23]; Rodríguez [24]; Lores y Pérez [25]; Iglesias, Guerra y Ramos [26]); sin embargo, no valoran la influencia del programa en el desarrollo de los profesores y tutores del claustro, ni las formas de implementación de la metodología por parte del Comité Académico.
El objetivo del presente trabajo es proponer una metodología para la autoevaluación del impacto social de las maestrías en correspondencia con los requisitos establecidos por la Junta de Acreditación Nacional (JAN), a partir de integrar los valiosos aportes de los especialistas del tema e incorporar las particularidades de las maestrías en el contexto de las instituciones de la educación superior cubana.
Se define el impacto social de la Maestría como: el efecto del programa, de la gestión del Comité Académico y de la información y los recursos disponibles, en el desarrollo local, en el crecimiento y desempeño profesional de los participantes y en el propio programa.
Se define la autoevaluación del impacto social de la maestría como: valoración interna de las fortalezas y las debilidades del diseño y desarrollo del programa, de la gestión realizada por el Comité Académico y por el claustro de profesores y tutores, así como su efecto en el crecimiento y desempeño profesional de los participantes, en el desarrollo local y en el propio programa.Se elabora la metodología a partir de las exigencias de la Resolución Nº 11/19 del Ministerio de Educación Superior, que incluye el Patrón de calidad, la Guía de evaluación y los Modelos establecidos para la realización del proceso de acreditación, por parte de la Junta de Acreditación Nacional.
Se asume como concepto de metodología: “… al establecimiento de vías, métodos y procedimientos para lograr un fin…” Valle [27]. Consecuentemente, la metodología para la autoevaluación del impacto social de la maestría se define como: las vías, métodos y procedimientos para la valoración interna de las fortalezas y las debilidades del diseño desarrollo del programa, de la gestión realizada por el Comité Académico y por el claustro de profesores y tutores, así como su efecto en el crecimiento y desempeño profesional de los participantes, en el desarrollo local y en el propio programa.
Se autovalora también el establecimiento de relaciones interinstitucionales, la atención a las necesidades que generan la actividad de profesores y estudiantes, la difusión del programa y la información producida (tesis, ponencias, artículos, reportes de investigación, monografías e informes, entre otras).
Aunque en la Resolución Nº 11/19 la infraestructura y el currículo se consideranvariables independientes, en el caso de la metodología que se propone para la autoevaluación del impacto social de la maestría, se integran aspectos de ambas en los elementos a evaluar, ya que tienen un vínculo directo con el impacto social, lo que permite la obtención de una información más completa e integrada.
Material y métodos
Para la elaboración y validación de la metodología se utilizaron los siguientes métodos del nivel teórico: analítico-sintético, inductivo deductivo, sistémico-estructural-funcional y modelación. Del nivel empírico fueron empleados: la encuesta a estudiantes, egresados, profesores, tutores y directivos, el análisis documental, la entrevista individual y grupal y el criterio de expertos. Como método matemático se aplicó el cálculo porcentual. El procedimiento seguido fue el siguiente:
A partir de la valoración crítica de las metodologías para la evaluación de impacto encontradas en la bibliografía y de la consulta de la documentación de la JAN, se elaboró la primera versión de la metodología, la que fue sometida a revisión por los siete doctores del Comité académico de la Maestría Las tecnologías en los procesos educativos, en calidad de expertos, los que brindaron valiosas sugerencias para su perfeccionamiento. La sugerencia fundamental fue la inclusión de indicadores referidos no solo a la variable 1, sino al resto de las variables que reconoce el patrón de calidad, la guía de evaluación y los modelos de la JAN, lo cual fue considerado en la segunda versión de la metodología.
Con el fin de validar los instrumentos y comprobar si la metodología elaborada permitía la obtención de la información necesaria para autoevaluar el impacto social de la maestría, se aplicó en la práctica la segunda versión, a una muestra representativa de estudiantes, egresados, profesores, tutores y directivos de la IV, V y VI ediciones de la Maestría “Las Tecnologías en los procesos educativos”, del Centro de Referencia para la Educación de Avanzada (CREA) de la Cujae. Se utilizó un muestreo aleatorio estratificado, quedando conformada la muestra por el 24% de los directivos, el 30% de los profesores y tutores, el 44% de los estudiantes y el 57% de los egresados.
En el año 2021 se aplicaron las encuestas, se revisaron los documentos de la maestría (avales de las instituciones de los egresados; evidencias del currículo de los profesores y tutores, expedientes de la maestría y de cada una de sus ediciones y expedientes de los estudiantes y egresados, informes de las valoraciones por los estudiantes acerca de cada curso impartido), se realizaron entrevistas individuales a egresados y directivos y entrevistas grupales a los estudiantes.
Se procesaron y analizaron los datos obtenidos en cada uno de los instrumentos aplicados, según lo orientado en la propuesta de metodología y se triangularon los resultados de las diferentes fuentes y métodos.
La comprobación en la práctica de la segunda versión de la metodología reflejó la necesidad de perfeccionar la redacción de algunos ítems en los cuestionarios, para su mejor comprensión por los sujetos, lo que se consideró al elaborar la versión final de la metodología, que se presenta a continuación.
Resultados
Se asumen los componentes de la metodología propuestos por Valle [27]: objetivo, métodos y procedimientos, formas de implementación y formas de evaluación.
El objetivo de la metodología es su primer componente y consiste en proponer las vías, métodos y procedimientos para la autoevaluación del impacto social del desarrollo del programa de la maestría, en la transformación local, de los participantes y del propio programa.
Los métodos y procedimientos son el segundo componente de la metodología.
El impacto social de la maestría constituye la variable objeto de estudio. Las dimensiones e indicadores para su estudio se reflejan en su operacionalización (Tabla 1).
Se proponen como métodos fundamentales: la encuesta, la entrevista, el análisis de los resultados de la actividad y el análisis documental, aunque pueden emplearse otros métodos y técnicas que se consideren pertinentes, entre los que se incluyen: la observación y las técnicas participativas; los que se aplican a estudiantes, egresados, profesores, tutores y directivos de las instituciones a las que estos pertenecen.
Dimensiones | Indicadores |
---|---|
1.Crecimiento profesional: cambios en la autorregulación del comportamiento en correspondencia con las exigencias de la profesión | 1.1.Toma de decisiones autodeterminadas |
1.2. Confianza en sí mismo | |
1.3. Flexibilidad | |
1.4. Defensa de sus criterios con argumentos sólidos | |
1.5. Decir lo que siente, sin agredir a los otros | |
1.6. Disposición para la cooperación | |
1.7. Independencia en la solución de los problemas | |
1.8. Solidaridad | |
1.9. Honestidad científica | |
1.10. Valoración crítica de la realidad | |
1.11. Creatividad en el cumplimiento de sus funciones | |
1.12. Receptivo y autocrítico | |
1.13. Respeto a los criterios de los otros | |
1.14. Conocimiento de sus fortalezas y debilidades profesionales | |
1.15. Liderazgo | |
2.Desempeño profesional: participación como miembro o dirigente en las actividades docentes, metodológicas, de investigación, intervención social y superación, mediadas por las TIC | |
2.1. Participa en la elaboración de programas de asignaturas, disciplina o planes de estudio | |
2.2. Integra las TIC en los procesos educativos que dirige | |
2.3. Dirige colectivos de asignatura, disciplina, año o carrera | |
2.4. Participa en el diseño y ejecución de proyectos de intervención social | |
2.5. Participa en el diseño y ejecución de proyectos de investigación | |
2.6. Integra las TIC en los procesos de investigación e intervención social | |
2.7. Publica ensayos, monografías, materiales didácticos digitales, artículos o libros | |
2.8. Presenta ponencias en eventos científicos | |
2.9. Realiza tutoría y asesoría a estudiantes o profesionales | |
2.10. Participa como tribunal de defensa de tesis de pre y posgrado | |
2.11. Imparte docencia de posgrado | |
2.12. Gestiona la información y el conocimiento en las actividades de su profesión | |
2.13. Se actualiza mediante la auto superación y la superación profesional | |
2.14. Utiliza el trabajo en equipo para la búsqueda de soluciones a los problemas de la práctica profesional | |
3.Efecto en el desarrollo local y del programa: solución de problemas del entorno laboral, social y del programa de la maestría, a partir de la aplicación de alternativas científicas, con integración de las TIC | 3.1 Soluciona problemas de su entorno laboral, a partir de la aplicación de alternativas científicas con integración de las TIC |
3.2. Soluciona problemas de su entorno social, a partir de la aplicación de alternativas científicas con integración de las TIC | |
3.3. Soluciona problemas del programa de la maestría, a partir de la aplicación de alternativas científicas con integración de las TIC | |
3.4. Aportes de los convenios y acciones de colaboración con otras instituciones, al desarrollo de la maestría | |
3.5. Participación en la maestría de profesores y tutores de otras áreas de la institución o de otras instituciones nacionales | |
3.6. Resultados reconocidos de la institución en la formación de pregrado y posgrado en el área de conocimiento del programa de la Maestría | |
4. Gestión de la información y de los recursos disponibles: acceso a la información requerida y calidad de los recursos, servicios e instalaciones para la docencia y la investigación | 4.1. Acceso a la información científico técnica pertinente y actualizada que requiere el programa |
4.2. Guías de estudio y orientaciones que facilitan el aprendizaje | |
4.3. Libros electrónicos, videos didácticos, medios audiovisuales, software educativos, simuladores, publicaciones certificadas y otros materiales multimedia con la calidad requerida | |
4.4. Empleo de servicios y materiales para la docencia y la investigación soportados en TIC | |
4.5. Pertinencia y suficiencia del equipamiento, insumos, instalaciones y mobiliario para las actividades docentes e investigativas del programa | |
5. Gestión del Comité Académico: acciones continuas para la difusión del programa, la calidad en su desarrollo, la atención a las necesidades de los participantes, la comunicación mediante las TIC y la mejora continua del proceso | 5.1. Difusión del programa (convocatoria, divulgación y matrícula) |
5.2. Calidad en la planeación, organización, ejecución y control de las actividades y de la documentación del programa | |
5.3. Atención a las necesidades de profesores, tutores, estudiantes y del servicio donde se insertan | |
5.4. Empleo de las TIC para la comunicación entre estudiantes, profesores y tutores | 5.5. Mejora continua de la maestría |
6. Desarrollo del programa: Calidad del diseño, organización, ejecución y evaluación del programa y contribución a la formación integral del máster | 6.1. Contribución a la formación integral del máster y al logro de los objetivos del programa |
6.2. Articulación de los objetivos generales y los de las actividades docentes | |
6.3. Actualización teórica y práctica del programa | |
6.4. Interdisciplinariedad y multidisciplinariedad | |
6.5. Calidad del diseño, organización y ejecución del programa | |
6.6. Calidad del desarrollo y evaluación de los cursos | |
6.7. Calidad del desarrollo y evaluación de la investigación | |
6.8. Calidad de la elaboración, presentación y defensa de las memorias escritas | |
6.9. Pertinencia y actualidad científica de las tesis que se defienden |
Definición operacional de la variable: Efecto del programa, de la gestión del Comité
Académico y de la información y los recursos disponibles; en el desarrollo local, en el crecimiento y desempeño profesional de los participantes y en el propio programa.
Para el procesamiento y análisis de los datos obtenidos en la aplicación de los instrumentos se requiere partir de la escala de medición y de los valores en que pueden encontrarse los indicadores, dimensiones y variable, de acuerdo a la escala, en cada grupo de sujetos estudiado.
Se procede a la tabulación por grupo (estudiantes, egresados y profesores, tutores y directivos) de cada instrumento. Para conocer los resultados generales, a partir de lo obtenido en el procesamiento de cada uno de ellos, se realiza la triangulación, que permite la toma de decisiones relativa al nivel que finalmente alcanza cada indicador, dimensión y variable.Una vez realizado el procesamiento de la información y su triangulación, mediante la determinación del valor que alcanzó cada indicador, dimensión y variable, en cada uno de los grupos y en general, de acuerdo con la escala de medición asumida, es conveniente reflejarlo en gráficos ilustrativos.
Los gráficos pueden mostrar la comparación entre los valores alcanzados en los indicadores, en las dimensiones o en la variable; entre los grupos; o pueden reflejar los resultados generales obtenidos al triangular los datos.
El análisis cuantitativo de los datos obtenidos requiere un comentario de los aspectos más significativos que aparecen en los gráficos, para evitar información redundante. Este análisis puede ser deductivo, cuando parte del valor en que se encuentra la variable que se fundamenta con el valor en que se encuentran sus dimensiones e indicadores; o puede ser inductivo, cuando parte del análisis del valor de los indicadores, para llegar al valor en que se encuentra cada dimensión y finalmente, la variable.
El análisis cualitativo se centra en aspectos de interés de carácter hipotético, posibles causas, manifestaciones comportamentales, dificultades y potencialidades derivadas de los resultados, interpretaciones de los datos obtenidos u otras que se considere conveniente destacar. Si se entiende necesario o conveniente pueden ser utilizados algunos métodos de la estadística descriptiva. El procesamiento y análisis de los datos obtenidos en la aplicación de los instrumentos concluye con la elaboración del informe de los resultados.
Se propone como estructura para este informe la siguiente:
Introducción. Se refleja la necesidad del monitoreo del impacto social de la maestría y de la valoración del currículo y de la infraestructura utilizada; qué aspectos de la Resolución No. 11 /19 del MES fueron considerados y el objetivo que se persigue en el trabajo.
Metodología. Se presentan la descripción de las unidades de análisis, los métodos e instrumentos utilizados y el procedimiento que se siguió para su aplicación, procesamiento y análisis.
Resultados. Se presentan los datos obtenidos, organizados en las tablas y los gráficos que facilitan su comprensión, a partir del procesamiento de la información, junto con el análisis cuantitativo y cualitativo de esos resultados, resaltando las posibles hipótesis acerca de las causas de las debilidades y fortalezas encontradas, así como las potencialidades para poder llegar a niveles superiores de desarrollo.
Conclusiones y recomendaciones. Se resaltan los aspectos más generales y esenciales encontrados y se brindan las recomendaciones que se entiendan pertinentes para enfrentar las dificultades y superarlas.
Las formas de implementación constituyen el tercer componente de la metodología.
Se propone al Comité Académico de la maestría transitar por cuatro fases en la implementación de la metodología para la autoevaluación del impacto social de la maestría. Estas fases se conciben a partir de las planteadas por Guerra (2018), con algunas modificaciones:
Fase I: Planificación de la autoevaluación del impacto social del programa
Su objetivo es planificar el proceso de evaluación interna del impacto social del programa de la maestría, teniendo en cuenta la documentación de la JAN y el contexto en el que se realiza la evaluación.
En esta fase el Comité Académico de la maestría se reúne para precisar:
los referentes teóricos que se asumirán; los documentos, resoluciones normativas y documentación del programa que se consultarán cómo se realizará la autoevaluación: si solo mediante evaluadores de la
Universidad, o por los miembros del Comité académico de la maestría; o, si no se cuenta con suficiente personal, por medio de la solicitud de profesionales de otra institución que participen en el equipo que realizará la autoevaluación; el tipo de información que se va a recoger; los métodos e instrumentos necesarios para la obtención de la información; los recursos materiales y humanos necesarios para su desarrollo exitoso; quiénes conformarán el equipo evaluador; cómo se realizará la preparación del equipo evaluador; las coordinaciones que se establecerán entre los implicados; las fuentes de obtención de información: personales (los estudiantes, los egresados, los profesores, los tutores y los directivos), documentales (los documentos normativos del programa y los informes de evaluaciones realizadas), las observaciones y los resultados o productos de la actividad;y la viabilidad de la evaluación del impacto social.
El resultado del intercambio permitirá la primera toma de decisiones acerca de los fundamentos del proceso de autoevaluación del impacto social de la maestría, su objetivo, contenido, métodos, formas, participantes, así como las vías para la preparación de los evaluadores y para la coordinación con los implicados.
Fase II: Diseño de la autoevaluación del impacto social del programa
Esta fase tiene como fin diseñar el proceso de autoevaluación del impacto social de la maestría teniendo en cuenta su objetivo, contenido, métodos, técnicas e instrumentos de evaluación, fuentes de obtención de información y condiciones existentes para llevar a cabo el proceso.
Se desarrollan los siguientes pasos:
Operacionalización de la variable impacto social de la maestría
Elaboración de los instrumentos para la recogida de la información
Determinación del procedimiento para procesar la información
Precisión de las vías que se emplearán para la aplicación de los instrumentos
Establecimiento de las coordinaciones necesarias para la aplicación de los instrumentos
Realización del cronograma de evaluación (fecha, hora, lugar, actividades a realizar, responsable y participantes).
Estos pasos los realiza el Comité Académico, el cual puede asignarlos a algunos de sus miembros o a algunos colaboradores, pero es su responsabilidad, razón por la cual, debe participar en su valoración, discusión y aprobación.
Con el cumplimiento de estos pasos quedan creadas las condiciones para la ejecución del proceso de evaluación del impacto social de la maestría.
Fase III: Ejecución de la autoevaluación del impacto social
En esta fase el objetivo es analizar los resultados obtenidos a partir de la aplicación y procesamiento de los métodos y técnicas para la evaluación interna del impacto social, de acuerdo al cronograma y a las coordinaciones realizadas.
Para el logro de este objetivo, se desarrollan los siguientes pasos:
Reproducción y distribución de los instrumentos
Aplicación de los instrumentos de acuerdo al cronograma y a las coordinaciones realizadas
Procesamiento de la información, según el procedimiento
Análisis e interpretación de los resultados obtenidos, a partir del procesamiento de la información
Elaboración del informe de la evaluación del impacto social
Esta fase permite llevar a vías de hecho lo planificado y diseñado, mediante la aplicación de los métodos y técnicas, el procesamiento y análisis de los resultados obtenidos y su presentación en un informe, de acuerdo al cronograma establecido para el proceso de evaluación del impacto social. Es desarrollada por el equipo evaluador seleccionado por el Comité académico, bajo su supervisión.
Fase IV: Valoración del programa de la maestría a partir de la autoevaluación de sus impactos en el desarrollo local y en el crecimiento y desempeño profesional de los estudiantes, egresados y miembros del claustro
Su objetivo es valorar el programa de la maestría por parte del Comité Académico, teniendo en cuenta los resultados de la aplicación de la metodología para la evaluación de su impacto social.
Consta de los siguientes pasos:
Debate, valoración y aprobación, en el Comité Académico, de la propuesta de informe de autoevaluación del impacto social de la maestría; precisión de las propuestas de alternativas para el reajuste y perfeccionamiento de la metodología para la autoevaluación del impacto social de la maestría; intercambio con los estudiantes, profesores y tutores, de los resultados obtenidos y de las recomendaciones del informe de la autoevaluación del impacto social de la maestría; toma de decisiones relacionadas con el perfeccionamiento del programa de la maestría, para nuevas ediciones o para las que están en ejecución; valoración del proceso de generalización de los resultados obtenidos en la producción intelectual de sus estudiantes y egresados mediante publicaciones o proyectos de investigación, entre otras vías de socialización y consideración de los resultados obtenidos en la autoevaluación del impacto social, para la toma de decisiones relativas a la solicitud a la instancia institucional correspondiente, de la inclusión de la maestría en el proceso de acreditación del programa académico, por la JAN, en el caso que corresponda la realización de este proceso.
Las formas de evaluación constituyen el cuarto componente de la metodología. Se propone evaluar la metodología para la autoevaluación del impacto social de la maestría partir de su aplicación en la práctica, lo que permite comprobar el cumplimiento del objetivo, la validez de los métodos y procedimientos y la pertinencia y viabilidad de las formas de implementación. Puede incluir, también, la valoración por especialistas o por criterio de expertos.
Discusión de los resultados
Los resultados de la aplicación de la metodología en la práctica evidenciaron que los instrumentos aplicados permitían la obtención de información válida y confiable de los indicadores, dimensiones y variable objeto de estudio. Se pudo comprobar el logro del objetivo de la metodología, a partir de la constatación del efecto del programa de la maestría, de la gestión de su Comité Académico y de la gestión de la información y de los recursos disponibles, en el crecimiento y desempeño profesional de los participantes y en el desarrollo local y del propio programa, lo que evidenció la validez de los métodos y procedimientos de la metodología, así como la pertinencia y la viabilidad de sus formas de implementación y evaluación, como componentes interrelacionados que la conforman.
El impacto social de la maestría se reflejó en el crecimiento y en el desempeño profesional exitoso de profesores, tutores, egresados y estudiantes; en la solución de problemas del entorno laboral y social, en la eficiente gestión del Comité Académico y del claustro y en el logro de los objetivos de la Maestría, mediante la calidad del diseño y ejecución de las actividades.
Conclusiones
La autoevaluación del impacto social de las maestrías constituye un paso necesario para constatar los logros y las limitaciones del diseño y desarrollo del programa, de la gestión realizada por el Comité Académico y por el claustro de profesores y tutores, así como para comprobar su efecto en el crecimiento y desempeño profesional de los estudiantes, del claustro y en el desarrollo local y del propio programa.
La metodología para la autoevaluación del impacto social de las maestrías está conformada por cuatro componentes: su objetivo, los métodos y procedimientos, las formas de implementación y las formas de evaluación, que en la dinámica de sus interrelaciones constituye una herramienta metodológica y práctica para realizar esta evaluación, en correspondencia con los requisitos establecidos por la JAN en el proceso de Acreditación.
El procedimiento seguido en la elaboración de la metodología y en particular, su aplicación en la Maestría “Las tecnologías en los procesos educativos” permitió comprobar, mediante vías científicas, la validez de sus instrumentos, la pertinencia y viabilidad de sus formas de implementación y evaluación y el logro del objetivo para el cual fue diseñada.
La metodología tiene posibilidades para ser utilizada en cualquier maestría, con las adecuaciones necesarias al contexto específico en que se desarrolle.