(pdf)
SciELO 
SciELO 
Permalink
Introducción
En los reglamentos que están en vigor aprobados por la Junta de Acreditación Nacional (JAN) no está recogida la participación de un miembro de la junta como observador en los procesos de evaluación externa de las Instituciones de la Educación Superior (IES). Sin embargo, la práctica en los dos últimos años ha evidenciado la necesidad de su incorporación.
En el presente trabajo se pretende analizar los primeros resultados del seguimiento a los procesos de evaluación externa a las IES a partir de la función del observador JAN, de manera que se cuente con evidencias empíricas que posibiliten verificar el cumplimiento de los procedimientos utilizados y su transparencia, así como conocer las repercusiones del análisis realizado después de la evaluación externa.
La actividad del observador JAN, para el cumplimiento de su función de comprobar el cumplimiento de las normas establecidas para la realización de las evaluaciones externas a las instituciones de educación superior, se convierte en un ejercicio de investigación exploratoria-descriptiva, desde una perspectiva cualitativa predominantemente, de corte etnográfico. Más que cuantificar es importante describir, interpretar y explicar el proceso para mejorar su comprensión y sobre todo el trabajo a realizar. Bajo esta perspectiva se seleccionaron los métodos de recopilación, registro observacional, cuestionarios y entrevistas, aunque puede valerse de instrumentos de carácter más cuantitativo en próximos estudios ya que hasta la fecha no se ha contado con un procedimiento estructurado para realizar este trabajo.
De igual manera, se indagó en las relaciones existentes entre los sujetos participantes y objetos del mismo. Se analizaron las acciones prácticas e intelectuales con las cuales construyeron sus representaciones y significados, así como el sentido que para ellos asume el proceso de ser integrante de la JAN en general y de observador en particular, con el propósito de contribuir a su comprensión; de manera que quienes en ella intervienen, sobre todo quienes tienen a su cargo la dirección y orientación del proceso, identifiquen las tareas y los momentos en los cuales su ayuda es fundamental.
A partir del resultado de un proceso de registro e interpretación crítica de la práctica evaluativa desarrollada como observadores JAN se exponen algunos fundamentos para construir un modelo teórico que orientará la elaboración de la metodología a utilizar para la indagación empírica que este desarrolle durante el proceso de evaluación y que pueden contribuir a la preparación y mejor desempeño de dichos observadores.
Del análisis exploratorio explicado anteriormente surgió la siguiente pregunta:
¿Cuáles y cómo se realizan las acciones que constituyen la actividad formativa mediante la cual, un integrante de la JAN da sentido a las experiencias, conocimientos y modos de actuación con los que construye su identidad?
Materiales y métodos
En el desarrollo de la investigación se emplearon los métodos de nivel teórico: histórico lógico, sistémico y de modelación con el apoyo de las técnicas del análisis de documentos y los procedimientos de análisis y síntesis e inducción y deducción.
En primer lugar, se determinaron las necesidades de investigación asociadas a las herramientas y procedimientos utilizados por los evaluadores para desarrollar su labor. Se trabajó con los informes del ciento por ciento de los observadores que actuaron entre el año 2016 y 2017 en procesos de evaluación externa a centros de educación superior del país, así como con las normativas vigentes.
Resultados y discusión
La práctica se funda en conocimientos, pero también produce nuevos conocimientos. Cuando se interviene en la realidad, es posible obtener -si se reflexiona sobre ello- un conocimiento rico y profundo sobre ésta, los sujetos con los cuales se interactúa, las estrategias de intervención, y también sobre uno mismo. Sin embargo, el sentido que tiene el conocimiento producido en y para la práctica y, por lo tanto, la manera en que se produce, son distintos a los de otro tipo de conocimientos.
Principales hallazgos y aprendizajes recogidos por los observadores en sus informes
Los aprendizajes se realizaron articuladamente con otros participantes, cuyas vivencias, visiones e intereses son diversos, como también sus formas de intervención y obviamente, sus interpretaciones sobre la práctica y sus efectos. En términos del conocimiento sobre la realidad, sus formas de generarlo también difieren, traduciéndose en productos distintos.
En primer lugar, el observador le pone un nombre -identifica- la situación problemática que se le presenta, luego, explora y decide qué es lo que la hace problemática (qué le da el carácter de tal) a continuación, postula las causas de los problemas que ha definido, ello le permite especificar qué quiere -y puede- cambiar en la situación y finalmente, postula qué acciones podrían modificarla a su retorno a la IES y en el Pleno de la JAN.
En los informes de: Cadenas, F. (2015), Crespo, L (2016), García, JL (2017), González, E (2016), González, M (2016), González, M (2017), Mestre, U (2016), Romero, RE (2017), de manera general los planteamientos más reiterados fueron los siguientes:
Es necesario el análisis previo del informe de autoevaluación, el programa a desarrollar en la IES para poder elaborar un plan para la participación en las actividades. Para lo que es importante mantener intercambios con la dirección de la comisión y con la IES a evaluar.
El plan debe prever interactuar con la mayor cantidad de estratos: áreas instituciones, estudiantes, directivos, docentes, investigadores, trabajadores, organizaciones, entre otros. Este plan debe ser operativo y flexible que se actualiza sistemáticamente de acuerdo a la práctica evaluativa que sirve de guía para el accionar durante el proceso de evaluación externa y como guía para la relatoría de las actividades desarrolladas y sus aprendizajes.
Iniciar la observación por las variables, en lo particular por la variable I, esto facilita obtener de forma rápida una visión general de la proyección de la gestión institucional.
Desarrollar la capacidad de anticipación, ser proactivo para alertar a la Comisión Evaluadora de posibles encargos o tendencias negativas en el proceso evaluativo (cantidad de clases observadas, principales señalamientos, cantidad y contenido de las actividades metodológicas sugeridas, entre otras).
Se identificaron por los pares evaluadores fortalezas y debilidades no identificadas por la IES, así como se comprobó que se habían identificado debilidades que no lo eran, a partir de las evidencias analizadas. Se recopilaron las evidencias suficientes que permitieron elaborar un informe que sintetizaba y destacaba las fortalezas y debilidades esenciales de la institución. No obstante, el trabajo de conciliación de las fortalezas y debilidades entre los pares evaluadores y sus homólogos es un proceso que demanda de la pericia de los evaluadores y el conocimiento de los documentos normativos en el trabajo de las instituciones de educación superior.
Necesidad de la verificación, a partir de la retroalimentación permanente, los resultados de la observación participante, intercambios y de la aplicación de instrumentos la correspondencia de las fortalezas y debilidades identificadas por la Comisión Evaluadora con la práctica evaluativa vivida.
Se reconoció que había rigor, profesionalidad y habilidades en los expertos seleccionados, así como capacidad de negociación de los evaluadores con los evaluados.
Profundizar en el referente teórico- metodológico que permita identificar los impactos: cuando hay resultados, efectos, transformaciones y sostenibilidad.
Se ratifica el carácter medular de la variable III en el Sistema de Evaluación y Acreditación de Instituciones (SEA IES) y como núcleo para el intercambio y la triangulación de la información.
Apreciar diferentes enfoques o puntos de vista para enfocar el trabajo (variables, facultades, centros de estudio), las fortalezas y debilidades.
Profesionalidad del equipo de dirección en la conducción del proceso y de los evaluadores, proactividad, tolerancia, percepción de su rol y la responsabilidad que entraña este proceso y su implicación futura en la mejora de la institución donde se trabaja.
Incluir testimonios de los evaluadores o evaluados que provoque acciones de reflexión dirigidas a la mejora de la práctica evaluativa en el informe del observador JAN.
El rol de observador contribuye a la preparación como integrante del pleno de la JAN y al mejor desempeño de las funciones de asesoría en las IES de procedencia. Por tanto, permite vivenciar una situación de cambio y de acercamiento, re significación, construcción de la representación de los procesos de evaluación externa, así como la conformación de una nueva relación profesional donde se identifican e interpretan aprendizajes para su socialización.
Exponer significación de la JAN y de los procesos de evaluación externa y acreditación en todas las actividades colectivas de forma breve, por evaluadores y miembros de la JAN.
Dar atención diferenciada a los expertos con menos preparación, antes y durante el proceso.
Se coincide en que, para la reunión diaria se debe dejar más explícito desde el principio, el objetivo de la actividad; entregar por escrito, cada día, la información que se debe dar, aunque se comparta con todos oralmente. Esto permitiría ir recogiendo la información para el informe final, sistemáticamente y complementarla o precisarla en la jornada final.
Sugerencia de hacer la captación como expertos JAN a directores de Centros Universitarios Municipales (CUM) con experiencia y resultados exitosos para que actúen como evaluadores externos en los procesos de evaluación institucional, de manera que se garantice una verdadera evaluación por pares. Al menos 1 en cada evaluación planificando las visitas de forma escalonada y no como hasta ahora se ha hecho, todos los CUM el mismo día.
Incorporar en el reglamento que cada variable, facultad y CUM visitado debe elaborar su propio plan de actividades en función de lo que está establecido; así como, verificar (encuestas y entrevistas grupales a realizar, áreas a visitar, entre otros aspectos).
Explicitar en los documentos que las presentaciones, tanto la del rector como las variables y facultades, no son para leer las fortalezas y debilidades que están en el informe, sino para explicar los sistemas de trabajo que garantizan la obtención y sostenibilidad de las mismas.
Ampliar las indicaciones metodológicas para la elaboración de los planes de mejora por parte de las IES.
Necesidad de que la comprobación de todos los aspectos planteados en los informes de autoevaluación sea fácilmente comprobable por los evaluadores.
Se puso de manifiesto que cuando una IES no tiene identificada una debilidad, para que sea aceptada la propuesta por los evaluadores, es necesario contar con indicadores cuantitativos, ejemplo: cantidad de doctores en el claustro, cantidad de proyectos de I+D+i total y por categorías, cantidad de publicaciones en los grupos I y II, etc; ya que resultan difíciles los análisis cuando se habla en términos de bajos o insuficientes.
Necesidad de perfeccionar los términos utilizados en los modelos anexos para la recogida de la información cuantitativa, particularmente los que están relacionados con los procesos de investigación y extensión.
Aunque es un logro contar con un compendio de instrumentos para la verificación de evidencias a partir de entrevistas y encuestas por variable, se puso de manifiesto la necesidad de hacer un proceso de integración entre las mismas para no duplicar su aplicación por evaluadores. Tampoco reuniones con los mismos participantes con objetivos diferentes, así como comprobar el grado de aplicación de los mismos por los evaluadores.
Los modelos que se anexan en el SEA-IES brindan una información necesaria, pero en el Patrón SEA-IES debe explicitarse el momento de la referencia a los mismos, por una parte, y por otra complementarlos con los modelos que en las IES son auditables.
Registrar a partir de la práctica evaluativa las reflexiones que emergen, las cuales pueden llegar a convertirse en modificaciones al SEA- I y su vínculo con el resto de los SEA.
Mantener, desde una visión estratégica, la conformación de la comisión y los pares evaluadores de forma balanceada por evaluadores con experiencia y de instituciones que deben enfrentar próximamente procesos evaluativos, incluso incorporar rectores u otro personal de los ápices estratégicos de las instituciones o reservas de estos.
No confundir las fortalezas con funciones. Las mismas no deben ser redactadas de forma descriptiva, muy general, en ocasiones absolutas y no se centran en el impacto. En cuanto a las debilidades, son aspectos que limitan o reducen la capacidad de desarrollo efectivo de la estrategia de la organización. Se redactan fortalezas mecánicamente.
Mantener la entrega a los evaluadores de los puntos de vista de las Direcciones del Ministerio de Educación Superior (MES) sobre el informe de autoevaluación para su estudio, nunca como indicaciones. (Ver artículo 19 del Reglamento SEA-IES).
Divulgar e incluir en los talleres de preparación de expertos procedimientos metodológicos para la elaboración de los planes de mejora para su verificación.
Proyectar acciones de sistematización y socialización a partir de todos los registros de participación de los observadores.
Elaborar procedimientos para garantizar las medidas de organización, control y confiabilidad en la aplicación y evaluación de los exámenes aplicados. Prestando especial atención a los porcientos de desaprobados por la instrucción N. 1, sobre el descuento ortográfico.
Necesidad de una capacidad de negociación como competencia del evaluador para ejercer influencia sobre el evaluado desde una posición e igualdad, como par, en el debate e intercambios en la práctica evaluativa. Esto permite lograr que los evaluados descubran las esencias de las fortalezas y las debilidades, solo se logra si los expertos tienen experiencia de dirección en niveles similares, sobre todo si están en el ejercicio actual de la misma.
La encuesta de liderazgo, por la necesidad de su realización se sugiere que no se incluya en el programa de evaluación, sino que se monte de forma independiente, para no confundir a los propios evaluados, ya que no tributa información para el proceso de forma directa y que puede afectar, verse afectada o percibirse como afectada por el proceso de evaluación institucional.
Como se planteaba anteriormente hasta la fecha no se cuenta con un procedimiento para la realización del trabajo del observador. Lo recogido anteriormente obedeció a las consideraciones emitidas al respecto en el pleno de la JAN, a una primera propuesta de orientaciones elaborada por González, E (2016) y sobro todo a la iniciativa de cada evaluador.
Teniendo en cuenta la experiencia acumulada, así como el trabajo del Grupo de Calidad de la Gestión (GCG) del Centro de Estudios de Educación de la Universidad Central de las Villas (2016) se expone, a continuación, una propuesta de procedimiento, desde la perspectiva del resultado de un proceso de registro e interpretación crítica de la práctica evaluativa desarrollada por los observadores en evaluaciones externas a IES.
Como primer resultado esta acción facilitó identificar los siguientes puntos de partida para un observador JAN:
Constituyen puntos de partida para un observador JAN:
Autopreparación del evaluador antes, durante y después de la evaluación institucional.
Flexibilidad
Proactividad
Transparencia
Empatía con los evaluados y evaluadores.
Objetividad
Observación de la capacidad de negociación de evaluadores.
Comprensión de lo que significa una fortaleza y una debilidad y las mejoras relativas a la calidad de la gestión de la IES.
Evitar confusión entre control de gestión (función del MES) y evaluación de la calidad de la gestión (objetivo de la Evaluación Institucional).
Orientación diferenciada a los pares acorde con su desempeño.
Uso del diálogo para el intercambio y posible solución de conflictos.
Reconocer que la práctica evaluativa tiene intrínseco el aprendizaje en función de la mejora.
Diseño metodológico para el trabajo del observador JAN
En correspondencia con la pregunta formulada, los resultados y aportes de los observadores en los procesos realizados y los puntos de partida reconocidos, ha sido posible identificar un grupo elementos para estructurar una metodología que guíe el trabajo del mismo.
El objetivo general de esta propuesta metodológica es: Diagnosticar el cumplimiento de las normas establecidas para la realización de las evaluaciones externas a las instituciones de educación superior, para validar el proceso y proponer acciones para su perfeccionamiento.
Para dicha investigación se definen como categorías, subcategoría de análisis e indicadores, los siguientes (Tabla 1 y Tabla 2):
Tabla 1 Categoría: Sujetos participantes en la evaluación externa
| Sub categorías de análisis | Indicadores |
| Actividad del Jefe de la comisión evaluadora | a) Dirigir y controlar la ejecución de la evaluación. b) Elaborar el plan de trabajo de la evaluación, exigir por la calidad y profundidad del trabajo, así como por el cumplimiento en tiempo y forma de las actividades previstas en el plan general de la evaluación. c) Coordinar con la dirección de la institución, todos los aspectos necesarios para el desarrollo de la evaluación. d) Conducir el proceso de preparación previa de los expertos. (Ver: Reglamento SEA-IES. Artículo 21) e) Convocar diariamente a los evaluadores para informar y colegiar los principales aspectos constatados, así como el cumplimiento del plan de trabajo previsto. (Ver: Reglamento SEA-IES. Artículo 24) |
| Actividad de los Evaluadores | a) Preparación para la evaluación con la consulta de normativa JAN, orientaciones para evaluadores, informe de autoevaluación. b) Cumplir rigurosamente con la aplicación de este Reglamento, con las orientaciones dadas por el jefe de la comisión de evaluación y con todas las disposiciones vigentes. c) Participar en la elaboración del plan de trabajo de la comisión. d) Prepararse adecuadamente, estudiando los documentos que regulan las actividades e instancias que se evaluarán, el informe de autoevaluación y el resto de la documentación solicitada. e) Participar en la ejecución de la evaluación de acuerdo con lo que establece el presente Reglamento y el plan de trabajo de la misma, informando las alteraciones, dificultades y deficiencias que se presentan y sus causas al jefe de la comisión. f) Analizar y discutir con los evaluados las fortalezas y debilidades que van detectando durante la evaluación; g) Informar al jefe de la comisión los resultados del trabajo diario, de acuerdo con el plan previsto. h) Elaborar los informes de los aspectos evaluados. |
| Actividad de los Evaluados | a) Aporte de la información que tribute a las variables y áreas evaluadas. b) Cumplimiento del programa establecido y los aseguramientos materiales para ello. c) Clima de trabajo y estilo de comunicación en el intercambio con los evaluadores. |
Tabla 2 Categoría de análisis: Procesos de la evaluación externa
| Sub categorías | Indicadores |
| Reunión de coordinación | a) Momento del proceso en que se realiza. b) Nivel de conocimiento del programa por parte de todos los miembros de la comisión de evaluación. c) Cumplimento de las funciones y papel de cada sujeto participante. d) Nivel de preparación de la dirección de comisión de evaluación. e) Clima de intercambio entre la comisión evaluadora. f) Precisión de elementos del procedimiento a seguir. |
| Trabajo de los evaluadores con los pares de la institución | a) Tipo de acciones realizadas para comprobar fortalezas, debilidades y cumplimento de plan de mejora: Intercambio con los representantes de la institución responsabilizados con brindar la información solicitada; reuniones con estudiantes y trabajadores; visitas a entidades del territorio; controles a clases, aplicación y muestreo de exámenes; análisis de resultado de controles a clases, visita a residencia estudiantil, laboratorios y otros sitios de la infraestructura, entre otros. b) Calidad de las acciones: dominio de normativa, eficacia de las acciones. c) Clima de trabajo para favorecer: el respeto a los evaluados y entre los miembros de la comisión de evaluación; la no imposición de criterios en la valoración del trabajo de la institución; la emisión de valoraciones sobre la base de las verificaciones realizadas y no de criterios subjetivos; no transmitir a los miembros de la institución alguna información sobre los resultados que se vayan obteniendo durante el proceso. |
| Reunión diaria | a) Conducción por jefe de comisión: dominio de la normativa y del procedimiento para este tipo de reunión; eficacia de la reunión. b) Lógica de exposición de los resultados del trabajo. c) Información por los evaluadores de las acciones realizadas; las alteraciones, dificultades y deficiencias que se presentan; solicitud de información a otros evaluadores; información de las acciones a realizar en próxima sesión de trabajo con evaluados; compartir los aprendizajes adquiridos en el proceso. |
| La elaboración, por los evaluadores, del informe final y presentación a jefe de comisión. | a) Cumplimento de las orientaciones para la elaboración del informe. b) Dominio y rigor mostrado por los evaluadores en el intercambio con el jefe de la comisión. |
| Presentación del informe final de la variable o área a los representantes de la institución por cada una de ellas. | a) Calidad del informe que se presenta. b) Clima de intercambio creado por los evaluadores para la precisión y negociación de los aspectos que puedan ser discutidos. c) Receptividad y reconocimiento de los evaluados a la actividad de los evaluadores durante el proceso. |
| Elaboración por el jefe de la comisión evaluadora del informe final y su presentación a la comisión evaluadora. | a) Calidad del informe: cumplimento de las orientaciones para este tipo de informe (resumen de actividades realizadas, fortalezas y debilidades constatadas, valoración cualitativa integral de la gestión del centro basada en el análisis de los resultados obtenidos); correspondencia de lo conciliado con evaluadores, por variables y áreas. b) Participación de los evaluadores: fundamentación de propuesta de modificación; aprendizajes compartidos. |
| Presentación del informe final al Rector de la institución. | a) Presentación de informe después de analizar con toda la comisión evaluadora. b) Clima de intercambio entre dirección de comisión y rector. |
| Presentación del informe final al Consejo de Dirección del centro y a los representantes de las organizaciones políticas y de masas. | a) Calidad del contenido del informe, en correspondencia con lo establecido para su estructura. b) Reacción de la comunidad universitaria. |
Los métodos y técnicas fundamentales a utilizar, pueden ser:
La observación participante del observador JAN. La observación participante se considera aquella que realiza el observador en actividades en las que debe estar como parte del equipo evaluador y en el cumplimento de sus funciones. Fundamentalmente se refiere a la reunión inicial, la reunión de presentación del informe y las conclusiones de la evaluación externa, así como, las que el mismo realiza como parte de su plan individual para obtener información fuera de los procesos que realizan los evaluadores.
La observación no participante del observador JAN es considerada como aquella que realiza el observador en actividades a las que asiste para ver cómo se desarrollan los procesos y la actuación de los miembros de la comisión y en las cuales no está incluido como parte de los sujetos que participan en ella.
Cuestionario a los evaluadores según formatos consensuados.
La entrevista en profundidad a la dirección de la comisión evaluadora y secretaria ejecutiva JAN, a los evaluadores y a estudiantes, trabajadores y representantes de la institución responsabilizados con la atención y aporte de información necesaria para evaluar la institución por variables áreas.
En cada caso ha sido posible diseñar cada una de las técnicas y herramientas con el objetivo de ganar en homogeneidad en el futuro trabajo de los observadores.
La experiencia de vincular al equipo de evaluadores en los procesos de evaluación externa de las IES un integrante del Pleno de la JAN como observador fue enriquecedora y resulta de extraordinario valor, pues contribuyó a su mejor preparación como miembro de la JAN, así como, para la función de asesoría del trabajo por la mejora continua y durante el proceso de evaluación institucional de la IES en el cual trabaja.
La responsabilidad del observador JAN radica en que el proceso de evaluación transcurra acorde a lo establecido en las normas y procedimientos del SEA-IES, emitir juicios de valor acerca de la calidad de la práctica evaluativa, así como registrar y socializar sus resultados.
Es necesario cuidar de la figura del experto o evaluador como ente protagónico de los procesos con la implementación de una estrategia de selección, capacitación y certificación de su idoneidad y donde el observador JAN puede, en el proceso de evaluación externa acompañar al integrante del Comité Técnico y a la Secretaria Ejecutiva.
La propuesta de orientaciones presentadas recoge el contenido de la normativa establecida para la realización de las evaluaciones externas a Instituciones de la Educación Superior en Cuba, así como, sistematiza algunas de las experiencias prácticas en las evaluaciones realizadas.
El diseño metodológico propuesto, puede ser enriquecido con los aportes de los observadores JAN, en el momento de la realización de su tarea y a partir de las condiciones concretas en las que realiza su labor, así como, de las experiencias previas. Está presente una concepción previa o anticipación del rol a desempeñar en el espacio de la evaluación externa. Así el sujeto se prepara para adecuarse a las exigencias del proceso.
La proyección del proceso de observación, debe sustentarse en la transformación, el movimiento constante, la búsqueda independiente y la utilización de las tecnologías de la información y las comunicaciones.
El resultado de estas aproximaciones sucesivas a la definición de las funciones e instrumentos para el cumplimento de la tarea del observador JAN, con el aporte de los mismos, podrá contribuir a la elaboración de un documento definitivo que oriente dicha actividad, el cual deberá quedar legitimado por la JAN.
Un aprendizaje organizacional requiere de procedimientos ordenados y sistemáticos, así como de mecanismos para la prevención de los errores y de la voluntad de aprender, que es equivalente a la voluntad por mejorar.
