Dra. Magalys Arencibia Rodríguez,1 Dr. Julio Cesar Castellanos Laviña,2 Dra. Regla Cruz Segundo3 Dra. Teresa de la Caridad Pérez Díaz,4 Dra. Angelina Cedré Cabrera4 y Dra. Zoila Medina Gondrés5
Tradicionalmente el examen teórico como parte del sistema de evaluación de graduación en el régimen de residencia de la especialidad de Medicina General Integral se ha realizado de forma oral. Dada la masividad de los residentes, su formación está en manos de un claustro numeroso y poco experimentado y paralelamente existe una amplia experiencia internacional de la superioridad de los exámenes escritos objetivos, es por ello que el área de docencia del Ministerio de Salud Pública decidió establecer una metodología científica para su confección que cuenta con 5 etapas: I Diagnóstico; II Planificación; III Construcción y selección del instrumento; IV Aplicación y V Reanálisis, calificación y procesamiento de los resultados. Los métodos utilizados para el estudio fueron: el lógicohistórico, el enfoque de sistema, la modelación técnica, el inductivodeductivo y la consulta de expertos. Para probar el instrumento se aplicó a una muestra por conglomerado monoetápico de 581 residentes, de el universo 1 795, para el 32 %, en la que estuvieron implicados 250 policlínicos del país con resultados satisfactorios.
DeCS: PROYECTO DE INVESTIGACION; ESTUDIANTES DE MEDICINA; EDUCACION PROFESIONAL.
El sistema de evaluación en el Régimen de Residencia y en particular, en la Especialidad de Medicina General Integral (MGI), se fundamenta en el sistema de objetivos pedagógicos y contenidos programáticos de formación de la especialidad. Como parte de la culminación para la obtención del título de Especialista de I Grado existe la evaluación de graduación que dentro de sus componentes tiene el Examen Estatal (teórico-práctico y teórico) en esta especialidad y en el resto, los que han venido realizándose de forma oral y que por una serie de consideraciones se ha tomado la decisión en la especialidad de MGI, de realizarlo de forma escrita (test).
El sistema de evaluación, evaluación del aprendizaje o evaluación educativa, ocupa gran parte del tiempo de los especialistas en cualquier rama del conocimiento. De ahí que exista comités interinstitucionales dedicados al estudio y a la investigación de la evaluación en la Educación Superior. La evaluación ha sido abordada en eventos internacionales como congresos de didáctica (España 95) y Pedagogía (Cuba 97), entre otros.
De igual forma hay especialistas y publicaciones que no solo se refieren a la evaluación del aprendizaje, sino también a la evaluación de programas, currículo e instituciones.
Lo anteriormente expuesto puede dar la medida de que en cualquier marco referencial esta categoría es abordada, ya que es la que certifica calidadaunque es muy controvertida y en esencia, dotada de una gran subjetividad. La aspiración máxima es que la evaluación sea lo más objetiva posible. Hay autores como Alberto Fernández y colaboradores (1993) que afirman: no es posible hablar de objetividad in sito estricto sino de aproximación de un ´convenio´, lleno de racionalidad por parte de los que intervienen en la elaboración de los criterios, pero siempre vistos como consecuencia de los parámetros de interpretación de la realidad que son propios de cada uno de los compañeros de la comisión, junta, staff u órgano que se crea para elaborar la evaluación (instrumento) y emitir los adecuados juicios de valor.1
Existen discrepancias, pero la generalidad de los autores coinciden en la esenciabilidad al definir la evaluación. ]]>
Félix Angulo Rasgo,2 investigador en la universidad de Málaga (España 1995), expresa: Por razones más políticas que lingüísticas, el concepto de evaluación tiene más sinónimos de los que un buen diccionario de la Lengua Española podría soportar.2 Pedro Lafouecade (argentino, Dr. en Pedagogía, consultivo de la UNESCO y especialista en educación de la OEA) expone: La evaluación es una etapa del proceso educacional que tiene que comprobar de modo sistemático en qué medida se han logrado los objetivos que se han especificado con antelación. Miriam González y colaboradores (Cuba, experta del CEPES) ha dicho: La evaluación del aprendizaje es una parte esencial del proceso de enseñanza que permite el control y valoración de los conocimientos, habilidades y hábitos que los estudiantes adquieren como resultado del proceso docente-educativo; permite comprobar el grado en que se cumplen los objetivos propuestos y constituye un elemento de retroalimentación y dirección del proceso (Res/269/91. del MES; Reglamento para el trabajo docente y metodológico en la Educación Superior). Esta última ha sido utilizada como definición operacional en este estudio.
Revisada esta categoría exhaustivamente se plantea que para hablar de evaluación hay que considerar como elementos importantes: la búsqueda de información, el juicio de valor y la toma de decisiones.
Vale la pena destacar que no se debe identificar la evaluación con el examen o prueba (estos últimos son instrumentos de medición, de control).
La evaluación de graduación de los Especialistas de I Grado (Res. 26/94. Cap. V. MINSAP. Reglamento del Régimen de Residencia) en particular los de MGI, la conforman un conjunto de componentes a los que se les asignan una calificación. Estos componentes son:
Ejercicio teórico, escrito y objetivo, estatal de carácter nacional (calificación final de los estudios de la especialidad).
Examen estatal (ejercicio teórico y práctico-teórico).
Trabajo de terminación de la especialidad (TTR, trabajo escrito que lleva implícito presentación y defensa).
Tradicionalmente en Cuba, el examen teórico como elemento del Sistema de Evaluación de Graduación en el régimen de residencia (MGI) se ha realizado de forma oral.3-5 Como parte del perfeccionamiento del proceso docente y con el objetivo de elevar el nivel de competencia en las especialidades médicas del MINSAP (Área de Docencia) se decidió aplicar por primera vez dicho examen en forma escrita en la especialidad de MGI y tomó en consideración para ello, los elementos siguientes:6-9
Para llevar a cabo el estudio se creó una Comisión Nacional de Expertos, encargada de diseñar o establecer una metodología científica para la confección del examen teórico-escrito-objetivo.
Las fuentes y documentos utilizados para establecer la metodología de trabajo para confeccionar el examen teórico-escrito-objetivo fueron de carácter didáctico, normativos, materiales especializados en docimología y programas, entre otros.3-9 para alcanzar los resultados esperados y los colaterales se utilizaron los métodos siguientes: lógico-histórico, enfoque de sistema, modelación teórica, inductivo-deductivo y consulta de expertos como variables dependientes: situación del completamiento de los grupos básicos de trabajo, potencial científico humano, cumplimientos de programas, tipo de examen realizado en el pase de 3 años, potencial bibliográfico que respalda la autopreparación de los residentes, tabla de especificaciones de contenido científico humano, modelo teórico ideal del examen, principales problemas de salud, actividades de educación en el trabajo y como independientes: examen oral, masividad en esta especialidad, alto número de profesores poco experimentados y en la especialidad de MGI, base del sistema de salud, inexistencia de criterios unificados para la calificación del examen oral de graduación, modelo del profesional, funciones y obligaciones funcionales.
Se consideró como pilar del trabajo de la comisión una sistemática retroalimentación e intercambio con residentes, jefes de departamentos, miembros de tribunales y vicedecanos de postgrado; se desarrollaron los talleres nacionales con los jefes de departamentos de la especialidad de MGI del país; en resumen se realizó un trabajo colectivo.
La metodología propuesta consta de 5 etapas que se exponen a continuación.
Etapa de exploración e identificación de problemas de interés para el trabajo de la comisión de retroalimentación y de consenso ante las decisiones a tomar. En esta etapa no solo se analizó exhaustivamente el programa sino que se identificaron los nudos conceptuales que constituyen problemas a analizar y su ejecución.
La etapa constituyó un momento importante para que la comisión conociera cómo se había llevado a cabo el proceso de formación y qué respuesta podrían dar al modelo del profesional como modelo teórico.
Se pudo constatar lo siguiente:
Durante la etapa se realizaron talleres con la finalidad de recoger información, intercambiar, realizar los ejercicios que venían haciendo los miembros de la comisión y también para buscar consenso ante cada una de las situaciones a analizar.
En el diagnóstico se precisaron los principales problemas de salud y sus particularidades: leptospirosis, enfermedades del corazón, tumores malignos, EDA, hepatitis, fiebre tifoidea, suicidio, asma bronquial, meningoencefalitis, tercera edad, tuberculosis pulmonar, ETS, pediculosis, escabiosis, neuropatía epidémica, AVE, diabetes mellitus, inmunizaciones y PAMI.
Se exploró y hubo conocimiento de que se realizaron exámenes escritos en general en tercer año, excepto en el Instituto Superior de Ciencias Médicas de Santiago de Cuba, y que fue muy generalizado el uso de preguntas semiestructuradas y estructuradas.
Se elaboró la tabla de especificaciones de contenido y se estructuró un modelo ideal de examen a partir de las obligaciones funcionales derivadas del perfil profesional (tablas 1 y 2) y se precisaron los siguientes aspectos relevantes:
A partir de la tabla de especificaciones de contenido y del modelo teórico ideal, se confeccionan fichas de preguntas, se clasifican y se conforma el banco de preguntas. este banco se constituye no solo con las fichas que elaboran los miembros de la comisión sino también con las que envían profesores de las facultades del resto del país; esta posibilidad debe ser estimulada. En esta etapa es importante tener presente los errores más frecuentes al confeccionar las fichas y además:
Atender criterios y convenios.
confeccionar instrucciones para orientar el acto de realización y de calificación del examen.
La práctica demuestra la necesidad de establecer la calificación del examen de forma centralizada.
Es indispensable una vez confeccionado el examen que cada pregunta sea revisada por expertos en la materia antes de su entrega al MINSAP (área de docencia).
En esta ocasión no se cumplió lo orientado en la metodología de que el acto de calificar debe ser centralizado, esto puede desvirtuar la metodología.
Se tiene en cuenta las instrucciones, para el efecto, se realiza el examen en las diferentes áreas destinadas bajo la supervisión de docentes nombrados, preferiblemente debe estar un miembro de la comisión en el acto, como observador, acto que debe llevarse con gran solemnidad, por tanto se ha de prever las condiciones objetivas y subjetivas que se requieren para cumplir con esta indicación.
La metodología a seguir para la confección y aplicación del examen es otro momento de convenio, se retoman de nuevo criterios, se llega a la decisión de calificar según la escala de valores establecida (de ahí la necesidad de la calificación centralizada) para favorecer el convenio racional e inteligente que admite dicha metodología.
Se procesan los resultados.
Se tienen en cuenta los criterios de los residentes.
Se realizan análisis de frecuencia de error según respuestas.
Se realizan las comparaciones de los resultados alcanzados por las diferentes facultades.
Se realizan técnicas para observar el grado de fiabilidad del examen aplicado, entre las que están:
- Otros beneficios colaterales:
Tabla 3. Situación de los GRT durante el proceso de formación
Grupos básicos compl. | Que especialidades fueron afectadas | Tiempo (años) | ||
Facultad o Provincia | SI | NO | ||
C. García | ]]> X | Ped-GO y M. Iinterna | 2 | |
Fajardo |
| M. Interna-PS | ||
Finlay-Alr | ]]> X | Psic | 2 | |
M. Enriquez | X | Ped-M. Interna -GO | 2 | |
S. Allende | X | Ped-M. Interna PS | ]]> | |
10 de Octubre | X | M. Interna -GO | 1 | |
E. Carrera | X | M. Interna | 3 | |
Julio Trigo | ]]> X | M. Interna-GO | 2 | |
S. Spíritus | X | M. Interna- Ped-GO-PS | 1-3 | |
C. Ávila | X | M. Interna -Ped-PS | ]]> 7-3-22 | |
Camagüey | X | Psic | 3 | |
Cienfuegos | X | GO-PED | 2 | |
Stgo. de Cuba | ]]> X | M. Interna-PS | 3 | |
Holguín | X | Psic | ||
Las Tunas | X | Psic-Ped- M. Interna | ]]> 3-1-1 |
Tabla 4. Cumplimiento del programa
Contenido | No se Cumplió | Se cumplió con modificaciones | Qué modificaciones | Se cumplió con limitaciones |
Área I | ||||
Área II | Mod 13 Modo de vida | |||
Mod 21 control | ||||
Hig. Ambiental | ||||
Área III | 100 % aunque hay ausencias de psicólogos | |||
Área IV | Se cumplió 100 % aunque hay falta de bibliografía | |||
Área V | Modo 44 Oftal | |||
Mod 64 Derm | ||||
Mod 68 Psiq | ||||
Mod 78 | ||||
Mod 79 | ||||
Mod 80 |
Tabla 5. Literatura docente
Literatura docente | ||
Medicina General | ||
Higiene del Medio | ||
Curso de Medicina del Trabajo | Básica | |
Higiene Escolar | ||
Textos complementarios | ||
Tratado de Medicina Interna | ||
Llanio y colaboradores | ||
Roca | Complementarios | |
Manual de Diagnóstico y Tdo. Medicina Interna | ||
Krupp | ||
Nelson | ||
Textos auxiliares | ||
Programa de trabajo del médico y enfermera de la familia | ||
Manual de procedimiento: Pedriatría | Auxiliares | |
Ginecoobstetricia y Medicina Interna | ||
Literatura y consulta | ||
Revistas Cubanas: MGI, MI, Ped, GO e Higiene y Epidemiología | Consulta |
Se estableció una metodología científica para la confección y aplicación del examen teórico escrito nacional estatal (test) en la especialidad de MGI, que quedó constituida por 5 etapas: 1.Diagnóstico, 2. Planificación, 3. Construcción y selección del examen, 4. Aplicación del examen, 5. Reanálisis, calificación y procesamiento de los resultados. se constató el estado en que se encontraba el proceso de formación de los especialistas de MGI y que el resultado puede ser de utilidad en el perfeccionamiento del programa de esta especialidad.
La metodología expuesta puede ser generalizada a otras especialidades e incluso al pregrado de la carrera de medicina. para contribuir a aplicar esta consideración, se impone el desarrollo de cursos de capacitación para las comisiones creadas en la especialidad de MGI y otras.
Traditionally, the theoretical exam made as part of the evaluation system for graduating residents of Comprehensive General Medicine has been oral. As there is a great number of residents, their training is in the hands of a numerous and little experienced body of professors so, the teaching area of the Ministry of Public Health taking into account this fact and the existence of a wide international experience on the objective superiority of the written tests decided to establish a 5-stage scientific methodology to make these tests: I Diagnosis; II Planning; III Making and selection of the instrument; IV Application; and V Reanalysis, evaluation and processing of the results. The methods used in this study were as follows: logical-historical method, system approach, technical modeling, inductive-deductive method, and expert consultation. To test the instrument, it was applied to a single-stage conglomerate sample of 581 residents from a total of 1 795, accounting for 32 %. 250 polyclinics from all over the country were included. The results were satisfactory.
Subject headings: RESEARCH DESIGN; STUDENTS, MEDICAL; EDUCATION, PROFESSIONAL.
Recibido: 5 de octubre de 1999. Aprobado: 21 de abril de 2002.
Dra. Magalys Arencibia Rodríguez. Instituto Superior de Ciencias Médicas de La Habana. Facultad Dr. Miguel Enriquez. Ciudad de La Habana. Cuba.
1 Doctora en Pedagogía. Profesora Auxiliar.
2 Especialista de II Grado en Medicina General Integral. Profesor Auxiliar.
3 Especialista de I Grado en Pediatría. Profesora Asistente.
4 Especialista de I Grado en Medicina General Integral. Instructora. ]]>
5 Especialista de I Grado en Pediatría. Instructora.
]]>