Instituto Superior de Ciencias Médicas de La Habana.Facultad “Dr. Miguel Enriquez”

Evaluación estatal en la especialidad de medicina general integral: propuesta de examen teórico-escrito

Dra. Magalys Arencibia Rodríguez,1 Dr. Julio Cesar Castellanos Laviña,2 Dra. Regla Cruz Segundo3 Dra. Teresa de la Caridad Pérez Díaz,4 Dra. Angelina Cedré Cabrera4 y Dra. Zoila Medina Gondrés5

Resumen

Tradicionalmente el examen teórico como parte del sistema de evaluación de graduación en el régimen de residencia de la especialidad de Medicina General Integral se ha realizado de forma oral. Dada la masividad de los residentes, su formación está en manos de un claustro numeroso y poco experimentado y paralelamente existe una amplia experiencia internacional de la superioridad de los exámenes escritos objetivos, es por ello que el área de docencia del Ministerio de Salud Pública decidió establecer una metodología científica para su confección que cuenta con 5 etapas: I Diagnóstico; II Planificación; III Construcción y selección del instrumento; IV Aplicación y V Reanálisis, calificación y procesamiento de los resultados. Los métodos utilizados para el estudio fueron: el lógico–histórico, el enfoque de sistema, la modelación técnica, el inductivo–deductivo y la consulta de expertos. Para probar el instrumento se aplicó a una muestra por conglomerado monoetápico de 581 residentes, de el universo 1 795, para el 32 %, en la que estuvieron implicados 250 policlínicos del país con resultados satisfactorios.

DeCS: PROYECTO DE INVESTIGACION; ESTUDIANTES DE MEDICINA; EDUCACION PROFESIONAL.

El sistema de evaluación en el Régimen de Residencia y en particular, en la Especialidad de Medicina General Integral (MGI), se fundamenta en el sistema de objetivos pedagógicos y contenidos programáticos de formación de la especialidad. Como parte de la culminación para la obtención del título de Especialista de I Grado existe la evaluación de graduación que dentro de sus componentes tiene el Examen Estatal (teórico-práctico y teórico) en esta especialidad y en el resto, los que han venido realizándose de forma oral y que por una serie de consideraciones se ha tomado la decisión en la especialidad de MGI, de realizarlo de forma escrita (test).

El sistema de evaluación, evaluación del aprendizaje o evaluación educativa, ocupa gran parte del tiempo de los especialistas en cualquier rama del conocimiento. De ahí que exista comités interinstitucionales dedicados al estudio y a la investigación de la evaluación en la Educación Superior. La evaluación ha sido abordada en eventos internacionales como congresos de didáctica (España 95) y Pedagogía (Cuba 97), entre otros.

De igual forma hay especialistas y publicaciones que no solo se refieren a la evaluación del aprendizaje, sino también a la evaluación de programas, currículo e instituciones.

Lo anteriormente expuesto puede dar la medida de que en cualquier marco referencial esta categoría es abordada, ya que es la que “certifica calidad”aunque es muy controvertida y en esencia, dotada de una gran subjetividad. La aspiración máxima es que la evaluación sea lo más objetiva posible. Hay autores como Alberto Fernández y colaboradores (1993) que afirman: “no es posible hablar de objetividad in sito estricto sino de aproximación de un ´convenio´, lleno de racionalidad por parte de los que intervienen en la elaboración de los criterios, pero siempre vistos como consecuencia de los parámetros de interpretación de la realidad que son propios de cada uno de los compañeros de la comisión, junta, staff u órgano que se crea para elaborar la evaluación (instrumento) y emitir los adecuados juicios de valor.1

Existen discrepancias, pero la generalidad de los autores coinciden en la esenciabilidad al definir la evaluación.

Félix Angulo Rasgo,2 investigador en la universidad de Málaga (España 1995), expresa: “Por razones más políticas que lingüísticas, el concepto de evaluación tiene más sinónimos de los que un buen diccionario de la Lengua Española podría soportar”.2 Pedro Lafouecade (argentino, Dr. en Pedagogía, consultivo de la UNESCO y especialista en educación de la OEA) expone: “La evaluación es una etapa del proceso educacional que tiene que comprobar de modo sistemático en qué medida se han logrado los objetivos que se han especificado con antelación”. Miriam González y colaboradores (Cuba, experta del CEPES) ha dicho: “La evaluación del aprendizaje es una parte esencial del proceso de enseñanza que permite el control y valoración de los conocimientos, habilidades y hábitos que los estudiantes adquieren como resultado del proceso docente-educativo; permite comprobar el grado en que se cumplen los objetivos propuestos y constituye un elemento de retroalimentación y dirección del proceso” (Res/269/91. del MES; Reglamento para el trabajo docente y metodológico en la Educación Superior). Esta última ha sido utilizada como definición operacional en este estudio.

Revisada esta categoría exhaustivamente se plantea que para hablar de evaluación hay que considerar como elementos importantes: la búsqueda de información, el juicio de valor y la toma de decisiones.

Vale la pena destacar que no se debe identificar la evaluación con el examen o prueba (estos últimos son instrumentos de medición, de control).

La evaluación de graduación de los Especialistas de I Grado (Res. 26/94. Cap. V. MINSAP. Reglamento del Régimen de Residencia) en particular los de MGI, la conforman un conjunto de componentes a los que se les asignan una calificación. Estos componentes son:

• Ejercicio teórico, escrito y objetivo, estatal de carácter nacional (calificación final de los estudios de la    especialidad).
• Examen estatal (ejercicio teórico y práctico-teórico).
• Trabajo de terminación de la especialidad (TTR, trabajo escrito que lleva implícito presentación y defensa).

La evaluación de graduación implica la certificación de la competencia de este especialista, lo que permitirá alcanzar mayor nivel de eficiencia en los servicios de salud y por ende, mejorar el estado de salud de la población mediante las acciones integrales dirigidas al individuo, la familia, la comunidad y el ambiente en una íntima vinculación con la población.

Tradicionalmente en Cuba, el examen teórico como elemento del Sistema de Evaluación de Graduación en el régimen de residencia (MGI) se ha realizado de forma oral.3-5 Como parte del perfeccionamiento del proceso docente y con el objetivo de elevar el nivel de competencia en las especialidades médicas del MINSAP (Área de Docencia) se decidió aplicar por primera vez dicho examen en forma escrita en la especialidad de MGI y tomó en consideración para ello, los elementos siguientes:6-9

• La actual masividad de la residencia de MGI, obliga cada año a conformar un elevado número de tribunales para poder realizar la evaluación estatal de los residentes que concluyen.
  
• El claustro de MGI, es precisamente el de menor experiencia, lo que unido al elemento anterior no permite garantizar la calidad de los ejercicios que se realizan.
  
• Por ser la especialidad de MGI, la base del Sistema de Salud cubano debe garantizarse el máximo de calidad en la evaluación a todo lo largo del país.
  
• Existe amplia experiencia internacional en la utilización de ejercicios escritos para la realización de exámenes de certificación, universalmente aceptados, que demuestran ser superiores a los orales al disminuir los elementos subjetivos, que casi siempre afectan a estos últimos. Además está comprobado que los exámenes objetivos por tanto, son más fiables, válidos, y pertinentes.
  
• También se tuvo en cuenta otros componentes de la evaluación que pueden suplir algunas de las desventajas de este tipo de examen.
  
• La necesidad de unificar criterios al otorgar la calificación.

Para llevar a cabo el estudio se creó una Comisión Nacional de Expertos, encargada de diseñar o establecer una metodología científica para la confección del examen teórico-escrito-objetivo.

Metodología de Trabajo

Las fuentes y documentos utilizados para establecer la metodología de trabajo para confeccionar el examen teórico-escrito-objetivo fueron de carácter didáctico, normativos, materiales especializados en docimología y programas, entre otros.3-9 para alcanzar los resultados esperados y los colaterales se utilizaron los métodos siguientes: lógico-histórico, enfoque de sistema, modelación teórica, inductivo-deductivo y consulta de expertos como variables dependientes: situación del completamiento de los grupos básicos de trabajo, potencial científico humano, cumplimientos de programas, tipo de examen realizado en el pase de 3 años, potencial bibliográfico que respalda la autopreparación de los residentes, tabla de especificaciones de contenido científico humano, modelo teórico ideal del examen, principales problemas de salud, actividades de educación en el trabajo y como independientes: examen oral, masividad en esta especialidad, alto número de profesores poco experimentados y en la especialidad de MGI, base del sistema de salud, inexistencia de criterios unificados para la calificación del examen oral de graduación, modelo del profesional, funciones y obligaciones funcionales.

Se consideró como pilar del trabajo de la comisión una sistemática retroalimentación e intercambio con residentes, jefes de departamentos, miembros de tribunales y vicedecanos de postgrado; se desarrollaron los talleres nacionales con los jefes de departamentos de la especialidad de MGI del país; en resumen se realizó un trabajo colectivo.

La metodología propuesta consta de 5 etapas que se exponen a continuación.

Etapa 1. diagnóstico

Etapa de exploración e identificación de problemas de interés para el trabajo de la comisión de retroalimentación y de consenso ante las decisiones a tomar. En esta etapa no solo se analizó exhaustivamente el programa sino que se identificaron los nudos conceptuales que constituyen problemas a analizar y su ejecución.

La etapa constituyó un momento importante para que la comisión conociera cómo se había llevado a cabo el proceso de formación y qué respuesta podrían dar al modelo del profesional como modelo teórico.

Se pudo constatar lo siguiente:

• El proceso de formación de estos residentes está en manos de 2 573 especialistas, de ellos 5 profesores titulares para el 0,2 %, 11 auxiliares para el 0,5 %, 58 asistentes para el 2,7 %, 859 instructores para el 28 %, y sin categoría docente 1 640 para el 69 %, por lo que se puede declarar que el proceso está dañado.
  
• Los Grupos Básicos de Trabajo, estuvieron incompletos en parte o totalmente durante la etapa de formación en algunas de las especialidades que la constituyen.
  
• Cumplimiento del programa: Área I no se cumple. Se cumplió con limitaciones el módulo 4 D. S.S I b Centros de la comunidad, Área II, módulo 13, Modo de vida, módulo 21, Control higiénico-ambiental. El Área III sí cumplió; pero sin respaldo de literatura actualizada, así también el Área V, módulo 44 Oftalmología, 64 Dermatología y 68 Psiquiatría se cumplieron con limitaciones.
  
• La bibliografía que respalda la autopreparación como literatura básica, solo consta del libro de texto de MGI, algunos textos complementarios, auxiliares y de consulta (no contaron con literatura actualizada suficiente y accesible).

Durante la etapa se realizaron talleres con la finalidad de recoger información, intercambiar, realizar los ejercicios que venían haciendo los miembros de la comisión y también para buscar consenso ante cada una de las situaciones a analizar.

En el diagnóstico se precisaron los principales problemas de salud y sus particularidades: leptospirosis, enfermedades del corazón, tumores malignos, EDA, hepatitis, fiebre tifoidea, suicidio, asma bronquial, meningoencefalitis, tercera edad, tuberculosis pulmonar, ETS, pediculosis, escabiosis, neuropatía epidémica, AVE, diabetes mellitus, inmunizaciones y PAMI.

Se exploró y hubo conocimiento de que se realizaron exámenes escritos en general en tercer año, excepto en el Instituto Superior de Ciencias Médicas de Santiago de Cuba, y que fue muy generalizado el uso de preguntas semiestructuradas y estructuradas.

Etapa 2. planificación

Se elaboró la tabla de especificaciones de contenido y se estructuró un modelo ideal de examen a partir de las obligaciones funcionales derivadas del perfil profesional (tablas 1 y 2) y se precisaron los siguientes aspectos relevantes:

• La evaluación no puede estar al margen de cómo se realiza el proceso de formación.
  definir ¿para qué? Tipo de examen escrito- objetivo (de graduación) en el que se midan parámetros máximos.
  
• establecer que se evalúen todas las funciones por su carácter de sistema y considerar que la atención médica es la que las jerarquiza.
  
• establecer el peso de las preguntas, gran peso (valor 3), peso (valor 2), poco peso (valor 1), ningún peso (valor 0), y también cuándo evaluarlas.
  
• ¿Qué evaluar? ¿Cómo? ¿Quién? Y ¿Cuándo? Ver tabla 1 de especificaciones de contenido y tabla 2 del modelo teórico ideal de examen.
  
• el objetivo de este examen es ofrecer un certificado de competencia con un mayor grado de objetividad.
  
• Aplicar en esta ocasión el examen a una muestra 581 residentes, de un total de 1 795 a evaluar en esta convocatoria, que responde al 32 % del universo. En esta oportunidad estuvieron representados 250 policlínicos del país. En esta etapa se tuvo en cuenta el grado de complejidad, número de items, etc., para la determinación del tiempo a emplear (3 h). Esta etapa se realiza de forma simultánea nacionalmente.

Etapa 3. Construcción y selección del examen

A partir de la tabla de especificaciones de contenido y del modelo teórico ideal, se confeccionan fichas de preguntas, se clasifican y se conforma el banco de preguntas. este banco se constituye no solo con las fichas que elaboran los miembros de la comisión sino también con las que envían profesores de las facultades del resto del país; esta posibilidad debe ser estimulada. En esta etapa es importante tener presente los errores más frecuentes al confeccionar las fichas y además:

• Atender criterios y convenios.
• confeccionar instrucciones para orientar el acto de realización y de calificación del examen.
• La práctica demuestra la necesidad de establecer la calificación del examen de forma centralizada.
• Es indispensable una vez confeccionado el examen que cada pregunta sea revisada por expertos en la materia antes de su entrega al MINSAP (área de docencia).

En esta ocasión no se cumplió lo orientado en la metodología de que el acto de calificar debe ser centralizado, esto puede desvirtuar la metodología.

Etapa 4. aplicación del examen

Se tiene en cuenta las instrucciones, para el efecto, se realiza el examen en las diferentes áreas destinadas bajo la supervisión de docentes nombrados, preferiblemente debe estar un miembro de la comisión en el acto, como “observador”, acto que debe llevarse con gran solemnidad, por tanto se ha de prever las condiciones objetivas y subjetivas que se requieren para cumplir con esta indicación.

Etapa 5. reanálisis, calificación y procesamiento de los resultados

La metodología a seguir para la confección y aplicación del examen es otro momento de “convenio”, se retoman de nuevo criterios, se llega a la decisión de calificar según la escala de valores establecida (de ahí la necesidad de la calificación centralizada) para favorecer el “convenio” racional e inteligente que admite dicha metodología.

• Se procesan los resultados.
• Se tienen en cuenta los criterios de los residentes.
• Se realizan análisis de frecuencia de error según respuestas.
• Se realizan las comparaciones de los resultados alcanzados por las diferentes facultades.
• Se realizan técnicas para observar el grado de fiabilidad del examen aplicado, entre las que están:

• Coeficiente Cronbanch, el cual constituye una medida de consistencia interna del examen. Para el cálculo del mencionado coeficiente se seleccionó una muestra de 199 exámenes de un total de 857 residentes, para el 23,2 %, y se obtuvo al efectuar los cálculos pertinentes un valor de –0,232. Se supone que este resultado numérico tan bajo para el coeficiente sea consecuencia del reducido número de preguntas del instrumento (total de preguntas 12), el bajo número de items y también de la manera en que se computó la calificación (se pudo haber realizado a nivel de incisos), además se buscó correspondencia con la tabla de especificaciones de contenido y el modelo teórico ideal, con resultados satisfactorios, y verificar el cumplimiento, sobre todo, de la relevancia de las obligaciones funcionales medidas (objetivo) y no solo considerar los elementos estadísticos satisfactorios.
• Dentro de los beneficios esperados en esta investigación están el establecer una metodología científica para la confección y aplicación del examen escrito-teórico-objetivo en la especialidad de MGI y además probada en la práctica con resultados satisfactorios.
  

- Otros beneficios colaterales:

• Se constató el estado del proceso de formación de los especialistas de MGI.
  
• Se puso de manifiesto la necesidad de continuar el perfeccionamiento del resto del sistema de evaluación de  graduación (examen práctico, examen de terminación de residencia, TTR).
  
• Fueron útiles los resultados alcanzados y pueden contribuir al perfeccionamiento del programa.
  
• La metodología puede ser generalizada a otras especialidades, teniendo en cuenta sus características, e incluso,   al pregrado de la carrera de medicina.6-9

Tabla 3. Situación de los GRT durante el proceso de formación

	Grupos básicos compl.		Que especialidades fueron afectadas	Tiempo (años)
Facultad o Provincia	SI	NO
C. García		X	Ped-GO y M. Iinterna	2
Fajardo		X	M. Interna-PS
Finlay-Alr		X	Psic	2
M. Enriquez		X	Ped-M. Interna -GO	2
S. Allende		X	Ped-M. Interna PS
10 de Octubre		X	M. Interna -GO	1
E. Carrera		X	M. Interna	3
Julio Trigo		X	M. Interna-GO	2
S. Spíritus		X	M. Interna- Ped-GO-PS	1-3
C. Ávila		X	M. Interna -Ped-PS	7-3-22
Camagüey		X	Psic	3
Cienfuegos		X	GO-PED	2
Stgo. de Cuba		X	M. Interna-PS	3
Holguín		X	Psic
Las Tunas		X	Psic-Ped- M. Interna	3-1-1

 

Tabla 4. Cumplimiento del programa

Contenido	No se Cumplió	Se cumplió con modificaciones	Qué modificaciones	Se cumplió con limitaciones
Área I
Área II		Mod 13 Modo de vida
		Mod 21 control
		Hig. Ambiental
Área III			100 % aunque hay ausencias de psicólogos
Área IV			Se cumplió 100 % aunque hay falta de bibliografía
Área V		Modo 44 Oftal
		Mod 64 Derm
		Mod 68 Psiq
Mod 78
Mod 79
Mod 80

Tabla 5. Literatura docente

Literatura docente
	Medicina General
	Higiene del Medio
	Curso de Medicina del Trabajo	Básica
	Higiene Escolar
Textos complementarios
Tratado de Medicina Interna
Llanio y colaboradores
Roca		Complementarios
Manual de Diagnóstico y Tdo. Medicina Interna
Krupp
Nelson
Textos auxiliares
Programa de trabajo del médico y enfermera de la familia
Manual de procedimiento: Pedriatría		Auxiliares
Ginecoobstetricia y Medicina Interna
Literatura y consulta
Revistas Cubanas: MGI, MI, Ped, GO e Higiene y Epidemiología		Consulta

Conclusiones

Se estableció una metodología científica para la confección y aplicación del examen teórico escrito nacional estatal (test) en la especialidad de MGI, que quedó constituida por 5 etapas: 1.Diagnóstico, 2. Planificación, 3. Construcción y selección del examen, 4. Aplicación del examen, 5. Reanálisis, calificación y procesamiento de los resultados. se constató el estado en que se encontraba el proceso de formación de los especialistas de MGI y que el resultado puede ser de utilidad en el perfeccionamiento del programa de esta especialidad.

Al realizar la investigación se puso de manifiesto la necesidad de continuar el perfeccionamiento del Sistema de Evaluación de graduación (examen práctico) y el Trabajo de Terminación de la Residencia (TTR).

La metodología expuesta puede ser generalizada a otras especialidades e incluso al pregrado de la carrera de medicina. para contribuir a aplicar esta consideración, se impone el desarrollo de cursos de capacitación para las comisiones creadas en la especialidad de MGI y otras.

Summary

Traditionally, the theoretical exam made as part of the evaluation system for graduating residents of Comprehensive General Medicine has been oral. As there is a great number of residents, their training is in the hands of a numerous and little experienced body of professors so, the teaching area of the Ministry of Public Health taking into account this fact and the existence of a wide international experience on the objective superiority of the written tests decided to establish a 5-stage scientific methodology to make these tests: I Diagnosis; II Planning; III Making and selection of the instrument; IV Application; and V Reanalysis, evaluation and processing of the results. The methods used in this study were as follows: logical-historical method, system approach, technical modeling, inductive-deductive method, and expert consultation. To test the instrument, it was applied to a single-stage conglomerate sample of 581 residents from a total of 1 795, accounting for 32 %. 250 polyclinics from all over the country were included. The results were satisfactory.

Subject headings: RESEARCH DESIGN; STUDENTS, MEDICAL; EDUCATION, PROFESSIONAL.

Referencias bibliográficas

1. Fernández A. Diseño y proceso de la evaluación de adultos. Madrid: Editorial Diagrama; 1993:13-21.
   
2. Angulo Rasco F. La evaluación del sistema educativo: algunas respuestas críticas al porqué y al cómo. Morata: Universidad de Málaga; 1995:194-204.
   
3. Horn R, Nolff L, Vélez E. Sistema de evaluación educacional en América Latina. Reseña temática y experiencias recientes. Caracas: UNESCO; 1996:7-30.
   
4. Martínez Mediano C. Evaluación basada en criterios. Rev Iberoam educ superior a distancia 1995;(mayo): 194-216.
   
5. Laforrcade PD. La calidad de la educación y el cuestionamiento de las pruebas estandarizadas de rendimiento en Estados Unidos de Norteamérica: las nuevas búsquedas. Rev iberoam Educ 1994;2(3):53-61.
   
6. Barriga Díaz A. Una polémica en relación al examen. Rev Iberoam calidad de la educ 1994;(5):161- 81.
   
7. Charvat J, Mcgveire C, Parson V. Métodos actuales de examen. Editorial OMS. Ginebra. 1962;15-26.
   
8. Gilbert JJ. Guía pedagógica. Washington DC: Organización Panamericana de la Salud, 1977:15-18.
   
9. Gali A, Castro C. Exámenes orales y escritos. Programa de formación docente-pedagógica, curso de aprendizaje y evaluación general módulo 6. Evaluación de desempeño. (Serie Paltex) Washington DC: OPS-OMS, 1992:21-39.

Recibido: 5 de octubre de 1999. Aprobado: 21 de abril de 2002.
Dra. Magalys Arencibia Rodríguez. Instituto Superior de Ciencias Médicas de La Habana. Facultad “Dr. Miguel Enriquez”. Ciudad de La Habana. Cuba.

1 Doctora en Pedagogía. Profesora Auxiliar.
2 Especialista de II Grado en Medicina General Integral. Profesor Auxiliar.
3 Especialista de I Grado en Pediatría. Profesora Asistente.
4 Especialista de I Grado en Medicina General Integral. Instructora.
5 Especialista de I Grado en Pediatría. Instructora.