El examen estatal escrito en la especialidad de medicina general integral

Dr. Israel Díaz Roig,¹ Lic. Viviana González de la Cruz² y Dr. Conrado Ramírez Cruz³

Resumen: Se realizó un análisis de las respuestas a las 12 preguntas del Examen Estatal Nacional Escrito de Medicina General Integral, aplicado a una muestra de 32 residentes de la provincia de Sancti Spíritus, con el objetivo de valorar el instrumento utilizado. Aprobó el 75 % de los presentados y el 81,2 % no rebasó los 79 puntos. El tema que mejor respondieron fue el de Accidentes en el Hogar, con el 96,9 % y el peor fue Familia, con el 90,6 % de las respuestas incorrectas. Al calcularse el grado de dificultad de las preguntas se catalogó de muy difícil la pregunta de Familia y muy fácil la de Accidentes. El 58,3 % de las preguntas permitió distinguir entre «buenos» y «malos» alumnos. Se concluye que la promoción fue aceptable, pero de pobre calidad, que el grado de dificultad de las preguntas tuvo adecuado balance y que la tercera parte de éstas discriminaron mal o no lo hicieron.

Descriptores DeCS: EVALUACION EDUCACIONAL/métodos; MEDICINA FAMILIAR.

En el ámbito de las ciencias médicas los exámenes implican una enorme responsabilidad social, ya que a través de ellos se reconoce y autoriza una determinada práctica profesional, vinculada directamente con la salud de las personas. Está reconocido que la evaluación es parte esencial del proceso de enseñanza-aprendizaje y constituye una vía de retroalimentación para su dirección y para el propio estudiante.^1,2

Los exámenes son instrumentos que permiten a los docentes informarse sobre el aprendizaje que han logrado sus alumnos. Éstos con frecuencia consideran que los exámenes son capciosos, confusos, subjetivos y arbitrarios, por lo que la confección de exámenes que serían todo lo contrario, es un desafío que tienen los docentes y las instituciones de salud donde ellos laboran.

En el régimen de Residencias se establecen 3 tipos de evaluación en dependencia de su propósito y del momento en que se producen: evaluación de curso, de promoción y de graduación.³ Uno de los componentes de la evaluación de graduación es el examen estatal, cuyo ejercicio teórico puede realizarse de forma oral o escrita.³

En la especialidad de Medicina General Integral (MGI) hasta la convocatoria de exámenes del período octubre-diciembre de 1995, el ejercicio teórico se efectuó de forma oral, método más usado especialmente en la Enseñanza Superior. Las pruebas orales presentan inconvenientes, por la intervención de variables no relacionadas con lo que se quiere evaluar: la influencia de los resultados anteriores del estudiante, su aspecto físico y dominio del lenguaje. Por parte del docente, puede influir su simpatía, el estado anímico, el cansancio, la capacidad de atención a las respuestas, la posibilidad de juicio crítico, etcétera. Por todo ello, se ha reconocido que los exámenes orales son poco objetivos, por lo que se ha trabajado para instaurar la forma escrita en los exámenes teóricos, en la especialidad de MGI. Confeccionar un examen de este tipo requiere de un gran esfuerzo por parte de los docentes, con un trabajo meticuloso y ordenado.

Desde el curso 1994-1995, los exámenes de promoción se hicieron escritos en la provincia Sacti Spíritus y en el período octubre-diciembre de 1996 se efectuó por vez primera el examen estatal con carácter nacional, de forma escrita y simultánea para todo el país, pero sólo a una muestra de los residentes de MGI. El análisis de los resultados provinciales y la evaluación del instrumento utilizado, es el propósito de este trabajo, teniendo en cuenta que actualmente esta práctica se ha generalizado a todos los residentes de esta especialidad médica, que es por cierto, la de mayor matrícula de las que se cursan en el país.

Métodos

Se procedió al análisis de las respuestas a las 12 preguntas que conformaban el examen nacional escrito de MGI, el cual fue aplicado a 32 residentes espirituanos de la especialidad, en el período octubre-diciembre de 1996. La selección se realizó en el nivel central del MINSAP.

Se efectuó la calificación según la clave elaborada por la comisión nacional que confeccionó el instrumento evaluativo. En cada pregunta se analizó su grado de dificultad y su poder de discriminación.

Grado de dificultad de una pregunta

Se calcula a través del índice de dificultad, que expresa la proporción de sujetos que respondió correctamente. A mayor cantidad de sujetos que respondan correctamente, menos dificultad de la pregunta.

Se calcula:

        c 
p = ----- x 100
        n

Donde

p: índice de dificultad
c: cantidad de respuestas correctas
n: total de examinados

Se utilizó el siguiente criterio:
 

Pregunta X	Si la respondieron correctamente
Muy difícil	Del 0 al 15 % de los estudiantes
Relativamente difícil	Del 16 al 31 % de los estudiantes
Dificultad media	Del 32 al 68 % de los estudiantes
Relativamente fácil	Del 69 al 84 % de los estudiantes
Muy fácil	Del 85 al 100 % de los estudiantes

Poder de discriminación

Se calcula a través del índice de discriminación, que da la posibilidad de distinguir entre los alumnos buenos y malos, se considera como buenos los alumnos que obtienen los puntajes más altos en la prueba y viceversa.

Se calcula:

       Cs - Ci 
I.D = --------- x 100
          N
         ---
          2

Donde

I.D: índice de discriminación
Cs: cantidad de respuestas correctas en el grupo superior
Ci: cantidad de respuestas correctas en el grupo inferior
n: total de examinados

Para determinar los grupos superior e inferior, se ordenan las calificaciones de forma descendente, se determina el grupo superior, por la mitad de los alumnos que obtuvo en la prueba puntajes más altos y el grupo inferior, por la mitad de los alumnos que obtuvo los puntajes más bajos.

Se utilizó el siguiente criterio:

Preguntas con discriminación positiva

Discrimina bien entre alumnos de alto y bajo rendimiento; si la mayoría de los alumnos del grupo superior la respondió correctamente y la mayoría del grupo inferior la respondió mal.

Preguntas con discriminación negativa

Discrimina mal entre buenos y malos alumnos; si la mayoría de los alumnos del grupo superior la respondió mal y la mayoría del grupo inferior la respondió bien.

Preguntas con discriminación nula

No discrimina entre buenos y malos alumnos, la pregunta es respondida correctamente por un número similar de alumnos del grupo superior e inferior.

Resultados

Dado que los residentes se regían por el antiguo reglamento para el régimen de residencias (Resolución No. 196), el puntaje mínimo para aprobar era de 75 puntos al calificar el examen sobre 100 puntos. Luego, el aprobado para cada pregunta estaba dado por el 75 % de su valor. Con este criterio aprobaron el 75 % de los estudiantes presentados, por lo cual podemos decir, según los criterios que se manejan nacionalmente, que el proceso docente educativo en la provincia no es del todo eficiente pues no aprobó más del 90 % de los presentados (tabla 1).

 

Tabla 1. Resultados finales. Examen Estatal Nacional Escrito de MGI Sancti Spíritus. Diciembre 1996

 

Resultados	No.	%
Aprobados	24	75,0
Suspensos	8	25,0
Total	32	100,0

 
Sin embargo, en la tabla 2, encontramos que algo más de la mitad de los examinados no rebasaron los 79 puntos, siendo la nota más alta 88, que fue alcanzada por 2 estudiantes. Luego, el 81,2 % de los aprobados, lograron esta condición con menos de 80 puntos, por lo que, a nuestro juicio y según criterios establecidos, hubo dificultades con la calidad de la promoción.
 
Tabla 2. Residentes según calificación obtenidas. Examen Estatal Nacional de MGI Sancti Spíritus. Diciembre 1996
 

Puntajes	No.	%
Menos de 75	8	25,0
De 75 a 79	18	56,2
De 80 a 84	2	6,3
De 85 a 89	4	12,5
Total	32	100,0

 
En primer lugar, calculamos la frecuencia de errores en cada pregunta, considerando correcta, a la que obtuvo más del 75 % de su valor (tabla 3). O sea, que puede considerarse correcta y tener una parte con respuestas erróneas.
 
Tabla 3. Frecuencia de errores en el examen. Examen Estatal Nacional Escrito de MGI Sancti Spíritus. Diciembre 1996
 

		Respuestas
		Correctas		Incorrectas
Pregunta	Contenidos	No.	%	No.	%
1.	TB pulmonar	18	56,2	14	43,8
2.	Rehabilitación	15	46,9	17	53,1
3.	HTA en el embarazo	12	37,5	20	62,5
4.	Accidentes en el hogar	31	96,9	1	3,1
5.	Diabetes mellitus	25	78,1	7	21,9
6.	ETS	15	46,9	17	53,1
7.	Diagnóstico de salud	16	50,0	16	50,0
8.	Cáncer de mama	7	21,9	25	78,1
9.	EDA	27	84,4	5	15,6
10.	IMA	12	37,5	20	62,5
11.	Familia	3	9,4	29	90,6
12.	Crecimiento y desarrollo	18	56,2	14	43,8

 
Se evidenció que casi todos (31 alumnos) respondieron bien la pregunta accidentes en el hogar, al igual que casi todos (29 alumnos) respondieron mal la de familia.

Quedaron entre las de mejor resultado, EDA, diabetes mellitus, TB pulmonar, crecimiento y desarrollo y diagnóstico de salud. Por otra parte las de peores resultados fueron las de cáncer de mama, HTA y embarazo, IMA, rehabilitación y ETS.

Cuando se calcularon los índices de dificultad (tabla 4). Se cataloga como muy difícil la pregunta de familia y relativamente difícil la de cáncer de mama (ambas de peores resultados). Por su parte quedó clasificada como muy fácil la de accidentes en el hogar y relativamente fáciles las de diabetes mellitus y EDA. Las 7 restantes preguntas se clasificaron como de dificultad media.
 
Tabla 4. Índice de dificultad de las preguntas. Examen Estatal Nacional Escrito de MGI Sancti Spíritus. Diciembre 1996
 

Pregunta	Contenido	Índice de dificultad %	Grado de dificultad
1.	TB pulmonar	56,3	media
2.	Rehabilitación	46,9	media
3.	HTA en el embarazo	37,5	media
4.	Accidentes en hogar	96,9	muy fácil
5.	DM	78,1	relativamente fácil
6.	ETS	46,9	media
7.	Diagnóstico de salud	50,0	media
8.	Cáncer de mama	21,9	relativamente difícil
9.	EDA	84,4	relativamente fácil
10.	IMA	37,5	media
11.	Familia	9,4	muy difícil
12.	Crecimiento y desarrollo	56,3	media

 
Según los índices de discriminación calculados (tablas 5 y 6), 8 de 12 preguntas del examen, discriminaron bien, o sea, los buenos la respondieron bien y los malos la respondieron mal. La que mejor discriminó fue la de accidentes en el hogar, que también resultó ser la pregunta más fácil del examen.
 
Tabla 5. Índices de discriminación de las preguntas. Examen Estatal Nacional Escrito de MGI Sancti Spíritus. Diciembre 1996
 

Pregunta	Contenido	Índice de discriminación	Poder de discriminación
1.	TB pulmonar	25,0	bien
2.	Rehabilitación	0,0	no
3.	HTA en el embarazo	6,3	bien
4.	Accidentes en el hogar	81,3	bien
5.	DM	6,3	mal
6.	ETS	12,5	mal
7.	Diagnóstico salud	25,0	bien
8.	Cáncer de mama	31,3	bien
9.	EDA	31,3	bien
10.	IMA	0,0	no
11.	Familia	18,8	bien
12.	Crecimiento y desarrollo	25,0	bien

 

Tabla 6. Preguntas según su poder de discriminación. Examen Estatal Nacional Escrito de MGI Sancti Spíritus. Diciembre 1996
 

	Cantidad Preguntas
Poder de discriminación	No.	%	Contenidos
Discriminación positiva	8	58,3	TB Pulmonar, Accidentes en el Hogar, Diagnóstico, salud, Cáncer de mama, EDA, Familia, Crecimiento y Desarrollo, HTA Embarazada
Discriminación nula	2	16,7	Rehabilitación, IMA
Discriminación negativa	2	25,0	DM, ETS
Total	12	100,0

 
Las de rehabilitación e IMA no discriminaron entre buenos y malos estudiantes, que habían sido catalogados como dificultad media, mientras que las preguntas de diabetes mellitus y enfermedades de transmisión sexual discriminaron mal, por lo que deben tener errores metodológicos en su confección. La que peor discrimina es la de ETS y fue de dificultad media. Sin embargo, la de diabetes mellitus, que tampoco fue una buena pregunta metodológicamente, se clasificó como (relativamente fácil), quizás por ese mismo hecho casi todos los estudiantes la respondieron correctamente.

Conclusiones

1. Si bien la promoción fue aceptable, la calidad de ésta fue pobre, pues una gran mayoría obtuvo bajas calificaciones.
2. En cuanto al grado de dificultad de las preguntas, el examen tuvo adecuado balance, pues una mayoría de ellas tuvo dificultad media.
3. Los temas menos dominados por los residentes examinados fueron: familia, cáncer de mama, HTA en el embarazo, IMA, rehabilitación y ETS.
4. La tercera parte de las preguntas discriminaban mal o no lo hacían, entre los alumnos de mejores y peores resultados.

SUMMARY: The answers given to the 12 questions included in the National State Written Test of General Comprehensive Medicine by 32 residents of this speciality in Sancti Spiritus were analyzed aimed at assessing the used instrument. 75 % of them passed, whereas 81.2 % did not get more than 79 points. Home accidents was the best answered topic with 96.9 % and Family was the worst with 90.6 % of wrong answers. On calculating the difficulty degree of the questions, the question concerning Family was considered as very difficult, and that regarding Accidents as very easy. 58.3 % of the questions allowed to distinguish «good» student from «bad» students. It was concluded that the promotion was acceptable, but of poor quality, that the difficulty degree of the questions had an adequate balance, and that the third part of them were wrongly answered or not responded.

Subject headings: EDUCATIONAL MEASUREMEMNT/ methods; FAMILY PRACTICE.

Referencias Bibliográficas

1. Cuba. Ministerio de Salud Pública. Resolución Ministerial No.15. Reglamento para la organización del proceso docente educativo en los centros de Educación Médica Superior. 1988.
2. . Resolución Ministerial No. 26. Reglamento del Régimen de Residencia. 1994.
3. Galli A, Castro C. Exámenes orales y escritos. Programa de Formación Docente-Pedagógica. Washington DC: OPS, 1992:

Recibido: 21 de mayo de 1998. Aprobado: 30 de mayo de 1998.

Dr. Israel Díaz Roig. Facultad de Ciencias Médicas de Sancti Spíritus. Circunvalante Norte s/n Olivos III, Sancti Spíritus, Cuba.

1. Especialista de I Grado en Medicina General Integral. Instructor. Facultad de Ciencias Médicas. Sancti Spíritus.
2. Licenciada en Sociología. Profesora Auxiliar. Facultad de Ciencias Médicas. Sancti Spíritus.
3. Especialista de II Grado en Higiene. Profesor Auxiliar. Facultad de Ciencias Médicas. Sancti Spíritus.