Write state examination in Integral General Medicine specialty: characterization

Dra. Magalys Moreno Montañez^I; Dra. Grecia Quintana Regalado^II ]]>

^I Especialista de I Grado en Medicina General Integral. Instructora. MsC en Educación Médica. Coordinación Nacional de Docencia. Misión Barrio Adentro. Área de Posgrado. República Bolivariana de Venezuela. 
^II Especialista de I Grado en Medicina General Integral. Instructora. MsC en Educación Médica. MsC en Enfermedades Infecciosas. Coordinación Nacional de Docencia. Misión Barrio Adentro. Área de Posgrado. República Bolivariana de Venezuela.

RESUMEN

OBJETIVO: caracterizar el examen estatal escrito de la especialidad en Medicina General Integral (MGI), primera convocatoria, aplicado a residentes cubanos que laboran en la República Bolivariana de Venezuela en mayo del 2006. ]]> MÉTODOS: se confeccionó una guía para la caracterización del examen estatal, se realizó el análisis de los resultados de los indicadores de calidad, tales como: Índice de dificultad y Coeficiente Punto de Correlación Biserial. Se realizó un grupo focal con profesores de más de 10 años de experiencia en esta especialidad.
RESULTADOS: En el examen estatal escrito sobresalen que fue un examen mixto, donde predominaron las preguntas de ensayo de respuestas cortas; con un predominio de las preguntas fáciles de carácter reproductivo. Solo dos preguntas discriminaron a los residentes de alto y bajo rendimiento. La triangulación metodológica permitió inferir que ello estuvo relacionado de forma general con el diseño de las preguntas.
CONCLUSIONES: el examen estatal escrito de la especialidad en MGI tuvo carácter nacional y los resultados de las calificaciones fueron aceptables pero con poco nivel discriminativo. Según el formato de las preguntas empleadas se clasificó como un examen mixto, con predominio de las preguntas de ensayo en su variante de respuestas cortas. La valoración de la calidad del instrumento aplicado demostró en el análisis de los indicadores de calidad, que el examen tuvo un predominio de preguntas fáciles. Es necesario incrementar la preparación metodológica del Comité Académico de la especialidad en el diseño de estos instrumentos evaluativos.

Palabras clave: Medicina General Integral, evaluación, indicadores de calidad.

ABSTRACT

OBJECTIVE: To characterize the write state examination of Integral General Medicine (IGM) specialty, first convening, applied to Cuban residents working in Venezuela Bolivarian Republic in May, 2006.
METHODS: Authors designed a guide for state examination characterization and analysis of quality indicators results including: difficulty rate, and Point Coefficient of Bi-serial Correlation. A focal group including professors with more than 10 years of experience in this specialty was created.
RESULTS: In write state examination there were marked features including a mixed examination with predominance of trials questions and short answers and also of easy questions of reproductive character. Only two questions discriminated to the high and low performance residents. Methodological triangulation allows inferring that it was related, in a general way, to questions design.
CONCLUSIONS: Write state examination of IGM specialty had a national character, and results of qualifications were acceptable but with a low discriminatory level. According to applied question format, it was qualified as a mixed examination with predominance of trial questions in its short responses variant. Quality assessment of applied instrument showed in quality indicators analysis that in examination there was a predominance of easy questions. It is necessary to increase the methodological training of Academic Committee of specialty in designing these evaluation instruments. ]]>

Key words: Integral General Medicine, evaluation, quality indicators.

INTRODUCCIÓN

El sistema de formación del Especialista de I Grado en Medicina General Integral parte del continuo proceso de perfeccionamiento que caracteriza este régimen de estudio, con el propósito de producir las transformaciones en los modos de actuación del Médico General Básico para convertirlo en especialistas de perfil amplio, ajustado a las exigencias actuales y perspectivas del desarrollo económico y social de Cuba.

En el contexto de la Misión Médica Barrio Adentro en la República Bolivariana de Venezuela los profesionales cubanos en formación dieron continuidad a su programa de estudios del tercer año del sistema de residencia en la especialidad de Medicina General Integral, como proceso de formación académica de postgrado. Su principal escenario de formación es el consultorio popular con la propia comunidad que atiende, en la que el «residente» se desempeña como médico comunitario, bajo la asesoría de su profesor tutor especialista en Medicina General Integral. Su formación tiene como sistema de evaluación la educación en el trabajo en los servicios de la atención primaria de salud. El examen estatal o de graduación permite verificar el grado de preparación de los residentes y su nivel de competencia profesional, el dominio de los contenidos, así como la capacidad alcanzada para resolver con carácter científico y creador los problemas de su futura práctica profesional prevista en el modelo del especialista. ]]> Para poder evaluar la calidad del proceso enseñanza aprendizaje es necesario que se realice un análisis sistemático e interpretación de los resultados obtenidos, mediante la aplicación de diferentes instrumentos de medición, con la finalidad de adoptar las mejores decisiones posibles en cada caso o situación.^1,2

El diseño de este examen escrito se realiza a partir de un dominio de ítems o banco de preguntas que se confeccionan a nivel de los estados y se envía al área de postgrado de la Coordinación Nacional de Docencia. El comité académico nacional de la especialidad, constituido por profesores especialistas de las regiones del oriente, centro y occidente de Venezuela, con categorías docentes y experiencias en el área de formación de postgrado, realiza el análisis de las propuestas y confecciona los exámenes que serán aplicadas en un mismo momento y horario en todo el país. La calificación del examen se realiza a nivel de los estados y a las 72 h deben enviarse los resultados preliminares de promoción y la frecuencia de errores para su análisis nacional posterior.

El presente trabajo tuvo como objetivo caracterizar el examen estatal escrito en la especialidad de Medicina General Integral en su primera convocatoria aplicado a residentes cubanos en la República Bolivariana de Venezuela, mayo del 2006.

Diseño metodológico

Para la caracterización del examen estatal escrito de la especialidad en Medicina General Integral, el universo estuvo definido por los 94 exámenes estatales escritos de los residentes cubanos de tercer año de la especialidad de MGI procedentes de los estados Carabobo, Guárico, Miranda, Bolívar, Trujillo y Zulia que se presentaron a la primera convocatoria del examen estatal escrito en la República Bolivariana Venezuela.

MÉTODOS ]]> Se utilizaron métodos teóricos, empíricos y procedimientos estadísticos que garantizaron la triangulación metodológica efectuada.

Los métodos teóricos garantizaron el análisis documental de la literatura sobre educación de postgrado, documentos metodológicos que norman el desarrollo de la enseñanza de postgrado en Cuba, documentos rectores del proceso de formación de la especialidad en MGI, evaluación del aprendizaje, literatura relacionada a la calidad de los instrumentos de evaluación y otras fuentes de interés para las autoras.

Se construyó una guía con el objetivo de realizar la caracterización del examen estatal escrito, para ello se tuvieron en cuenta las siguientes variables: tipo de examen, tiempo de duración del examen, cantidad de preguntas del instrumento, tipos de preguntas que contiene el instrumento según clasificación de Salas Perea, 3 cantidad de ítems por preguntas y temas que aborda cada pregunta.

Se revisaron los exámenes, tomando su calificación por preguntas para el posterior análisis estadístico.

Como método empírico se organizó un grupo focal coordinado por las autoras. Para ello fueron seleccionados 7 profesores de más de 10 años de experiencia en la especialidad de MGI, con categoría docente principal, responsabilidades docentes y administrativas en las Facultades de Ciencias Médicas en Cuba, en este momento asesores del grupo de diseño de la asignatura Proyecto Comunitario en la República Bolivariana de Venezuela. Se realizaron dos sesiones de trabajo, donde tuvo lugar el análisis de la calidad del examen estatal escrito objeto de estudio; para ello se confeccionó una guía que tomó como punto de referencia las citas de algunos autores ^3-5 en relación con los criterios planteados por Guilbert: Objetividad, Pertinencia, Equilibrio y Equidad para medir la calidad de los instrumentos de evaluación.

Se utilizaron procedimientos estadísticos como el análisis números enteros, frecuencia simple y la distribución porcentual para presentar los resultados en tablas.

El Índice de Dificultad del examen, es la proporción de personas que responden correctamente una pregunta de la prueba, mientras mayor sea esta proporción menor será el grado de dificultad. Para su cálculo se dividió el número de residentes que contestaron correctamente el ítem, entre el número total de examinados. Usualmente a esta proporción se le denota con la letra p, (dificultad del ítem).⁶

Según autores consultados ⁶ los resultados de este indicador pueden oscilar en: 5 % para preguntas fáciles, 20 % para preguntas medianamente fáciles, 50 % para preguntas de dificultad media, 20 % para preguntas medianamente difíciles, 5 % difíciles.

Como el examen corresponde a una evaluación estatal cuyo porciento de aprobado es 70 puntos, la autora consideró oportuno realizar un ajuste a la distribución de los valores de p, de manera tal que 70 % del contenido estuviese incluido en preguntas de dificultad media y difícil, quedó de la siguiente manera: 10 % para preguntas fáciles (p > 0,86), 20 % para preguntas medianamente fáciles (p entre 0,74_0,86), 40 % para preguntas de dificultad media (p entre 0,53-0,73), 20 % para preguntas medianamente difíciles (p entre 0,32- 0,52), 10 % para preguntas difíciles (p < 0,32).

El Coeficiente de Discriminación punto de correlación biserial se utilizó para saber si los estudiantes de más alto rendimiento obtienen las respuestas correctas. ]]> Se calculó con la siguiente fórmula 6:

Según estándares internacionales ⁶ la distribución de los resultados del coeficiente punto de correlación biserial es: r pbis < 0 preguntas que discriminan negativamente, r pbis= 0-0,14 preguntas que discriminan pobremente, r pbis= 0,15-0,25 preguntas que discriminan regular, r pbis= 0,26-0,35 preguntas con buen poder discriminativo, r pbis > 0,35 preguntas con excelente poder de discriminación.

RESULTADOS

El examen estatal se estructuró con un total de 10 preguntas con 30 ítems, según el formato de ellas se clasificó como un examen mixto. Las preguntas del instrumento tuvieron ítems de diferentes formatos, por ejemplo: una misma pregunta contiene ítem de respuesta alternativa, verdadero o falso, de selección múltiple con complemento simple, o de ensayo con respuestas cortas (tabla 1).

De forma general la dificultad del instrumento fue de 0,93, por lo que se considera un examen fácil. Según Backhoff E 6 la dificultad del examen debe oscilar entre 0,5 y 0,6 (tabla 2). ]]> El coeficiente de discriminación punto de correlación biserial demostró que las preguntas 3, 4 y 6 son clasificadas como fáciles y discriminan pobremente (rpbis 0-0,14). Las preguntas 2, 5, 7, 8 y 9 discriminan de forma regular (rpbis 0,15-0,25); de igual forma la 2 y 5 a pesar de ser fáciles discriminan de forma regular; sin embargo la pregunta 7 con una dificultad media, discrimina de forma regular. La pregunta 9 medianamente fácil discrimina también de forma regular (tabla 3).

En el índice de dificultad por contenidos, la pregunta con mayor dificultad fue la 8 con 0,44 % de aprobados. La pregunta 1 sobre familia se ubica en el limite inferior del rango de la dificultad media, en ella se exploran contenidos de los módulos 23 y 27 que abordan esta temática (tabla 4).

DISCUSIÓN

De los 30 ítems que fueron utilizados en la evaluación escrita existen diferentes formatos en la confección de las preguntas: ítem de respuesta alternativa verdadero o falso, selección múltiple complemento simple, de enlace. Solo la pregunta uno y la nueve tuvieron un único formato. Las preguntas de ensayo con sus variantes de respuestas cortas fueron las más utilizadas con una frecuencia total de diecisiete ítems.

Las preguntas de ensayo con respuestas cortas reducen las desventajas de las preguntas de tipo ensayo, ya que se incrementa la muestra de contenido a evaluar y se limitan las preguntas solo a aquellas que conlleven respuestas libres, pero cortas, permiten que se eleve la objetividad y confiabilidad de las calificaciones, pero a su vez ofrece desventajas, ya que es aún limitada la amplitud de las áreas del conocimiento que se exploran. Las preguntas utilizadas fundamentalmente en este examen fueron reproductivas más que de pensamiento y análisis médico, aspecto este considerado por el grupo focal.

En el índice de dificultad del instrumento analizado predominaron las preguntas fáciles lo que explica el alto grado de aprobados. En este sentido los análisis realizados en el grupo focal coinciden con estos aspectos y se valoró que el predominio de las preguntas fáciles coincide con el carácter reproductivo del examen. ]]> Las preguntas 3, 4 y 6 son clasificadas como fáciles y discriminan pobremente (rpbis 0-0,14). Las preguntas 2, 5, 7, 8 y 9 discriminan de forma regular (rpbis 0,15-0,25); de igual forma la 2 y 5 a pesar de ser fáciles discriminan de forma regular; sin embargo la pregunta 7 con una dificultad media, discrimina de forma regular. La pregunta 9 medianamente fácil discrimina también de forma regular. Las preguntas 1 y 10 con una dificultad media poseen un buen poder de discriminación, (rpbis 0,26-0,35). La autora considera que las preguntas fáciles que no discriminan de manera adecuada deben ser rediseñadas con carácter productivo, de manera tal que el residente pueda evidenciar los conocimientos adquiridos durante su proceso de aprendizaje.

Estos elementos fueron ampliamente debatidos en el grupo focal realizado. Las preguntas sobre las áreas temáticas de Familia y Dengue con una dificultad media son las que discriminan adecuadamente a los estudiantes de mayor y menor rendimiento; no obstante este criterio estadístico fue valorado por los miembros del grupo focal, que puso de manifiesto dificultades en el diseño de estas preguntas y sus claves de calificación. Se evidenció además en la pregunta 1 elementos confusos en el planteamiento de la situación problémica de la familia.

En la pregunta 10 se pone de manifiesto el fenómeno de cascada, lo que explica el resultado estadístico obtenido. El grupo focal concluyó que en la práctica estas preguntas no logran una adecuada discriminación.

En el índice de dificultad por contenidos, la pregunta 8 exploró contenidos del módulo 38 Enfermedades digestivas, en el área del conocimiento de la úlcera gástrica y duodenal, abordó los aspectos esenciales relacionados a las habilidades del residente en el diagnóstico y prevención de las complicaciones e identificación de factores de riesgo. Estos resultados pudieron estar influenciados según la autora por diferentes causas: objetivos del módulo no formulados correctamente en el programa analítico, no se precisan las habilidades a alcanzar por el residente durante el desarrollo del módulo, ⁷ inadecuada preparación metodológica de este módulo con los profesores tutores, lo que ha podido ser constatado en las visitas integrales
de docencia al área de postgrado. Otras causas pudieron estar relacionadas con la dirección del proceso docente en la educación en el trabajo y el aprovechamiento del estudio individual de los residentes.

La pregunta 1 tipo ensayo de respuestas cortas que abordó contenidos sobre familia, se ubica en el límite inferior del rango de la dificultad media; en ella se exploran contenidos de los módulos 5, 23 y 27 que abordan esta temática. En el análisis del grupo focal se valoró que existen puntos de coincidencia en que tradicionalmente la pregunta sobre familia en los exámenes estatales es controvertida, en relación con el diseño de la pregunta, los contenidos que incorpora y la clave de calificación.

En la situación familiar que se presenta en esta pregunta, se considera se van introduciendo los miembros de la familia y sus problemas de salud de manera forzada, por lo tanto la lectura y comprensión de la misma no es fluida. Otro elemento a destacar es en relación con lo que se corresponde a la confección del familiograma. En este ítem la clave de calificación es cerrada ya que se le da valor de 1 punto, sin deslindar la puntuación por los diferentes elementos que deben quedar gráficamente representados de la familia problémica.

Las preguntas fáciles ocupan el 50 % del instrumento que se analiza, aspecto este, que como se planteó en los párrafos anteriores, está influenciado por el nivel reproductivo del examen. Las preguntas 3 y 4 solo se estructuran con dos ítems. Al considerar que las áreas del conocimiento que se exploran en todas las preguntas fáciles son comunes en la práctica profesional del residente, en su diseño se debió tener en cuenta un nivel de asimilación productivo relacionado directamente con su desempeño laboral.

Las principales consideraciones a las que arribó el grupo focal fueron: ]]>

I. Sobre la objetividad del examen

Se utilizaron diversos formatos de preguntas, no existió una adecuada proporción entre ellas. Para este tipo de examen deben predominar las preguntas de selección múltiple, no las preguntas de ensayo. En las preguntas 3 y 4 los contenidos explorados son pobres y con un nivel de profundidad simple para un examen de residencia. El examen tiene un carácter reproductivo. En la mayoría de las preguntas hay dificultades con el diseño y la redacción. En la pregunta 1 hay ítems donde no se define la habilidad que debe desarrollar el residente para dar respuesta a la pregunta. Existe correspondencia entre los problemas de salud que se abordan en el examen y los problemas de salud que enfrenta el residente en la Misión Barrio Adentro, aunque pudieron explorarse otros temas que constituyen problemas de salud en las comunidades: enfermedades crónicas no transmisibles como hipertensión arterial, cardiopatía isquémica, asma bronquial y otras enfermedades transmisibles, así como urgencias y emergencias.

La confección de las preguntas del examen no estuvo en correspondencia a lograr un nivel de asimilación productivo en las respuestas del residente. La distribución ponderal de la calificación no fue equitativa ni en los ítems ni en la misma pregunta, por ejemplo preguntas de ensayo con calificación cerrada. Las preguntas 8 y 10 tuvieron claves de calificación cerradas. Se detectaron errores metodológicos de contenido en las preguntas 3, 5 y 10. En la pregunta 10 existe fenómeno de cascada.

II. Sobre la pertinencia

Las preguntas utilizadas en el examen dan salida a las funciones que se expresan en el modelo del especialista en MGI. Debió explotarse más la promoción, prevención y la rehabilitación. En las preguntas de familia, preeclampsia, embarazo y enfermedad de Parkinson debieron explorarse acciones de rehabilitación.

III. Sobre el equilibrio, equidad y discriminación

Al realizar el análisis del examen las preguntas que deben predominar son las de dificultad media, sin embargo de las 10 hay 5 preguntas fáciles, lo que se traduce en que existieron elementos metodológicos errados. La pregunta 1 sobre familia resulta muy polémica en los exámenes a la hora de su diseño y su clasificación, pues se ponen de manifiesto elementos de dos etapas del ciclo vital, sin embargo  la clave de calificación  es cerrada y solo pondera una, una no debe ser excluyente de la otra, si en la situación problémica confluyen elementos de las dos.

La confección del familiograma en la clave de calificación no debe tener una sola respuesta, cada uno de los elementos que se representan en él permite identificar el tipo de familia y su funcionabilidad. A pesar que en los resultados del procedimiento estadístico resultó tener una dificultad media, y un buen poder de discriminación la pregunta tiene dificultades en el diseño, que explica los resultados estadísticos.

El procedimiento estadístico de la pregunta 10 resultó ser similar a la 1, de igual manera existen dificultades en el diseño; de manera forzada se induce al diagnóstico, no se abordan elementos del genio epidemiológico para el diagnóstico de un dengue clásico, hay fenómeno de cascada. En las medidas preventivas de la enfermedad no se hace alusión a la pesquisa activa y educación a la población sobre los síntomas y signos de la enfermedad como principal acción de salud en la vigilancia epidemiológica.

La pregunta 2 tiene formato mixto, posibilidad de fenómeno al azar en el ítem de verdadero o falso. La pregunta 3 solo tiene dos ítems, pudieron abordarse elementos clínicos de la enfermedad, no existió un equilibrio adecuado en las respuestas de los ítems.

En la pregunta 4 el nivel de profundidad es muy simple, el enunciado de la pregunta no es homogéneo, en el ítems B la clave de calificación tiene error de contenido, en los exámenes complementarios no se indica PTG, sino glicemia, faltan complementarios como microelisa, serología, el ultrasonido de mamas y ginecológico.

La pregunta 5 está poco desarrollada, faltan elementos clínicos para respaldar el diagnóstico, se induce al residente a seleccionar un diagnóstico con una sola toma de tensión arterial sin otros criterios clínicos para el diagnóstico. La clave de calificación tiene error en la conducta terapéutica del diagnóstico.

Con respecto a la pregunta 6 en el ítem de verdadero o falso se induce la respuesta, el ítem C no se corresponde con la situación problémica y redunda en un objetivo ya evaluado.

La pregunta 7 a pesar de tener una dificultad media discrimina de forma regular. Esto se relaciona con las dificultades en el diseño de forma general en las preguntas del examen.

El análisis de la pregunta 8 evidenció errores metodológicos en su diseño, la calificación fue cerrada, el tronco de la pregunta fue pobre, carece de elementos clínicos de la enfermedad, esto explica el resultado del análisis estadístico en esta pregunta.

En el análisis de la pregunta 9 se valoró el carácter reproductivo de la pregunta, en el ítem B existen imprecisiones en el enunciado donde se plantea que los factores de riesgo aumentan y disminuyen, este debió decir los factores de riesgo asociados a la enfermedad. Este análisis se corresponde con los resultados del procesamiento estadístico para esta pregunta.

]]> CONCLUSIONES

- El examen estatal escrito de la especialidad en MGI tuvo carácter nacional y los resultados de las calificaciones fueron aceptables pero con poco nivel discriminativo. Según el formato de las preguntas empleadas se clasificó como un examen mixto, con predominio de las preguntas de ensayo en su variante de respuestas cortas.

- La valoración de la calidad del instrumento aplicado, demostró en el análisis de los indicadores de calidad que el examen tuvo un predominio de preguntas fáciles

- Se caracterizó el examen estatal escrito de la especialidad en MGI en su primera convocatoria aplicado a residentes cubanos que laboran en la República Bolivariana de Venezuela. La descripción del instrumento de evaluación aplicado, así como el análisis de los indicadores de calidad constituyeron aspectos esenciales en este proceso.

- Es necesario incrementar la preparación metodológica del Comité Académico de la especialidad en el diseño de estos instrumentos de evaluativos.

REFERENCIAS BIBLIOGRÁFICAS

1. Alemañy Pérez E, Otero Iglesias J, Borroto Cruz R. Documentos rectores del proceso de formación y el modelo del Especialista en Medicina General Integral. Educ Med Sup. 2002;16(2):164-183.

2. Cerda Gutiérrez H. La evaluación como experiencia total. Logros-objetivos-procesos. Competencia y desempeño. Santa Fé de Bogotá: Cooperativa Editorial Magisterio; 2000.

3. Salas Perea RS. La evaluación en la educación superior contemporánea. Biblioteca de Medicina Volumen XXIV, 1998. Educación en salud. Competencia y desempeño profesionales. La Habana: Editorial Ciencias Médicas; 1999. En CD-ROM Maestría Educación Médica. ENSAP; 2005.

4. Pérez Espinosa Martha L. Comportamiento de los resultados del examen de competencia de Medicina General Integral. [tesis para optar por el título de Master en Educación Médica Superior]. La Habana: Escuela Nacional de Salud Pública; 2003.

5. Salas Perea R. Calidad de los instrumentos de evaluación. Módulo Evaluación y recursos del aprendizaje. Material de estudio Maestría en Educación Médica. [CD-ROM]. La Habana: Escuela Nacional de Salud Pública; 2005.

6. Backhoff E, Larrazolo N, Rosas N. Nivel de dificultad y poder de discriminación del Examen de Habilidades y Conocimientos Básicos (EXHCOBA). Rev Electrónica de Inv Educ. 2000;2(1):11-28.

7. Rivera Michelena N. La didáctica como ciencia. Su objeto. Los objetivos de la enseñanza. Enfoque sistémico de la didáctica en la educación superior. Proceso enseñanza aprendizaje: Lecturas seleccionadas. Material de estudio de la Maestría de Educación Médica. [CD-ROM]. La Habana: Escuela Nacional de Salud Pública; 2005.

Dra. Magalys Moreno Montañez. Coordinación Nacional de Docencia. Misión Médica Barrio Adentro. República Bolivariana de Venezuela. E-mail: magalis_moreno@yahoo.es; magalys@cristal.hlg.sld.cu ]]> 1 2002 16 2 2 164-183 2 2000 3 1999 4 5 2005 6 2000 2 1 1 11-28 7 2005