Servicios personalizados
Español (pdf)
Articulo en XML
Referencias del artículo
Enviar articulo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
La formación de profesionales con una alta preparación científica, cultural y humanista, constituye prioridad para los ministerios de salud del mundo, desde esta perspectiva la Educación Médica tiene el reto de formar un profesional de perfil amplio con profundos conocimientos que den respuesta a los problemas de salud que se presenten una vez graduado.
Pujals, et al., (2016), consideran que “la internacionalización de la Educación Superior es un principio vigente de colaboración y contribución, necesarios para aquellos países que aún no tienen los suficientes profesionales para lograr la formación de recursos humanos en el actual siglo”. (p.1)
Sobre la importancia e historia de la misión médica en Angola, Pujals, et al, (2016), nos comentan que “el aporte a la salud de la misión médica cubana en Angola ha contribuido al mejoramiento del estado de salud de la población lo que se fundamenta en gran medida con la aplicación de la Medicina comunitaria. Esa es la razón por la que la Secretaria de Estado del Ministerio de Educación Superior de este país solicitó al Ministerio de Salud Pública de Cuba la aplicación del modelo del Plan de Estudio cubano en los escenarios angolanos. Se crearon en el 2007 dos facultades, una en la provincia Cabinda y la otra en Benguela y en el año 2008 otras tres en las provincias de Huambo, Malange y Huila, las que han contado con el claustro de profesores cubanos y han trabajado con las reglamentaciones del Ministerio de Salud Pública de Cuba y del Ministerio de Educación Superior de Angola”. (p.1)
En la estructura curricular del 2do año de la carrera de Medicina, se imparte durante el primer semestre, la asignatura de Medicina Comunitaria II, el programa cuenta con 84 horas, distribuidas en diferentes formas organizativas, actividades teóricas, prácticas, seminarios y la educación en el trabajo como eje de la formación, el sistema de evaluación contempla, la evaluación formativa, parcial y la final con un examen teórico escrito y práctico.
En tal sentido, la evaluación educativa involucra la elaboración, aplicación y análisis de los instrumentos de medición. Según los investigadores López, et al., (2014), “la función principal de un instrumento de medición, cuando se crea como medida para inferir las capacidades de las personas, es ofrecer información para la correcta toma de decisiones”. (p. 5)
Para Salas Perea & Salas Mainegra (2014), “es imprescindible que a lo largo de todo su proceso formativo de grado y especialidad se les vaya verificando el progreso del aprendizaje para lograr que al concluir cada etapa y finalmente al egresar, estén preparados de forma adecuada para ejercer un desempeño laboral eficiente”. (p.9)
En Angola y particularmente en la Facultad de Medicina de Cabinda no existen antecedentes de trabajos de investigación que midan la calidad de los instrumentos de evaluación escritos aplicados, por lo que el diseño de los mismos se realiza de forma empírica.
El presente trabajo tuvo como objetivo caracterizar la calidad del examen final escrito de Medicina Comunitaria II de 2do año de la carrera de Medicina en la Facultad de Medicina de Cabinda, Angola, curso 2019.
Materiales y métodos
Para la caracterización del examen, el universo estuvo definido por los 75 exámenes escritos de los estudiantes de segundo año de la carrera de Medicina de la Facultad de Medicina de Cabinda, Angola, en el primer semestre del curso 2019.
Se utilizaron métodos teóricos y procedimientos estadísticos que garantizaron la triangulación metodológica efectuada.
Los métodos teóricos, garantizaron la revisión documental de investigaciones científicas en educación médica sobre calidad de instrumentos de evaluación, programa de la disciplina de Medicina Comunitaria II, documentos normativos del sistema de evaluación universitario de pregrado en Angola, informes finales de la disciplina, entre otras fuentes.
Se utilizó la guía metodológica para el análisis de calidad de instrumentos de evaluación propuesta por Díaz & Leyva, (2013), con el objetivo de caracterizar el examen final escrito; para ello se utilizaron las siguientes variables: Tipo de examen, cantidad de preguntas y temáticas que aborda, cantidad de ítem por preguntas y áreas temáticas, formato de preguntas, calificaciones por preguntas y del examen, así como se determinó la correspondencia entre el fondo de tiempo asignado en el programa y cantidad de ítem que se exploran en el examen.
En una hoja de cálculo de Microsoft Excel, se tabularon los resultados por preguntas del examen objeto de estudio, categorizados en: aprobado (1) y suspenso (0), para su posterior procesamiento estadístico.
Se utilizaron procedimientos estadísticos como el análisis de números enteros, frecuencia simple y la distribución porcentual para presentar los resultados en tablas. Para el análisis de los resultados de los indicadores de calidad se utilizó el Índice de Dificultad del examen, trabajado por Moreno & Quintana (2009); Ortiz (2012); Pérez (2014); Moreno, et al. (2017), la que corresponde a la proporción de personas que responden correctamente una pregunta de la prueba, mientras mayor sea esta proporción menor será el grado de dificultad. Para su cálculo se dividió el número de estudiantes que contestaron correctamente el ítem, entre el número total de examinados. Usualmente a esta proporción se le denota con la letra p, (dificultad del ítem).
Según Backhoff, Larrazolo & Rosas (2013), los resultados de este indicador pueden oscilar en: 5 % para preguntas fáciles, 20 % para preguntas medianamente fáciles, 50 % para preguntas de dificultad media, 20 % para preguntas medianamente difíciles, 5 % difíciles.
Como establece el sistema de evaluación universitario en Angola, el examen corresponde a una evaluación final, cuya máxima calificación es de 20 valores, el porciento de aprobado es 50, es decir 10 valores. Los autores consideraron oportuno realizar un ajuste a la distribución de los valores de p, de manera tal que 50 % del contenido estuviese incluido en preguntas de dificultad media y medianamente difícil, quedando de la siguiente manera: 10 % para preguntas fáciles (p > 0.86), 20 % para preguntas medianamente fáciles (p entre 0.74 - 0.86), 40 % para preguntas de dificultad media (p entre 0.53 - 0.73), 20 % para preguntas medianamente difíciles (p entre 0.32 - 0.52), 10 % para preguntas difíciles (p < 0.32) (Backhoff, et al., 2013).
El coeficiente de discriminación punto de correlación biserial se analizó para saber si los estudiantes de más alto rendimiento obtienen las respuestas correctas. Se analizó también el resultado del coeficiente alfa de Cronbach, trabajado por Moreno & Quintana (2009); González (2012); Díaz & Leyva (2013); Quiñones (2014); Moreno, et al. (2017), proporciona una medida de la consistencia interna del examen y puede calcularse aún en el caso de que se empleen preguntas de diferentes formatos. Algunos autores, citados por Díaz P5, consideran valores aceptables entre 0,60 a 0,80.
Resultados y discusión
El examen final escrito se estructuró de 7 preguntas con 41 ítems, según el formato de ellas se clasificó como un examen mixto, con un predominio de ítem de ensayo de respuestas cortas (Tabla 1, 2, 3, 4 y 5).
Tabla 1 -Distribución de ítems según formato de preguntas en el examen final de Medicina Comunitaria II de 2do año, curso 2019.
| Preguntas | Cantidad de ítem | Ensayo respuestas cortas | Enlace | Selección Múltiple complemento simple | Ensayo |
|---|---|---|---|---|---|
| 1 | 6 | 6 | - | - | - |
| 2 | 5 | 1 | - | 4 | - |
| 3 | 7 | - | - | 6 | 1 |
| 4 | 2 | 1 | - | - | 1 |
| 5 | 5 | 5 | - | - | - |
| 6 | 10 | - | 10 | - | - |
| 7 | 6 | 6 | - | - | - |
| Total | 41 | 19 | 10 | 10 | 2 |
Tabla 2 Contenidos explorados por preguntas en el examen final de Medicina. Comunitaria II de 2do año, curso 2019.
| Preguntas | Contenido | Temática |
|---|---|---|
| 1 | Familia | 2 |
| 2 | Crecimiento y Desarrollo Psicomotor | 2 |
| 3 | ASIS | 1 |
| 4 | Método Epidemiológico | 6 |
| 5 | Promoción de salud | 3 |
| 6 | Prevención de enfermedades | 4 |
| 7 | Vacunación | 5 |
Tabla 3 - Calificaciones obtenidas en el examen final de Medicina Comunitaria II de 2do año, curso 2019.
| Escala | Turma A Cantidad % | Turma B Cantidad % |
|---|---|---|
| Menos de 10 | 12 30,76 | 8 22,22 |
| 10-13 | 13 33,33 | 8 22,22 |
| 14-15 | 9 23,07 | 16 44,44 |
| 16-17 | 4 10,25 | 4 11,11 |
| 18 19 20 | 1 2,56 0 0 0 0 | 0 0 0 0 0 0 |
| Total | 39 100 | 36 100 |
Tabla 4 - Correspondencia entre fondo de tiempo y cantidad de ítem en el examen final de Medicina Comunitaria II de 2do año, curso 2019.
| Preguntas | Contenidos explorados | Fondo de tiempo | % | Cantidad de ítem explorados | % |
|---|---|---|---|---|---|
| 1y 2 | Familia | 12 | 14,28 | 1-6 y 2-4 | 24,3 |
| 3 | ASS | 20 | 23,8 | 6 | 14,6 |
| 4 | Método Epidemiológico | 16 | 19,04 | 6 | 14,6 |
| 5 | Promoción de salud | 18 | 21,4 | 5 | 12,1 |
| 6 | Prevención de enfermedades | 11 | 13,09 | 10 | 24,3 |
| 7 | Inmunización | 7 | 8,3 | 6 | 14,6 |
Tabla 5 - Índice de dificultad por preguntas y contenidos en el examen final de Medicina Comunitaria II de 2do año, curso 2019.
| Preguntas | Contenidos | Aprobados | Desaprobados | Dificultad | Tipo de dificultad |
|---|---|---|---|---|---|
| 1 | Familia | 64 | 9 | 0,92 | fácil |
| 2 | Crecimiento y Desarrollo | 33 | 42 | 0,44 | medianamente difícil |
| 3 | ASIS | 44 | 31 | 0,58 | media |
| 4 | Método Epidemiológico | 40 | 35 | 0,53 | media |
| 5 | Promoción de salud | 57 | 18 | 0,76 | medianamente fácil |
| 6 7 | Prevención de enfermedades Inmunización | 69 46 | 6 29 | 0,92 0,61 | fácil media |
| Examen | Examen | 55 | 20 | 0,73 | media |
De forma general la dificultad del instrumento fue de 0,73, por lo que se considera un examen de dificultad media.
En los resultados del índice de dificultad por contenidos, la pregunta con mayor dificultad fue la 2 con 0.44 % de aprobados, clasificada como medianamente difícil, la 4 con 0,53%, la 3 con 0.68% y la 7 con 0,61%, estas con dificultad media (Tabla 6 y 7).
Tabla 6 Dificultad esperada y real en el examen final de Medicina Comunitaria II de 2do año, curso 2019.
| Dificultad por preguntas | valor p esperado | valor p real | % real |
|---|---|---|---|
| Preguntas difíciles (10 %) | 0.1 | 0 | 0 |
| Preguntas medianamente difíciles (20 %) | 0.2 | 0.1 | 10 |
| Preguntas de dificultad media (40 %) | 0.4 | 0.3 | 30 |
| Preguntas medianamente fáciles (20 %) | 0.2 | 0.1 | 10 |
| Preguntas fáciles (10 %) | 0.1 | 0.2 | 20 |
Tabla 7 Coeficiente de discriminación, punto biserial en el examen final de Medicina Comunitaria II de 2do año, curso 2019.
Tabla 8 - Coeficiente Alfa de Cronbach en el examen final de Medicina Comunitaria II de 2do año, curso 2019.
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | Total | |
|---|---|---|---|---|---|---|---|---|
| 1 | 0,727 | - | - | - | - | - | - | - |
| 2 | - | 0,694 | - | - | - | - | - | - |
| 3 | - | - | 0,683 | - | - | - | - | - |
| 4 | - | - | - | 0,703 | - | - | - | - |
| 5 | - | - | - | - | 0,702 | - | - | - |
| 6 | - | - | - | - | 0,710 | - | - | |
| 7 | - | - | - | - | - | - | 0,687 | - |
| Total | - | - | - | - | - | - | - | 0,732 |
El resultado del coeficiente α de Cronbach (Tabla 8), por preguntas y total. El valor total 0,73 demuestra que el instrumento tiene confiabilidad en su consistencia interna.
La metodología aplicada permitió caracterizar el examen final escrito. De los 41 ítems que fueron utilizados en el instrumento, existieron diferentes tipologías en el diseño de las preguntas: ítem de ensayo en sus dos variantes, respuesta alternativa, selección múltiple con complemento simple y de enlace. Las preguntas de ensayo en su variante de respuestas cortas fueron las más utilizadas con una frecuencia total de 19 ítems. Resultados similares lo obtuvo González, (2014), en su trabajo de terminación de maestría y Ortiz, et al. (2015), en el análisis de la dificultad y la discriminación en los ítems del examen de Metodología de la Investigación y Estadística.
Las preguntas de ensayo de respuestas cortas algunos autores las consideran como preguntas puramente de ensayo y otros como un tipo de pregunta situada entre las preguntas de ensayo y las de test objetivo, de ahí que se denominan también semiobjetivas. Éstas según opiniones de varios investigadores, entre ellos Moreno & Quintana (2009); Quiñones (2014); y González (2014), reducen las desventajas de las preguntas de tipo de ensayo, incrementan la muestra de contenido a evaluar y se limitan las preguntas sólo a aquellas que conllevan respuestas libres, pero cortas.
Basándose en la literatura consultada, los investigadores asumen que, este tipo de preguntas permite incrementar las áreas temáticas a examinar, su diseño es más fácil, los profesores pueden llegar a un consenso rápido sobre las posibles respuestas a aceptar como correctas y su calificación por lo que la objetividad y confiabilidad de las calificaciones se incrementa considerablemente. A pesar de las desventajas de este tipo de preguntas es pertinente señalar que fueron diseñadas en el instrumento analizado a partir de situaciones problémicas y no con carácter reproductivo.
Las áreas temáticas exploradas en el instrumento se corresponden a lo declarado en el programa de la asignatura, con el objetivo de potenciar habilidades en el estudiante para desarrollar actividades de promoción de salud y prevención de enfermedades con un enfoque integral dirigido hacia el individuo, su familia y la comunidad, bajo situaciones reales o modeladas.
La correspondencia entre el fondo de tiempo establecido en el programa y su exploración en los ítems del examen escrito no tuvo una total correspondencia. Las preguntas 1, 2, correspondieron a contenidos del tema 2, Familia con un total de 12 horas en el plan temático y diferentes formas organizativas para un 14,28%, sin embargo se explora en un 24,3%, este tema a juicio de los investigadores es abarcador, comprende elementos básicos sobre estructura e función ,ciclo vital de la familia ,crisis y acontecimientos de cada etapa del ciclo; en la etapa de extensión es de vital significación el crecimiento y desarrollo humano desde el nacimiento hasta la independencia del primer hijo.
La pregunta 3 corresponde al contenido del tema 1, Análisis de la Situación de Salud como aplicación del método científico con un total de 20 horas para un 23,8% y se explora en 6 ítem para un 14,6%, es opinión de los investigadores que, el cumplimiento de los objetivos en este tema quedan limitados a partir de no estar implementado en Angola el modelo de Atención Primaria de Salud (APS) como estrategia de Atención integral de salud, que contempla como herramienta fundamental el diseño, análisis y discusión del Análisis de la Situación Integral de Salud (ASIS) en la comunidad, por lo que, a partir de los elementos antes mencionados, el programa de estudio es susceptible de revisión para posibles adecuaciones pertinentes al contexto de Angola. Además, este es un contenido que se sistematiza con mayor profundidad en cuarto y quinto año de la carrera, en la disciplina de Medicina Comunitaria. La pregunta 3 sobre Método epidemiológico con 16 horas en el programa para un 19,03%, se exploró en 6 ítems para un 14,6%, logró una aproximación a la correspondencia. La pregunta 5 exploró contenidos sobre Promoción de salud con 18 horas en el programa y 21,4% se exploró en 5 ítem quedando por debajo su representatividad en el instrumento para un 12,1%.
Las preguntas 6 y 7 sobre las temáticas de prevención de enfermedades e inmunización tuvieron una planificación en el programa de 11 y 8 horas respectivamente. Se exploraron en 10 y 6 ítems cada una, quedando su representatividad en el instrumento por encima de lo planificado 24,3% y 14,6%, aspectos que a juicio de los investigadores ocupan un papel primordial en el cuadro de salud de la provincia Cabinda y de Angola.
Estos resultados de forma general coinciden con los obtenidos por González (2012); Ortiz (2012); Quiñones (2014), en sus trabajos de terminación de maestría en el área de formación del pregrado. A juicio de los investigadores la falta de correspondencia está dada por el formato de preguntas empleados y la cantidad de ítem incorporados. Coinciden además con Díaz & Leyva (2013), que plantean que debe encontrarse una proporción adecuada de ítems en función del tiempo que se le asignó al tratamiento del contenido.
En el índice de dificultad del instrumento analizado predominaron las preguntas de dificultad media. Según Moreno & Quintana (2009); Backhoff, et al. (2013); Díaz & Leyva (2013), la dificultad del examen debe oscilar entre 0.5 y 0.6, la dificultad del instrumento fue de 0,73 por lo que coincide con estándares internacionales.
Las preguntas fáciles, p (0.92), estuvieron 20% por encima del valor esperado. La 1 exploró contenidos sobre familia, en su diseño fue una situación problémica donde el estudiante debía realizar un análisis lógico, coherente de los datos que aportaba la misma para dar respuesta a sus diferentes ítems. En el análisis de este resultado con un alto por ciento de aprobados es importante significar la sistematicidad y tratamiento de este contenido en sus diferentes formas organizativas según el programa, la realización de trabajos independientes sobre el tema, así como su abordaje en la educación en el trabajo para la construcción de la Historia de salud familiar y las actividades a desarrollar en las dos primeras etapas del ASIS.
La pregunta 6 exploró contenidos sobre Prevención de enfermedades, según su formato, fue de enlace o pareamiento, a partir de diferentes acciones de salud descritas, los estudiantes debían identificar a que nivel de prevención correspondía. Este contenido se desarrolló en sus diferentes formas organizativas en estrecha relación a las acciones de salud que desarrolla el estudiante de medicina en la educación en el trabajo como futuro profesional de la salud. En la actividad práctica y el seminario del tema, se modelaron situaciones problémicas donde el estudiante debía ser capaz de identificar las actividades de prevención de enfermedades y otros daños a la salud en personas, familias y la comunidad. Otro elemento a destacar es la clave de calificación, las preguntas tienen 6 y 10 ítems respectivamente, los valores a otorgar a cada uno se reducen teniendo en cuenta que el examen tiene una puntuación total de 20, por lo que brinda mayor posibilidad de poder aprobar la pregunta.
La pregunta 5, fue la única clasificada como medianamente fácil (p 0,76), de un 20% del valor de p esperados. Exploró contenidos sobre el tema promoción de salud, en el núcleo de la misma, se ofrecía una afirmación sobre el contexto epidemiológico imperante en Cabinda en relación a la morbimortalidad de enfermedades transmisibles, debían ejemplificar cinco acciones de salud desde las diferentes áreas de la promoción de salud para evitar la aparición de factores de riesgo o enfermar. A juicio de los investigadores, este contenido se imparte desde el primer año de la carrera, en las modalidades teórica y práctica, continúa en 2do año con un mayor nivel de profundidad, es decir existe una precedencia del tema, que aproxima al estudiante a poner en práctica sus habilidades lógico intelectual en el abordaje del tema. Constituye además uno de los ejes centrales de la disciplina medicina comunitaria que se refrenda en el desarrollo de la educación en el trabajo desde los primeros años de la carrera.
Las preguntas 3, 4,7 con dificultad media constituyeron el 30% de p real de un 40% esperado. Exploraron contenidos de las áreas temáticas, Análisis de la situación integral de salud como método científico, Método epidemiológico e Inmunización. La pregunta 2 (p 0,44) clasificada como medianamente difícil representó un 10% de p esperado. Estos resultados de forma general no concuerdan con los obtenidos por Backhoff, et al. (2013).
Los resultados obtenidos en el análisis del coeficiente de correlación punto biserial demuestran que el 71,4 % de las preguntas del instrumento discriminan de forma buena y excelente a los estudiantes de alto y bajo rendimiento como se muestra en la Tabla 8. La pregunta 2 medianamente difícil, la 3, 4 y 7 con dificultad media poseen un excelente poder de discriminación (r pbis > 0.35). Sin embargo, las preguntas 1 y 6 clasificadas como fáciles tienen un pobre poder de discriminación (r pbis = 0 - 0.14). Según autores consultados (Díaz & Leyva, 2013; Backhoff, et al., 2013; Ortíz, et al., 2015) en este rango de pobre discriminación debe evaluarse la pregunta a profundidad o descartarla ,criterio compartido por los investigadores, que consideran además ,que estas dos preguntas, no lograron predecir si los estudiantes de alto rendimiento fueron los que obtuvieron las mayores calificaciones en las mismas, coincide que son las que tienen mayor número de ítems y debe revisarse su diseño y nivel de profundidad.
El análisis de la consistencia interna del examen aplicado fue satisfactorio con un valor de 0,73 por lo que resulta fiable. Todas las preguntas tuvieron resultados inferiores al del examen, por lo que no afectan el valor obtenido. Este resultado concuerda con el coeficiente que se propone en las Indicaciones Metodológicas para el Planeamiento, Diseño y Control de la Calidad de los Exámenes Escritos para la Evaluación de la Competencia y el Desempeño Profesional, los coeficientes de confiabilidad y a los estándares propuestos por el Colegio de médicos de Canadá (Moreno & Quintana, 2009) donde consideran aceptables coeficientes entre 0.69 y 0.71.
Conclusiones
Se caracterizó el examen final escrito de Medicina Comunitaria II de 2do año de la carrera, en la Facultad de Medicina de Cabinda. Según el formato de las preguntas empleadas se clasificó como un examen mixto, con predominio de las preguntas de ensayo de respuestas cortas. No existió adecuada correspondencia entre el fondo de tiempo declarado en el programa y la cantidad de ítem explorados en el examen.
El análisis de los indicadores de calidad demostró que el examen tuvo una buena fiabilidad en su consistencia interna, predominio de preguntas con dificultad media y excelente poder discriminativo.
