Valoración metodológica sobre la confección de exámenes finales de la carrera de Medicina en Cienfuegos
Methodological valuation on the elaboration of final exams in Cienfuegos medicine career
Margarita Rosa Romeu Escobar1, José Aurelio Díaz Quiñones2
1 Doctora en Medicina. Especialista en Medicina Interna y en Medicina General Integral. Máster en Educación. Profesor Consultante. Facultad de Ciencias Médicas "Dr. Raúl Dorticós Torrado". Cienfuegos. Cuba. Correo electrónico: salud5005@ucm.cfg.sld.cu
2 Doctor en Medicina. Especialista de II Grado en Medicina Interna. Doctor en Ciencias Pedagógicas. Profesor Auxiliar. Facultad de Ciencias Médicas "Dr. Raúl Dorticós Torrado". Cienfuegos. Cuba. Correo electrónico: salud5005@ucm.cfg.sld.cu
]]>
Fundamento: la calidad en la confección de los temarios de exámenes es un eslabón esencial en el sistema de evaluación en ciencias médicas.
Objetivo: valorar metodológicamente los temarios de exámenes finales de las asignaturas propias de la carrera de Medicina en la Facultad de Ciencias Médicas de Cienfuegos.
Método: se realizó una investigación observacional, descriptiva y transversal en los cursos 2012-2013 y 2013-2014, de la Facultad de Ciencias Médicas "Dr. Raúl Dorticós Torrado", en la que se incluyeron 29 asignaturas propias de la carrera de Medicina. Se utilizaron los métodos teóricos de análisis-síntesis e inducción-deducción, y la revisión documental (temarios de exámenes) como método empírico. Se revisaron dos temarios por asignatura, seleccionados al azar. Se contrastaron los objetivos y habilidades declarados en los programas con los contenidos de los exámenes.
Resultados: el patrón más generalizado fue abordar un tema por pregunta, el formato más utilizado fue el de ensayo de respuestas cortas. En 49 temarios las raíces de las preguntas estaban correctamente elaboradas; en 30 de ellos la redacción de los ítems y formatos de las preguntas eran adecuadas y las escalas de calificación también. El error más frecuente fue la indicación de tareas imprecisas en preguntas de ensayo modificado. La mayoría de las interrogantes demandaban respuestas reproductivas.
Conclusiones: de forma general, los temarios están confeccionados adecuadamente, aunque aún se observaron desaciertos en la elaboración de preguntas y escalas de calificación. El predominio de preguntas con respuestas reproductivas limita la validez conceptual.
DeCS: Evaluación educacional, preguntas de exámenes, pruebas de aptitud, educación médica.
ABSTRACT
Background: the quality in the elaboration of exam sets is an essential aspect in the assessment system in medical sciences.
Objective: to value the final exam sets of the core subjects of the Medicine career in Cienfuegos Medical Sciences faculty according to methodology. ]]>
Methods: it was carried out an observational, descriptive and cross-sectional investigation in the academic years 2012-2013 and 2013-2014, in "MD. Raúl Dorticós Torrado", Medical Sciences Faculty in which 29 core subjects of the Medicine career were included. Theoretical methods were used: analysis and synthesis and induction-deduction, and the documental review of exam sets was used as empiric method. Two exam sets were revised per subject, selected at random. The objectives and abilities declared in the syllabuses were contrasted with the contents of the exams.
Results: the most widespread pattern was to approach a topic per question; the used format was that of short answers. In 49 exam sets the questions were correctly elaborated; in 30 of them the writing of the items and question formats were adequate and marking was also correct. The most frequent error was the indication of imprecise tasks in questions of modified trials. Most of the questions required a reproductive answer.
Conclusions: in a general way, the exam sets were appropriately elaborated, even though, mistakes were observed in the elaboration of questions and marking. The prevalence of reproductive questions diminish the conceptual validity.
MeSH: Educational measurement, examination questions, aptitude tests, education, medical.
INTRODUCCIÓN
La evaluación del aprendizaje es, probablemente, el componente del proceso enseñanza aprendizaje que más debates origina y más variaciones conceptuales ha experimentado. En varios documentos rectores están declaradas las normativas de los sistemas de evaluación de las asignaturas que componen los planes de estudio de la educación médica superior en Cuba.1-3
El examen escrito es la modalidad utilizada en la mayoría de las pruebas finales. Lo precede generalmente un examen práctico donde se evalúan habilidades específicas, técnicas y procedimientos inherentes a cada asignatura.3
Los programas de las asignaturas declaran los objetivos instructivos a cumplir y durante años se ha sistematizado la orientación metodológica a los profesores sobre la confección de exámenes escritos, utilizando diferentes vías. ]]>
Diversos han sido los métodos que se han desarrollado en diferentes facultades del país para evaluar la calidad en la confección de temarios, su poder discriminativo y validez.4-6Este estudio ofrece una visión general de los aciertos y desaciertos en los temarios de exámenes finales en la Facultad de Ciencias Médicas de Cienfuegos, experiencia que fue compartida con el claustro de profesores; por supuesto, con las limitaciones que impone el no poder analizar todos los componentes del proceso.
Los autores se plantearon como objetivo: valorar aspectos metodológicos en la confección de temarios de exámenes finales de las asignaturas propias de las carreras de Medicina en la Facultad de Ciencias Médicas "Dr. Raúl Dorticós Torrado", de la provincia de Cienfuegos.
MÉTODOS
Se realizó una investigación observacional, descriptiva y transversal, cuyo universo estuvo formado por los temarios de exámenes finales ordinarios de las asignaturas propias de las ciencias de la salud, específicamente de la carrera de Medicina en los cursos 2012-2013 y 2013-2014. Se excluyeron las asignaturas que no tienen examen final escrito y el internado. Quedaron incluidas 29 asignaturas (96,6 %) de las posibles a analizar según criterios antes declarados. Los autores seleccionaron al azar dos temarios por asignatura, aplicados en exámenes ordinarios en ambos cursos, excepto en una asignatura en la que solo se tuvo acceso a un temario; por tanto, la muestra incluyó 57 temarios de exámenes finales.
Para la fundamentación teórica de la investigación se utilizaron los métodos teóricos de análisis-síntesis, inducción-deducción, y la revisión documental de los temarios de exámenes como método empírico.
Se contrastaron los objetivos y habilidades declaradas en los programas de las asignaturas con los contenidos de los exámenes.
Se incluyeron los siguientes aspectos:
RESULTADOS Y DISCUSIÓN
Según el número de interrogantes por temario: de los 57 revisados, 36 contaban con siete preguntas y 21 con cinco; y según el formato clasifican como mixtas, con preguntas de ensayo modificado y de test objetivo.
De las 327 preguntas revisadas, se observó la siguiente distribución de los formatos de preguntas:
Predominaron los temarios que abordan un tema por pregunta, fueron escasos los que integraban contenidos de varios temas en una de ellas o aplicaban el análisis progresivo, aún cuando sería posible siguiendo la lógica de la asignatura.
Existen recomendaciones, ventajas y desventajas para el uso de preguntas de tipo test objetivo, las cuales han sido socializadas desde hace varios años y que constituyen las referencias en las que se basan las opiniones y comentarios que se hacen a continuación, además de la experiencia profesional acumulada por los autores.
Los formatos utilizados en la elaboración de temarios de exámenes finales son de tipo mixto, con preguntas de ERC y de test objetivo, lo cual es muy favorable ya que las preguntas de ERC muestran las capacidades de los estudiantes para expresar de forma lógica ideas esenciales y además permite evaluar aspectos ortográficos y de redacción, de manera que se obtiene un balance adecuado con las de test objetivo. Pero, en ocasiones fueron utilizadas para citar, enumerar o identificar pocos elementos, asociados o no a situaciones problemas, por lo cual no se aprovecharon todas sus ventajas.
Los autores han observado que el formato V-F es muy utilizado debido a que aparentemente es de fácil elaboración; sin embargo, puede tener poca validez si no se cumplen las recomendaciones para su confección. De igual forma, consideran que las preguntas con formato de CS permiten discriminar adecuadamente los saberes de los estudiantes y abarcar mayor cantidad de contenidos de uno o varios temas, por lo que es lamentable que sea limitado su uso. Por otro lado, se reconoce la insuficiente pertinencia del uso de pocas o ninguna preguntas tipo complemento agrupado en exámenes cortos, por su calificación extrema: 2 o 5; por supuesto, sería posible utilizarla si se elaboraran varios incisos tipo CA en la pregunta. ]]>
Errores en la elaboración de las preguntas: raíces e ítemsEn 49 (86 %) de los temarios revisados, las raíces de las preguntas estaban correctamente elaboradas. En 30 (53 %) estaban correctos los ítems y formatos y en igual número de temarios las escalas de calificación eran adecuadas.
Los desaciertos metodológicos fundamentales encontrados en la revisión realizada por los autores fueron los siguientes:
Errores en la elaboración de las escalas de calificación y claves de respuestas
En las escalas de calificación los errores más frecuentes estuvieron en la determinación del punto de corte de las escalas numéricas que significa aprobado o 3 para la escala cualitativa; aspecto que puede ser fácilmente consensuado por directivos y metodólogos y se identificaron también escalas incompletas.
Las escalas habitualmente se establecen porque los profesores necesitan operacionalizar las calificaciones en las preguntas de tipo test objetivos creados para los valores cuantitativos a fin de decidir una evaluación cualitativa, equilibrada y justa para cada pregunta. Las combinaciones de calificaciones de preguntas para obtener la nota general del temario están sustentadas en documento normativo. Estos aspectos deberían analizarse en el futuro, pues son fuentes de sesgos.
Acerca de los desaciertos más importantes en las claves, de acuerdo con los formatos de preguntas es conveniente comentar lo siguiente:
Es requisito de las preguntas de ensayo que se explique exactamente el alcance, lo que se quiere que responda el estudiante tanto cualitativamente como en términos de cantidad de elementos que se solicitan, si el número no es estrictamente exacto por la propia naturaleza de lo que se pregunta. La ambigüedad de la tarea indicada no aumenta el rigor de la pregunta, pero sí dificulta la respuesta.7
Existen estudios que demuestran que la capacidad para comprender enunciados de preguntas y problemas en los exámenes es un factor importante, por lo que elaborarlos con precisión es imprescindible.8,9
Los autores consideran que el formato de complemento simple con tres opciones de respuestas por inciso resta validez a la pregunta, al facilitar respuestas que pueden decidirse al azar sin que estén avaladas por real conocimiento.
Por otra parte, el formato de relacionar columnas con heterogeneidad de los elementos a comparar conduce al análisis compartimentado guiándose el estudiante por elementos gramaticales o aproximaciones lógicas. La ausencia de distractores resta rigor, pero su uso en ambas columnas ofrece confusión al estudiante. ]]>
En las preguntas para completar oraciones elaboradas con ambigüedad sería posible más de una respuesta lógica. Cuando en este tipo de pregunta el tema no está orientado en la raíz, las posibles respuestas lógicas pueden ser muchas más. A veces la defensa de los profesores es plantear "así se lo di en clase", pero no es convincente en tanto no se está evaluando memoria. El espacio debe destinarse para un elemento de alto valor científico y siempre que sea posible uno y nada más que uno. Varios espacios sucesivos confunden al estudiante y evidencian que quizás se debió adoptar otro formato.Las mezclas de formatos e ítems no se aconsejan, aunque su uso está bien extendido. Quizás se redujeran si los objetivos de la pregunta estuvieran bien precisados por el profesor que la elabora.
En la Universidad de Ciencias Médicas de Villa Clara se realizó una investigación5 en la que se identificaron los siguientes desaciertos: instrumentos con falta de datos en el encabezamiento, predominio de preguntas de respuestas cortas o restringidas en la mayoría de los exámenes, ítems con errores de redacción y diseño, uso indiscriminado de términos como: "menciona", "diga", escasas preguntas de desarrollo que permitan evaluar la ortografía y redacción, instrumentos evaluativos sin adecuado balance de las preguntas de tipo desarrollo y test objetivos con sus respectivas variantes, a pesar de la preparación pedagógica de los profesores.
Como se observa hay coincidencia con el presente estudio en relación a los desaciertos encontrados.
Un aspecto positivo es haberse logrado claves de respuestas bien explícitas en la mayoría de las preguntas de ERC, pero se contrapone a lo impreciso de las tareas solicitadas a los estudiantes, como ya se expresó.
Cumplimiento de los objetivos del programa y niveles de asimilación de las preguntas
En este aspecto, el desacierto fundamental que se constató fue que se identificaron 194 preguntas de tipo reproductivas (59 %). Este es el aspecto más relevante en cuanto a validez conceptual por lo que se puede afirmar que algunos objetivos no son evaluados con el nivel de asimilación de los contenidos que se declaran en los programas.
La reproducción del conocimiento siempre está presente en la base del aprendizaje, de hecho se observaron programas que lo declaran para algún objetivo, pero en exámenes finales de asignaturas cuyos objetivos tributan directamente al perfil profesional del egresado es inexplicable que aún predominen preguntas cuyas tareas se planteen a nivel reproductivo, varias de ellas francamente memorísticas y otras con un nivel de generalización demasiado alto, según criterio de los autores, ya que deben tratarse con mayor concreción.
También fue notable la escasa cantidad de preguntas donde se solicita argumentar, fundamentar, explicar u otras habilidades lógico-intelectuales con las que los estudiantes deben operar en diversas áreas de conocimientos.
En las ciencias médicas el objeto de estudio es el proceso salud-enfermedad y su atención en el ser humano, por tanto, el objeto es un sujeto a escala individual-clínica o grupos de sujetos-salud pública con todas sus complejidades, por ello, el proceso enseñanza aprendizaje y su evaluación deben acercarse a la realidad misma de la práctica profesional, según los niveles de sistematicidad, asimilación y complejidad declarados.10,11 ]]>
Según Díaz Rojas y col6 "… en la medida en que las actividades de evaluación y el diseño del instrumento se aproximan a la realidad, o sea, están dirigidas a valorar o medir la aplicación social e independiente del sistema de conocimientos, habilidades y modos de actuación del estudiante, mayor será su validez…".En muy pocas asignaturas se observó que se declararan objetivos por pregunta en la clave y los autores infieren que no es habitual trabajar con tablas de especificaciones. Este es un ejercicio muy útil para evaluar contenidos con niveles de asimilación y complejidad adecuados. Por supuesto, es imprescindible haberlos tratado a similares escalas durante el proceso enseñanza aprendizaje.
La calidad en el diseño y confección de temarios de exámenes se gana a través del trabajo metodológico realizado por el colectivo de asignatura. El diseño y elaboración de un temario de examen final requiere dominio de los contenidos, conocimiento del programa de la asignatura, suficiente dedicación de tiempo, consenso entre los profesores que desarrollan el proceso y comprensión del alcance, recomendaciones, ventajas y desventajas de los diferentes formatos de preguntas.
En el colectivo de asignatura hay que definir ¿qué evaluar?: contenidos, objetivos con niveles de asimilación, complejidad e integración definidos; ¿cómo evaluar?: técnicas o procedimientos a emplear, tipos de examen, formatos y números de preguntas; ¿cómo calificar?: elaborar claves precisas y completas y establecer pautas y escalas de calificación. Deben lograr la integración de los contenidos siguiendo la lógica de la profesión y el enfoque de sistema.12,13
Por último, convendría mencionar dos modificaciones necesarias: revalorizar el papel activo del estudiante en el proceso evaluativo incluyendo sus opiniones sobre instrumentos de evaluación y reconocer que más tarde o más temprano será necesario el rediseño curricular para las evaluaciones por competencias en la educación médica superior, como se ha planteado en otros estudios.14
CONCLUSIONES
Los temarios de exámenes finales de la carrera de Medicina de la Facultad de Ciencias Médicas "Dr. Raúl Dorticós Torrado" durante los cursos académicos 2012-2013 y 2013-2014 fueron confeccionados en su mayoría de manera adecuada aunque aún se constatan desaciertos en la confección de los tipos de preguntas y en las escalas de calificación. En opinión de los autores, el predominio de preguntas reproductivas limita la validez conceptual de los exámenes finales.
REFERENCIAS BIBLIOGRÁFICAS ]]>
1. Ministerio de Educación Superior. Reglamento de Trabajo Docente Metodológico. Resolución 210/07. La Habana: MES; 2007.
2. Ministerio de Salud Pública. Reglamento para la organización del proceso docente educativo en los centros de enseñanza médica superior. La Habana: Editorial Ciencias Médicas; 2009.
3. Instituto Superior de Ciencias Médicas. Plan de estudios de la carrera de Medicina. La Habana: Editorial Ciencias Médicas; 2009.
4. Carrazana Lee A, Salas Perea RS, Ruiz Salvador AK. Nivel de dificultad y poder de discriminación del examen diagnóstico de la asignatura Morfofisiología Humana I. Educ Med Super [Internet]. 2011 [citado 7 Jul 2014];25(1):[aprox. 11 p.]. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412011000100010&lng=es
5. López Espinosa GJ, Quintana Mujica R, Rodríguez Cruz O, Gómez López L, Pérez de Armas A, Aparicio Manresa G. El profesor principal y su preparación para diseñar instrumentos de evaluación escritos. EDUMECENTRO [Internet]. 2014 [citado 7 Jul 2014];6(2):[aprox. 9 p.]. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2077-28742014000200007&lng=es&nrm=iso&tlng=es
6. Díaz Rojas PA, Leyva Sánchez E. Metodología para determinar la calidad de los instrumentos de evaluación. Educ Med Super [Internet]. 2013 [citado 17 Jul 2014];27(2):[aprox. 16 p.]. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412013000200014&lng=es
7. Ayala-Valenzuela R, Messing-Grube H. Comprender los enunciados en un examen escrito: ¿dónde está el problema? Educ Med Super [Internet]. 2013 [citado 17 Jun 2014];27(2):[aprox. 8 p.]. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412013000200008&lng=es
8. López López M. ¿Sabes enseñar a describir, definir y argumentar? La Habana: Editorial Pueblo y Educación; 1989.
9. Fernández Sacasas JA. Educación médica: el objeto, el sujeto desdoblado y el contexto. Educ Med Super [Internet]. 2012 [citado 12 jul 2013];26(3):[aprox. 2 p.]. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412012000300001&lng=es
10. Espinosa Brito A. La clínica y la Medicina Interna. Rev Cubana Med [Internet]. 2013 [citado 2 Ene 2014];52(3):[aprox. 13 p.]. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0034-75232013000300008&lng=es.1
11. Díaz Velis Martínez E, Ramos Ramírez R, Wong Orfila T. Reflexiones acerca de la labor metodológica de la asignatura en el currículo de Medicina. EDUMECENTRO [Internet]. 2010 [citado 7 jul 2014];2(2):[aprox. 14 p.]. Disponible en: http://www.revedumecentro.sld.cu/index.php/edumc/article/view/76/155
12. Díaz Quiñones JA. ¿Se corresponde el proceso evaluativo actual con el proceso de enseñanza aprendizaje asumido? Gaceta Médica Espirituana [Internet]. 2012 [citado 7 Jul 2014];14(1):[aprox. 8 p.]. Disponible en: http://bvs.sld.cu/revistas/gme/pub/vol.14.%281%29_00/p0.html
13. Gual A. La universidad que queremos (II). En búsqueda de una mejora contrastada. Educ Med [Internet]. 2012 [citado 12 Jun 2014];15(1):[aprox. 3 p.]. Disponible en: http://scielo.isciii.es/pdf/edu/v15n1/editorial.pdf
14. Ion G, Cano E. La formación del profesorado universitario para la implementación de la evaluación por competencias. Educación XXI. 2012;15(2):249-70.
]]>
Recibido: 16 de octubre de 2014.
Aprobado: 22 de mayo de 2015.
Margarita Rosa Romeu Escobar. Facultad de Ciencias Médicas de Cienfuegos. Cuba. Correo electrónico: salud5005@ucm.cfg.sld.cu ]]>