Análisis de las preguntas de selección múltiple de exámenes profesionales de Bioquímica

Analysis of multiple choice questionnaires in the Biochemistry professional examinations

Dr.C Arturo Menéndez Cabezas^I, Dr. Dariel Somontes Zamora^II, Dr. Alejandro Capote Fradera^III

^I Doctor en Ciencias Médicas. Profesor Titular. Universidad de Ciencias Médicas. Camagüey, Cuba. artemen@iscmc.cmw.sld.cu

RESUMEN

Fundamento: es necesario el perfeccionamiento de los temarios de selección múltiple de Bioquímica de los exámenes profesionales parte I de la Escuela de Medicina de la Universidad de Gambia. Cada año se analiza la pertinencia y calidad por un examinador externo y los docentes. Objetivo: aplicar dos índices estadísticos, de Facilidad y de Discriminación, a los temarios de selección múltiple de la disciplina Bioquímica respondidos por los estudiantes en los exámenes profesionales I, en dos cursos académicos. Método: estudio analítico de los temarios de selección múltiple de los exámenes profesionales parte I de Bioquímica en dos cursos consecutivos. Se analizaron todos los exámenes respondidos por los alumnos que finalizaron el ciclo preclínico. Se aplicaron los llamados índices de facilidad y de discriminación. Se comparan los resultados de ambos cursos. Resultados: en el curso 2006/2007 disminuyó el número de preguntas con índice de facilidad menor a 0,7 y mayor de 0,9. El número de preguntas con índice de facilidad igual o menor a 0,7 aumentó en ocho. La cantidad de preguntas con índice de discriminación menor de 0,3 disminuyó en los segundos exámenes, y las de índice de discriminación ≥ 0,3 se incrementaron. La cantidad que presentaron ambos índices por debajo de 0,3 disminuyó. El índice de facilidad promedio fue menor de 0,5 en los primeros exámenes, y en los segundos fue superior a 0,5. Conclusiones: se ratifica la utilidad de los análisis de los resultados de cada pregunta de selección múltiple mediante la aplicación de los dos índices.

ABSTRACT

Background: an optimization of multiple choice questionnaires of Biochemistry applied in the Professional examinations I at the University of The Gambia School of Medicine is needed. Every year  pertinence and quality are assessed  by both external examiners and the lecturers. Objective: to apply two statistical indexes, facility and discrimination, to Multiple Choice Questions tests of Biochemistry answered by students during Professional Examinations I of two academic years. Method: an analytical study of Multiple Choice Questions tests of Biochemistry applied at part I professional examinations during two consecutive years. All answered by preclinical students papers were analyzed. The indexes of Facility and Discrimination were applied. Results of both years were analyzed. Results: in the 2006/2007 academic year the number of questions with Facilty Index below 0,7  and over 0,9 decreased. Eight more questions  had a Facility Index equal or below 0,7. The amount of questions with Discrimination Index under 0,3 decreased in the second examinations, and those with Discrimination Index  equal or over 0,3 increased. The number with both indexes below 0,3 decreased. The mean of the Facilty Index was below 0,5 at the first examinations and at the second ones was over 0,5. Conclusions: the utility of the evaluation of the results of each multiple choice question  by the Facilty Index and the Discrimation Index was again demonstrated.

INTRODUCCIÓN       

]]> En el año 1999, un grupo de docentes cubanos fundaron la Escuela de Medicina de Gambia, África Occidental. El plan de estudio de Medicina que se aplicó resultó una combinación de la experiencia cubana y las tradiciones de los países africanos anglófonos. Desde entonces, esa escuela se desarrolla y consolida gracias principalmente al apoyo cubano.¹

En esta escuela, como en las demás escuelas o facultades de medicina de la mayoría de los países africanos de habla inglesa, y en particular en la región de África Occidental, se realizan los llamados “exámenes profesionales”, generalmente al concluir cada uno de los ciclos de la carrera de medicina. En la Escuela de Medicina y Ciencias de la Salud de la Universidad de Gambia, su plan de estudio de medicina contempla la realización de cuatro de esos exámenes.¹

El grupo I de los mismos se realiza al concluir el ciclo pre clínico, o sea, al finalizar tres semestres de las disciplinas de ciencias básicas biomédicas, Anatomía Humana (Anatomía, Histología y Embriología), Bioquímica y Fisiología. Estos exámenes incluyen varios ejercicios evaluativos en las tres disciplinas: examen de tipo test objetivo con predominio de las preguntas de selección múltiple (MCQ de sus siglas en inglés), examen de preguntas de desarrollo o ensayo, un examen práctico y finalmente un examen oral. Se trata de un ejercicio riguroso y extenuante que requiere una buena preparación de los estudiantes, y de los profesores que deben elaborar los cuestionarios que son revisados y aprobados por examinadores externos, provenientes fundamentalmente de universidades de la región, los que además de constituir los tribunales, escriben un reporte final que incluye una valoración integral de la calidad de la docencia y de la preparación de los educandos.  Por lo tanto, este sistema garantiza en cierta medida un control de calidad externo.

Es indudable que de este intercambio se gana en experiencia y en calidad para los futuros temarios. No obstante, hay que tener en cuenta que la fuerza docente principal de esta institución, fundada en 1999 gracias a la ayuda cubana, está representada por docentes cubanos que permanecen dos, o a lo sumo tres años, en cumplimiento de misión internacionalista, o sea, que los colectivos docentes se renuevan cada dos años, y aunque los exámenes archivados representan una importante fuente de consulta para la elaboración de nuevos cuestionarios, es necesario utilizar métodos, procedimientos o técnicas que permitan una evaluación de la calidad de las preguntas con vista a garantizar una mejoría continua, sobre todo de las preguntas de selección múltiple, que es precisamente el instrumento de evaluación que la mayoría de los docentes cubanos conocen menos o en el que menos experiencia poseen, aparte de la lógica dificultad en la redacción en inglés de los cuestionarios. Es por ello que, luego de revisar la literatura en idioma inglés sobre esta temática, nos propusimos aplicar determinados análisis estadísticos a las preguntas de selección múltiple de complemento simple recomendados para evaluar el grado de dificultad y la capacidad de discriminación, y sobre la base de los índices obtenidos poder decidir la modificación o eliminación de las preguntas.^2-4

MÉTODO

Se realizó un estudio analítico de los temarios de preguntas de selección múltiple de los exámenes profesionales parte I de Bioquímica, a los estudiantes de la Escuela de Medicina y Ciencias de la Salud de la Universidad de Gambia en dos cursos consecutivos: 2005 – 2006 y 2006 – 2007. Se analizaron todos los exámenes respondidos por los alumnos que finalizaron el ciclo preclínico en cada curso, 26 y 23 respectivamente.

En la primera etapa se consideraron las preguntas de selección múltiple de complemento simple de la disciplina Bioquímica respondidas por los estudiantes en el examen profesional parte I realizado en mayo de 2006.

Para los cálculos se utilizó el programa Excel de Microsoft Office.

Se comparan los resultados obtenidos en los exámenes profesionales de Bioquímica de los cursos académicos 2005/2006 y 2006/2007.

Después de aplicar ambos índices en el Curso 2005/2006 y realizar los análisis correspondientes y la reelaboración de los cuestionarios, en los exámenes del curso 2006/2007 disminuyó el número de preguntas con índice de facilidad menor a 0,7 y mayor de 0,9, o sea, los que representan los extremos de preguntas muy difíciles y muy fáciles respectivamente. Y el número de preguntas con índice de facilidad igual o menor a 0,7 aumentó en ocho. La cantidad de preguntas con índice discriminatorio menor de 0,3, o sea, las que menos discriminan entre estudiantes de alto rendimiento y los de bajo aprovechamiento, disminuyó en los segundos exámenes, mientras que las de ID ≥ 0,3 se incrementaron.

La cantidad de preguntas que presentaron ambos índices por debajo de 0,3 disminuyó en los exámenes del curso 2006/2007.

Tabla 1. Exámenes profesionales de Bioquímica Parte I. Cuestionario de Selección Múltiple. Índices de Facilidad (IF) y Discriminación (ID)

Fuente: archivo de exámenes. Departamento de Ciencias Biomédicas. Escuela de Medicina y Ciencias de la Salud, Universidad de Gambia.

DISCUSIÓN

Al aplicarse índices, de cálculo relativamente sencillo, a las preguntas de selección múltiple de complemento simple de los exámenes profesionales parte I de la disciplina Bioquímica, se pudo contar con elementos adicionales para realizar un análisis de la calidad y justeza de los temarios y su perfeccionamiento continuo. Los dos índices se complementan, uno pretende medir el grado de facilidad o complejidad de la pregunta, y el segundo si la pregunta es capaz de discriminar entre estudiantes de mayor rendimiento y los de menor aprovechamiento.^2-4

Luego de obtener los resultados de estos índices del cuestionario de preguntas de selección múltiple de complemento simple aplicado en los exámenes profesionales parte 1 en el curso 2005/2006, el profesor de la disciplina y el Jefe del Departamento, también profesor de Bioquímica, realizaron una revisión profunda de la redacción de cada pregunta, del tallo o encabezamiento y de las cinco opciones, fundamentalmente de las preguntas con problemas de acuerdo a los índices aplicados y teniendo en cuenta las orientaciones, consejos y experiencias al respecto en diferentes universidades y organizaciones de la educación superior en países angloparlantes.^5-8

Como consecuencia, la mayoría de las preguntas con problemas fueron eliminadas del banco de preguntas de la disciplina o sufrieron cambios importantes en su redacción. Esta experiencia se tuvo en cuenta al confeccionar el cuestionario de preguntas de selección múltiple de complemento simple para los siguientes exámenes profesionales (Cursos 2006/2007), lo cual puede haber repercutido en que los resultados del análisis post test en esa ocasión fueran mejores.

El análisis estadístico, mediante los índices de facilidad y de discriminación, de los cuestionarios de preguntas de selección múltiple de complemento simple, fue aplicado a los instrumentos evaluativos de la disciplina Bioquímica en los exámenes profesionales de estudiantes de medicina en la Escuela de Medicina de Gambia. Se ratifica su utilidad y facilidad de su aplicación, como parte del análisis necesario para garantizar la calidad y justeza de la evaluación de los estudiantes que debe determinar el pase de los mismos a las siguientes etapas del programa de formación.

REFERENCIAS BIBLIOGRÁFICAS