Calidad del examen final teórico de Morfofisiología Humana I en la Facultad de Ciencias Médicas de Matanzas. Cursos 2012-2013 y 2013-2014

Quality of the final theoretical test of Human Morphology I in the Faculty of Medical Sciences of Matanzaz. School years 2012-2013 and 2013-2014

Dra. María Elena Blanco Pereira, Lic. Liurdys Martínez, Lic. Alcides González Gil, Dra. Marena Jordán Padrón

Universidad de Ciencias Médicas de Matanzas. Matanzas, Cuba.

RESUMEN

Introducción: el sistema de evaluación debe ser lo más sólido posible y se impone que los instrumentos que se empleen tengan la calidad requerida y se pongan a prueba.
Objetivo: evaluar la calidad de los exámenes finales teóricos de la asignatura Morfofisiología Humana I, de la carrera de Medicina, en la Facultad de Ciencias Médicas de Matanzas, cursos 2012-2013 y 2013-2014.
Métodos: se realizó un estudio de investigación en el marco de la educación médica, para describir la estructura de dichos instrumentos evaluativos y los resultados alcanzados por los estudiantes, así como para calcular el índice de dificultad y coeficiente de discriminación al universo de exámenes que se aplicaron en la asignatura y a cada una de sus preguntas.
Resultados: el examen aplicado en ambos cursos presentó una discriminación adecuada, y la dificultad fue media y medianamente fácil, respectivamente. Se recomendó la reelaboración de determinadas preguntas e ítems, para alcanzar índice de dificultad media.

Palabras clave: dificultad, discriminación, exámenes escritos.

ABSTRACT

Background: the evaluation system should be as solid as possible and it is necessary that the used tools have the required quality and have been proved.
Aim: to assess the quality of the final theoretical tests of the matter Human Morphophysiology I, of the Medicine specialty, in the Medical Sciences Faculty of Matanzas, during the 2012-2013 and 2013-2014 school years.  ]]> Methods: a research in the branch of the medical education was carried out to describe the structure of the evaluative tools and the results achieved by the students, and also to calculate the difficulty index and the discrimination coefficient in the universe of that matter tests applied to students and each of their questions.
Outcomes: the tests applied in both school years showed an adequate discrimination, and the difficulty was average and standarly easy, respectively. We recommended the re-elaboration of several questions and items to reach the average difficulty.

Key words: difficulty, discrimination, written tests.

INTRODUCCIÓN

El proceso de enseñanza aprendizaje (PEA) está constituido por componentes personales (profesor y estudiantes) e impersonales (objetivos, contenidos, métodos, formas, medios y evaluación).⁽¹⁾ La evaluación es uno de los aspectos más polémicos y de mayor interés en la práctica pedagógica, a la vez que desempeña una función importante para mejorar la enseñanza; al controlar continuamente, hace posible detectar sus aciertos y sus errores.⁽²⁾

Esta categoría del PEA en la educación médica superior cubana permite el control y la valoración de los conocimientos, habilidades, hábitos y modos de actuación que los estudiantes van adquiriendo sobre los objetivos de cada disciplina, asignatura, estancia o rotación en particular, y del plan de estudio a través del proceso docente educativo, y constituye un elemento de retroalimentación del proceso en general. Para que la evaluación sea eficaz, tiene que estar vinculada con la competencia de los profesores, los métodos y medios empleados, así como de la calidad del currículo.^(3-5)

Evaluar es una acción eminentemente humana donde está presente, en algún grado, el subjetivismo de los implicados, por lo tanto, es un proceso difícil.^(2,6) Es necesario que el sistema de evaluación sea lo más sólido posible, se impone que los instrumentos que se empleen tengan la calidad requerida y se pongan a prueba. Al fortalecerse la evaluación, mejora el desenvolvimiento de los estudiantes y profesores, se logra una mejor retención escolar y, sobre todo, garantiza graduar médicos que respondan con pertinencia a las necesidades de salud del entorno social donde se desempeñarán.⁽⁷⁾

Una vez concluida la confección de un instrumento evaluativo, se presenta el problema de determinar en qué medida la información obtenida a través de su aplicación refleja el nivel de competencia del examinado.⁽⁸⁾ Dentro de los indicadores de calidad de los exámenes escritos que con mayor frecuencia se trabajan están la validez, confiabilidad, discriminación y dificultad;^(9-11) los dos últimos fueron los trabajados en este estudio.

A partir de estas premisas, el problema científico de esta investigación es que no se cuenta con una estimación científica sobre la calidad de los exámenes finales teóricos de la asignatura Morfofisiología Humana I, de la carrera de Medicina, en la Facultad de Ciencias Médicas “Juan Guiteras Gener”, de Matanzas, durante los cursos 2012-2013 y 2013-2014.

El objetivo general que se persiguió fue evaluar la calidad de los exámenes finales teóricos de la asignatura Morfofisiología Humana I, de la carrera de Medicina, en la Facultad de Ciencias Médicas de Matanzas, durante los cursos 2012-2013 y 2013-2014. Por su parte, los específicos fueron: describir la estructura de los exámenes aplicados y los resultados alcanzados por los estudiantes, y determinar la dificultad y la discriminación de dichos exámenes en los cursos académicos declarados.

MATERIALES Y MÉTODOS

Se realizó un estudio de investigación en el marco de la educación médica, para describir la estructura de los exámenes finales teóricos de la asignatura Morfofisiología Humana I, en la Facultad de Ciencias Médicas de Matanzas, cursos 2012-2013 y 2013-2014, los resultados alcanzados por los estudiantes, así como para determinar el nivel de dificultad y el poder de discriminación de los mismos.

El universo de estudio estuvo integrado por los exámenes aplicados a todos los estudiantes que tenían derecho al examen teórico.

Los métodos teóricos empleados fueron: analítico sintético, inductivo deductivo, tránsito de lo abstracto a lo concreto, histórico lógico y enfoque en sistema.

Los métodos empíricos fueron la revisión documental y bibliográfica, así como el interrogatorio a expertos, para describir los exámenes en cuanto a contenido evaluado y tipo de preguntas utilizadas.

Los métodos estadísticos se utilizaron para realizar la identificación del poder de discriminación y el nivel de dificultad cada pregunta y del instrumento como un todo.

Se tuvo en cuenta que:

Nivel de dificultad: es la proporción de personas que responden correctamente dentro del total de examinados. Se expresa como índice de dificultad (p) y de acuerdo con el criterio de diferentes fuentes consultadas debe estar cercano a una proporción de 0,5-0,6.^(2,14)

Se calcula con la siguiente fórmula:

p =  Índice de dificultad de la pregunta
A = Número de aciertos en la pregunta
N = Número de aciertos más el número de errores en la pregunta

Se distribuyó los valores de p de acuerdo a los parámetros propuestos por Backhoff:⁽²⁾

Altamente difícil: menos de 0,32; medianamente difícil: 0,32-0,52; dificultad media: 0,53-0,73; medianamente fácil: 0,74-0,86; y altamente fácil: más de 0,86.

Poder de discriminación: capacidad del instrumento para distinguir al máximo a los sujetos que tienen un alto dominio de la materia, en relación con aquellos cuyo dominio es bajo o muy bajo. Para su determinación se utilizó el indicador coeficiente de discriminación (r pbis) que se calculó con la siguiente fórmula:^(2,8,14)

_
X₁= media de las puntuaciones totales de aquellos que respondieron correctamente la pregunta.
_
X₀ = media de las puntuaciones totales de aquellos que respondieron incorrectamente las pregunta.
S_x = desviación estándar de las preguntas totales.
n₁ = número de casos que respondieron correctamente la pregunta.
n₀ = número de casos que respondieron incorrectamente la pregunta. ]]> n = n₁+ n₀

Según estándares internacionales, la distribución de los resultados del coeficiente de correlación del punto biserial es:⁽²⁾

rpbis< 0 - preguntas que discriminan negativamente
rpbis= 0-0,14 - preguntas que discriminan pobremente
rpbis= 0,15-0,25 - preguntas que discriminan regular
rpbis= 0,26-0,35 - preguntas con buen poder discriminativo
rpbis> 0,35 - preguntas con excelente poder de discriminación

RESULTADOS
]]> La tabla 1 refleja el número de preguntas de acuerdo a la cantidad de horas por temas del programa de la asignatura Morfofisiología Humana I. Obsérvese que el tema referente a la célula tiene 63 % de horas lectivas, por tanto, el mayor número de preguntas dentro del examen, seguido del tema desarrollo prenatal y por último tejidos básicos.

Tabla 1. Número de preguntas de acuerdo al porcentaje de cada tema

En la cuadro 1 aparecen reflejadas las características del examen escrito aplicado en el curso 2012-2013, el cual estuvo constituido por siete preguntas con 41 ítems, de los diferentes temas de la asignatura Morfofisiología Humana I. En general, contó con 5 ítems de verdadero o falso, 15 de completar espacios en blanco, 11 de ensayo, 5 de pareo y 5 de selección simple. 

En el cuadro 2 aparecen reflejadas las características del examen escrito aplicado en el curso 2013-2014, el cual estuvo constituido por siete preguntas con 52 ítems de los diferentes temas de la asignatura Morfofisiología Humana I. En general, contó con 10 ítems de completar frases, 10 de ensayo, 5 de pareo, 22 de selección múltiple y 5 de selección simple. Para ambos exámenes hubo 100 % de concordancia de criterios entre autores y expertos. 

Cuadro 2 . Caracterización del examen atendiendo a los contenidos explorados y el tipo de pregunta realizada. Curso 2013-2014

La tabla 2 muestra los resultados cualitativos alcanzados en dicho examen, en los cursos 2012-2013 y 2013-2014. Obsérvese que en ambos cursos el mayor porcentaje de los estudiantes aprobados correspondió a la calificación de 3, para un porcentaje de 52,17 y 69, respectivamente, alcanzándose una promoción de 65,21 % en el 2012-2013 y 78,29 % en el 2013-2014. Pocos exámenes fueron calificados de 4 y 5, por lo que la calidad fue pobre, de forma general. 

Tabla 2. Resultados cualitativos alcanzados en el examen de Morfofisiología Humana I

Fuente: Secretaría Docente. Facultad de Ciencias Médicas de Matanzas.

La tabla 3 presenta la dificultad calculada a cada pregunta del examen y al mismo como un todo, en ambos cursos académicos. Obsérvese que el promedio general de dificultad del examen fue de 0,65 y 0,78, para todos los estudiantes analizados en este estudio, clasificándose como un examen de dificultad media y medianamente fácil, respectivamente, resultando las preguntas de mayor dificultad la dos y la tres con p=0,31 y p=0,30 el curso 2012-2013, así como la cuatro con p=0,19 el curso 2013-2014. En este último curso la pregunta seis, por el contrario, resultó ser la más fácil con un valor de p=0,89, clasificándose como altamente fácil. 

Tabla 3. Dificultad calculada a las preguntas del examen de Morfofisiología Humana I

La tabla 4 muestra el coeficiente de discriminación calculado para cada pregunta y para el examen general. En el examen del curso 2012-2013, excepto las preguntas 3 y 4, con pobre y buena discriminación, respectivamente, todas alcanzaron valores por encima de 0,35, lo cual permitió clasificar al examen como de excelente poder de discriminación. El examen del curso 2013-2014, todas las preguntas y el examen tuvieron excelente discriminación. 

Tabla 4. Coeficiente de discriminación calculado a las preguntas del instrumento evaluativo del examen Morfofisiología Humana I

DISCUSIÓN

Como pudo observarse el promedio general de dificultad de los exámenes analizados fue de 0,65 y 0,78, para los 230 y 281 estudiantes analizados en este estudio, clasificándose como un examen de dificultad media y medianamente fácil respectivamente. Según Backhoff E el nivel medio de dificultad del examen debe oscilar entre 0,5 y 0,6.⁽²⁾

Carrazana Lee A y Córica JL,^(2,11) plantean que un examen que posea dificultad media, es superior en confiabilidad de resultados, a aquellos exámenes que tengan mucha dificultad o los que resultan muy fáciles, pues dan una mayor información sobre los estudiantes que tienen dominio del contenido evaluado de aquellos que no lo tienen. Es decir, exámenes muy fáciles o muy difíciles dan poco margen de discriminación, debido a que los estudiantes son igualados, en un examen muy fácil la mayoría tiene altos resultados, en un examen muy difícil la mayoría tiene muy bajos resultados.

Por su parte, la discriminación de una prueba y un ítem miden la misma habilidad, se puede esperar que quien tuvo una puntuación alta en todo el test deberá tener altas probabilidades de contestar correctamente el ítem. También se debe esperar lo contrario, es decir, que quien tuvo bajas puntuaciones en el test, deberá tener pocas probabilidades de contestar correctamente el reactivo. Así, un buen ítem debe discriminar entre aquellos que obtuvieron buenas calificaciones en la prueba y aquellos que obtuvieron bajas calificaciones.^(2,8)

De esta manera, puede resultar contradictoria la excelente discriminación del examen del curso 2013-2014, en correspondencia a lo establecido en estándares internacionales,⁽²⁾ cuando la dificultad de la gran mayoría de las preguntas y del examen no alcanzó la condición de media, pero, si bien la mayoría de los estudiantes aprobaron sin dificultad dichas preguntas, la calidad de la calificación fue pobre.

Los autores consideran que sería importante trabajar para lograr el diseño de exámenes que alcancen la dificultad media, aunque de acuerdo a la literatura consultada,^(2,14) como promedio un examen debe estar en un rango de dificultad que oscile entre dificultad media y medianamente fácil, valores alcanzados en el presente estudio para el examen como un todo.

Se concluye que los exámenes aplicados en la asignatura Morfofisiología Humana I, en la Facultad de Ciencias Médicas de Matanzas, en los cursos 2012-2013 y 2013-2014, presentaron una calidad aceptable; no obstante, determinadas preguntas e ítems deben ser reelaborados, para alcanzar dificultad media.

1- Rivera Michelena N. Proceso enseñanza aprendizaje: Lecturas seleccionadas [CD-ROM]. Material de estudio de la Maestría de Educación Médica. La Habana; 2002.

2- Carrazana Lee A, Salas Perea RS, Ruiz Salvado AK. Nivel de dificultad y poder de discriminación del examen diagnóstico de la asignatura Morfofisiología Humana I. Educ Med Super [Internet]. 2011 [citado 23 Mar 2014]. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412011000100010&lng=es&nrm=iso&tlng=es

3- Nolla-Domenjó M. La evaluación en educación médica. Principios básicos. Educ Med [Internet]. 2009 [citado 28 Feb 2014];12(4):223-9. Disponible en: http://scielo.isciii.es/pdf/edu/v12n4/revision.pdf

4- Ministerio de Educación Superior. Reglamento trabajo docente y metodológico. Resolución Ministerial no 210/2007. La Habana: MES; 2007.

5- Pérez Espinosa LM. Comportamiento de los resultados del examen de competencia de Medicina General Integral [tesis para optar por el título de Máster en Educación Médica Superior]. La Habana: ENSAP; 2003.

6- Borroto Cruz R, Aneiros-Riba R, Báez Martínez JM. La evaluación externa de la competencia clínica en el contexto de la educación en ciencias de la salud [CD-ROM]. La Habana: ENSAP; 2005.

7-Suárez Surí G, González de la Nuez O. Taller sobre el diseño del sistema de evaluación de la asignatura. Curso Precongreso Universidad 2012.

8-Rosales FA. Capacidad de discriminación de las preguntas de un examen escrito Rev Agron Noroeste Argentino. 2014;34(2):94-96.

9-Marín Hernández D. Estructura y valoración de la calidad del examen final de Morfofisiología Humana I en el Estado Táchira. Curso 2005-2006 [tesis]. La Habana: ENSAP; 2007.

10- Díaz Roig I, González de la Cruz V, Ramírez Cruz C. El examen estatal escrito en la especialidad de medicina general integral. Rev Cubana Med Gen Integr [Internet]. 1998 [citado 23 Mar 2014];14(6). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21251998000600010&lng=en&nrm=iso&ignore=.html

11- Córica JL, Hernández Aguilar ML, Holloway Creed J, Dimos C. Propuesta de indicadores de calidad para la evaluación de la calidad de las preguntas en los exámenes de opción múltiple. IV Congreso Internacional Virtual de Educación a Distancia CIVE [Internet]. 2004 [citado 28 Feb 2014]. Disponible en: http://www.ateneonline.net/datos/91_03%20PONENCIA%20CORICA-HERNANDEZ-HOLLOWAY-DIMOU.pdf

12- Méndez Alcolea N, López Melis Y, Vallejo Santiago I, Vallejo Portuondo G. Impacto de los instrumentos evaluativos en el nuevo modelo de formación en la asignatura Morfofisiología. Medisan [Internet]. 2010 [citado 28 Feb 2014];14(1). Disponible en: http://scielo.sld.cu/scielo.php?pid=S1029-30192010000100004&script=sci_arttext&tlng=en

13-Vicedo Tomey A. La integración de conocimientos en la educación médica. EducMedSuper [Internet]. 2009 Dic [citado 17 Oct 2014]; 23(4):226-37. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412009000400008&lng=es

14- Backhoff E, Larrazolo N, Rosas M. Nivel de dificultad y poder de discriminación del Examen de Habilidades y conocimientos Básicos (EXHCOBA). Rev Electrónica de investigación Educativa [Internet]. 2000 [citado 22 May 2014];2(1). Disponible en: http://redie.uabc.mx/contenido/vol2no1/contenido-backhoff.pdf

Recibido: 27 de octubre de 2014.
Aceptado: 11 de febrero de 2015.

Dra. María Elena Blanco Pereira. Universidad de Ciencias Médicas de Matanzas. Carretera Central, Km 102. Matanzas, Cuba. Correo electrónico: marenaj.mtz@infomed.sld.cu