ARTÍCULO ORIGINAL
Índice de Dificultad del examen de Morfofisiología Humana I
The difficulty index of Human Morphophysiology I exam
Eiglys Argudín Somonte,I Pedro Díaz Rojas,II Elizabeth Leyva SánchezIII
]]>
IMáster en Educación Médica. Especialista de I Grado en Medicina General Integral. Especialista de I Grado en Higiene y epidemiología. Instructora. Facultad Ciencias Médicas de La Habana. La Habana, Cuba.
RESUMEN
Se realizó una investigación con el objetivo de caracterizar el examen ordinario de Morfofisiología Humana I aplicado durante el curso 2005-2006 del Programa Nacional de Formación de Medicina Integral Comunitaria. Se realizó una entrevista al grupo de expertos para clasificar las preguntas e incisos del examen de acuerdo al área de las ciencias básicas biomédicas que exploran, los contenidos temáticos explorados y el tipo de pregunta utilizada, esto permitió valorar el comportamiento del índice de dificultad. Se realizó la técnica grupo focal a los expertos para conocer su opinión acerca de los resultados obtenidos del análisis. Como resultado se encontró que la dificultad de las preguntas e incisos estuvo dada por la complejidad de los temas explorados, la forma en que fueron redactadas, el tipo de inciso utilizado y el número de áreas que fueron representadas en cada inciso. En el examen las preguntas e incisos que exploraran mayor número de áreas de las ciencias y su diseño corresponde al tipo de selección múltiple, presentaron mayor dificultad.
Palabras clave: Programa Nacional de Medicina Integral Comunitaria, evaluación, Morfofisiología Humana I.
]]>
ABSTRACTA research was done with the objective of characterizing the written exams of the discipline Human Morphophysiology for the first cohort of students of the National Program of Comprehensive Community Medicine in the teaching course 2005-2006. A group of experts was interviewed to classify the questions and items of the exams according to the area of the biomedical basic sciences they explored and the types of questions that were used. This process allowed the assessment of the difficulty index behavior. A technique of focal group with experts was used to know their opinion about the results obtained from the analysis. The results showed that the difficulty of the questions and items was due to the complexity of the themes dealt with, the way they were written, the kind of items used and the number of knowledge areas explored in each item. In the exam, the questions and items that explored the greatest number of science areas were of the multiple choice kind and showed the greatest degree of difficulty.
Key words: National Program of Comprehensive Community Medicine, assessment, Human Morphophysiology I.
INTRODUCCIÓN
La función principal de un instrumento evaluativo de medición, cuando se crea como medida para inferir las capacidades de las personas, es ofrecer información para la correcta toma de decisiones.1,2 Como parte de la investigación en evaluación está el análisis de los resultados de los instrumentos de evaluación a partir de un conjunto de indicadores.
Después de 1 año de iniciado el Programa Nacional de Formación de Medicina Integral Comunitaria,3 el análisis de los resultados de sus exámenes se ha basado fundamentalmente en la promoción, la tabulación de errores y la calidad de las calificaciones. Hasta el momento no se han realizado estudios que caractericen los exámenes de las diferentes unidades curriculares. Conocer estas características permitirá perfeccionar el trabajo docente metodológico en el programa.
En la presente investigación se realiza una caracterización científica del examen de la unidad curricular Morfofisiología Humana I aplicado durante el 1er año de la carrera, con el objetivo de valorar el comportamiento del índice de dificultad para el examen, preguntas, incisos, las áreas de las ciencias básicas exploradas en el examen y el tipo de preguntas utilizadas.
]]>
MÉTODOSSe realizó una investigación en el campo de la evaluación cuyo objeto de análisis fue el examen final de Morfofisiología Humana I de los estudiantes del Programa Nacional de Formación de Medicina Integral Comunitaria, en la República Bolivariana de Venezuela, curso 2005-2006.
El universo estuvo constituido por los resultados del examen ordinario de Morfofisiología Humana I de los estudiantes de la primera cohorte.
Se realizó una entrevista (anexo 1) a siete profesores especialistas en las Ciencias Básicas Biomédicas, integrantes del equipo de diseño de la disciplina Morfofisiología Humana, los que además participaron en un grupo focal (anexo 2).
Se utilizaron como datos primarios los resultados de los informes de promoción y errores por incisos y preguntas del examen ordinario de Morfofisiología Humana I.
Se clasificaron las preguntas e incisos del examen según las áreas de las ciencias que exploran, la forma en que fueron elaborados, y el contenido temático.
A partir de los datos primarios del informe estadístico nacional de los resultados de los exámenes ordinarios se procedió al cálculo del índice de dificultad para cada inciso, pregunta y el examen a través de la siguiente fórmula 1.3
Donde:
p= índice de dificultad de la pregunta ]]>
A= número de aciertos en la preguntaN= número de aciertos más el número de errores en la pregunta.
La determinación de los intervalos para la clasificación de los incisos se realizó sobre la base del consenso del grupo de expertos que elaboró el examen, se definieron los intervalos según la proporción de estudiantes aprobados en ellos, se estableció que los incisos que tuvieron una proporción de aprobados:
- Menor de 0,40 se consideran difíciles.
- Entre 0,41 y 0,50 se consideran medianamente difíciles.
- Entre 0,51 y 0,80 se consideran de dificultad media.
- Entre 0,81 y 0,90 se consideran medianamente fáciles.
- Entre 0,91 y 1 se consideran fáciles.
Ello nos permite determinar la clasificación de los incisos atendiendo a la dificultad real presentada en el instrumento de evaluación.
El índice de dificultad pronóstico se determinó partiendo del estándar propuesto por Backhoff4 para el análisis de dificultad en instrumentos de evaluación, el que establece que dichos instrumentos deben tener un: ]]>
5 % de incisos fáciles.20 % de incisos medianamente fáciles.
50 % de incisos de dificultad media.
20 % de incisos medianamente difíciles.
5 % de incisos difíciles.
A partir de esta distribución se clasifican y tabulan el total de incisos del examen, o sea, cómo debió comportarse la distribución de incisos en el examen según su índice de dificultad por el estándar de Backhoff.
El índice de dificultad refleja la cantidad de aciertos de los estudiantes en un instrumento de evaluación, y se define su interpretación que cuanto mayor sea esta proporción, menor será la dificultad del instrumento. Lo que quiere decir que se trata de una relación inversa: a mayor dificultad del ítem, menor será su índice.
Para calcular el índice de dificultad del tipo de pregunta y de las áreas de las ciencias exploradas en el examen y establecer la relación entre ambos indicadores se utilizó la siguiente fórmula 2:
Donde: ]]>
Dt = Índice de dificultad de la temática.At = Número de respuestas correctas de los incisos de la temática.
nt = Número de incisos de la temática.
Nt = Número total de presentados en el examen.
Se utilizaron la prueba no paramétrica de rangos de Wilcoxon y la correlación de rangos de Sperman´s para determinar la correspondencia entre lo esperado y lo obtenido.
RESULTADOS
Los resultados de la entrevista a los expertos permitieron clasificar los incisos de las preguntas del examen según el contenido temático del plan calendario que sondeó los contenidos de las áreas de las ciencias básicas biomédicas que fueron explorados (anatomía, histología, fisiología, embriología, bioquímica) y la forma en que fueron elaboradas las preguntas: selección múltiple (SM), respuesta alternativa (RA) y pareamiento (PAR).
]]>
Índice de dificultad para el examenEl índice de dificultad para el examen fue de 0,81. La pregunta 5 del examen alcanzó un índice de dificultad de 0,67 que la clasificó en el rango de dificultad media, las preguntas 3, 4 y 2 con 0,99, 0,97 y 0,93 respectivamente clasificaron en el rango de preguntas fáciles. Mientras que la pregunta 1 con un índice de 0,86 se clasificó en medianamente fácil. No existieron en el examen preguntas medianamente difíciles y difíciles (tabla 1).
Al clasificar y agrupar los incisos de acuerdo a su índice de dificultad según la escala establecida por criterio de expertos, se obtuvo los resultados que se observan en la tabla 2.
Índice de dificultad para áreas de las ciencias
La figura muestra el índice dificultad media para los incisos que exploran las diferentes áreas de las ciencias básicas para cada una de las preguntas del examen.
]]>
Índice de dificultad para el tipo de preguntaLa tabla 3 muestra la dificultad media para cada tipo de incisos y área de las ciencias del examen.
DISCUSIÓN
El índice de dificultad general del examen alcanzó el valor de 0,81, considerado como medianamente fácil (tabla 1). La pregunta 5 alcanzó la mayor dificultad, conformada por contenidos de 4 de las 5 áreas de las ciencias, en especial en el sistema osteomioarticular, ello explica la complejidad para la integración multidisciplinaria por parte del estudiante, criterio de los expertos con el cual coincidimos los autores.
Según el criterio de varios autores4-8 el nivel medio de dificultad de un examen debe oscilar entre el 50 y 60 %. Para este examen la dificultad media solo alcanzó valores del 21 %, considerándose un examen fácil, como puede apreciarse en la tabla 2.
Predominó más del 75 % de los incisos entre las categorías medianamente fáciles y fáciles. La categoría medianamente fácil es la que mostró una mejor aproximación entre el valor pronóstico y el observado. No existió correspondencia entre los valores pronóstico y observados que se corroboró con la aplicación de la prueba no paramétrica de rangos de Wilcoxon (T= 29, p > 0,10) y la correlación de rangos de Spearman´s (R = 0,20 IC 95 %: 0,82 a 0,91). ]]>
El grupo focal planteó que el examen de Morfofisiología Humana I constituyó la primera experiencia de evaluación de los expertos, los contenidos se exploraron de forma generalizada, faltó profundidad en la elaboración de las preguntas y esta pudo ser la causa del predominio de incisos que clasificaron en las categorías medianamente fáciles y fáciles.Al analizar la dificultad por las áreas de las ciencias se encontró (figura), que la fisiología alcanzó el valor más bajo del índice de dificultad en el examen (0,69). Según criterios del grupo focal los incisos que exploraron los contenidos de fisiología aportaron mayor dificultad porque fueron incisos de aplicación y análisis donde el estudiante a la hora de emitir una respuesta debe hacer un proceso de razonamiento. La autora considera además que este resultado puede tener relación con la profundidad en la que fueron abordados estos contenidos en la asignatura, la preparación de los profesores para impartirlos y la preparación de los estudiantes para responder preguntas que requieran mayor razonamiento.
Por otra parte Bioquímica obtuvo el valor más alto del índice de dificultad (0,97). El grupo focal consideró que los contenidos de bioquímica estuvieron representados en el examen, de hecho fue el área de las ciencias más explorada, pero se confeccionaron incisos muy fáciles y con poca profundidad, no exigieron de un razonamiento en el estudiante para ser respondidas.
En relación con el tipo de pregunta (tabla 3), se aprecia que los incisos e ítems del tipo selección múltiple alcanzaron valores más bajos del índice de dificultad, que los de respuesta alternativa y pareamiento, fueron las áreas de anatomía y fisiología las que menor valor del índice de dificultad aportaron.
Coincidimos con el criterio del grupo focal, que los incisos de selección múltiple permiten explorar mayor número de contenidos de las diferentes áreas de las ciencias y son de menos complejidad para ser respondidas por estudiantes de 1er. año de la carrera, pero se considera que para aplicar un instrumento del tipo test objetivo donde predominen este tipo de preguntas e incisos, es necesario realizar el entrenamiento previo, de estudiantes y profesores, en especial en el manejo adecuado de los recursos de aprendizaje para el estudio independiente.
Se concluye que se valoró el comportamiento del índice de dificultad para el examen, preguntas, incisos, las áreas de las ciencias básicas exploradas en el examen y el tipo de preguntas utilizadas. La dificultad guardó relación con el número de áreas de las ciencias básicas biomédicas exploradas en los incisos o preguntas y el tipo de pregunta utilizada.
Entrevista a expertos
Estimado profesor: ]]>
La presente entrevista se realiza como parte del desarrollo de una investigación en el campo de la evaluación.Recabamos de usted su sincera opinión en relación con las preguntas que les realizamos.
Su opinión será importante para mejorar el trabajo docente metodológico de los profesores que imparten las diferentes asignaturas de la disciplina Morfofisiología Humana y los equipos de diseño y contribuir de esta manera al perfeccionamiento del programa de estudio en función de elevar los niveles de competencia y desempeño de los futuros egresados.
Guía de la entrevista
¿Qué área de las ciencias están exploradas en cada uno de los incisos del examen?
¿Qué tipo de pregunta fue el utilizado en la confección de cada inciso del examen?
¿Qué contenidos temáticos de la asignatura fueron explorados en cada inciso del examen?
Atendiendo a la dificultad de los incisos y preguntas de los exámenes de Morfosisiolgía Humana I, a su juicio cómo deben tomarse en consideración los resultados porcentuales de promoción para ser clasificados en: difíciles, medianamente difíciles, dificultad media, medianamente fáciles y fáciles.
]]>
Anexo 2Grupo focal
Objetivo: Conocer la opinión de los expertos en relación con los resultados del análisis del examen de Morfofisiología Humana I.
Guía para la discusión:
-Dificultad
Índice de dificultad: proporción de estudiantes que responden correctamente un inciso de un examen. Cuanto mayor sea esta proporción, menor será su dificultad. Lo que quiere decir que se trata de una relación inversa: a mayor dificultad del ítem, menor será su índice.
Para las preguntas e incisos:
- Dificultad alcanzada por las preguntas del examen.
- ¿Qué pudo influir para que una pregunta alcanzara mayor o menor dificultad? ]]>
- Dificultad alcanzada por los incisos del examen.- ¿Qué pudo influir para que un inciso alcanzara mayor o menor dificultad?
- ¿Qué pudo influir en el comportamiento de la distribución de los valores esperados y reales del índice de dificultad para los incisos?
Para el área de las ciencias básicas biomédicas:
- ¿Consideran que la representación de las diferentes áreas de las ciencias en el examen es adecuada?
- ¿Qué pudo influir en que un área de las ciencias estuviera más o menos representada en el examen?
- Opinión sobre el índice de dificultad alcanzado por cada área de las ciencias.
- ¿Qué pudo influir en el comportamiento del índice de dificultad alcanzado para cada área de la ciencias?
]]>
Para el tipo de preguntas:- ¿Considera que el formato de las preguntas utilizado está acorde con el examen?
- ¿Qué elementos pudieron influir en la confección de las preguntas?
- ¿La representación de los diferentes tipos de preguntas en el examen es adecuada?
- ¿Qué pudo influir en los resultados del índice de dificultad alcanzado para cada tipo de pregunta?
REFERENCIAS BIBILOGRÁFICAS
1. Salas Perea RS. La evaluación en la educación superior contemporánea. Biblioteca de medicina Volumen XXVI, 1998. Educación en salud. Competencia y desempeño. La Habana: Editorial Ciencias Médicas; 1999. En [CD-ROM] Maestría Educación Médica. ENSAP; 2005.
2. Ministerio de Salud Pública. CENAPEM. Carpeta No.2. La calidad de los instrumentos evaluativos. La Habana: MINSAP; 1997.
3. Ministerio del Poder Popular para la Educación Superior. Documentos de trabajo del Programa Nacional de Medicina integral Comunitaria; La Habana: Ministerio de Educación Superior; 2005.
4. Backhoff E, Larrazolo N, Roses M. Nivel de dificultad y poder de discriminación del Examen de Habilidades y Conocimientos Básicos (EXHCOBA). Revista Electrónica de Investigación Educativa [serie en Internet]. 2000 [citado 26 Abr 2007];2(1). Disponible en: http://redie.uabc.mx/vol2no1/contenido-contenido.html
5. Propuesta de indicadores para la evaluación de la calidad de las preguntas en los exámenes de opción múltiple. Presentación: Latin Educa 2004.com. Primer congreso virtual latinoamericano de Educación a distancia. 23 marzo - 4 abril 2004. [citado 20 Feb 2008]. Disponible en: http://www.ateneonline.net/datos/91_03%20PONENCIA%20CORICA-HERNANDEZ-HOLLOWAY-DIMOU.pdf
6. Estrategias, técnicas e instrumentos de evaluación. [citado 26 Feb 2007]. Disponible en: http://www.slideshare.net/jquintana/estrategias-y-tecnicas
7. Sistema de evaluación. La evaluación del aprendizaje de los estudiantes. [citado 26 Abr 2007]. Disponible en: http://www.med-ab.uclm.es/publico/docencia/evaluacion.htm
8. Diamant AE. Ministerio de Cultura y Educación. República Argentina. Propuesta para un análisis comparativo de instrumentos de evaluación de logros académicos. [citado 20 ene 2008]. Disponible en: http://www.bnm.me.gov.ar/cgibin/wxis.exe/opac/?IsisScript=opac/opac.xis&dbn=CEDOC&src=link&tb=tem&query=
CALIDAD%20DE%20LA%20EDUCACION&cantidad=&formato=&sala=
Recibido: 10 de enero de 2011.
Aprobado: 25 de enero de 2011. ]]>
Dra. Eiglys Argudín Somonte. Facultad Ciencias Médicas de La Habana. La Habana, Cuba.
Autor para la correspondencia: Dr. Pedro A. Díaz Rojas. Correo electrónico: pdiaz@infomed.sld.cu ]]>
