Servicios personalizados
Español (pdf)
Articulo en XML
Referencias del artículo
Enviar articulo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
INTRODUCCIÓN
La evaluación es el proceso que consiste en el análisis y la interpretación de los resultados de las medidas aplicadas con la finalidad de tomar las mejores decisiones posibles. Ha sido reportado por la bibliografía consultada que uno de los factores que influye en la elección del estudiante para enfocarse en el estudio es la forma en que la evaluación es conducida.1
Las tendencias contemporáneas de la educación médica superior, los avances científicos, los cambios en la concepción de la formación de los futuros profesionales, así como la masividad de las matrículas en las universidades de ciencias médicas, han influido en los instrumentos evaluativos al buscar la calidad y el desarrollo de nuevos métodos de evaluación de mayor validez y fiabilidad.2 Hoy se acude a las preguntas de respuestas cortas como principal vía de evaluación de los estudiantes en el ciclo básico de las carreras médicas.
En el proceso de acreditación al cual se enfrentan las universidades médicas en todo el mundo, los actores se preocupan por analizar la calidad de los instrumentos evaluativos aplicados. En Cuba se comenzó a aplicar un nuevo plan de estudios en el curso 2016-2017. Las bases teórico-metodológicas del perfeccionamiento del currículo en la carrera de Medicina sustentan hoy la puesta en marcha del Plan D.3 Una de las principales transformaciones a lograr con el nuevo diseño es la evaluación del aprendizaje y se otorga la prioridad que deben tener las evaluaciones frecuentes.4
El progresivo aumento de matrícula y la disminución experimentada en los resultados obtenidos en las evaluaciones de los estudiantes en estas asignaturas, ha motivado la revisión por parte del claustro de profesores de todo el proceso, y específicamente de los métodos e instrumentos de evaluación buscando vías para mejorar y optimizar los recursos. Entre los retos actuales está lograr una correcta integración de los contenidos de las ciencias básicas biomédicas entre sí y poner de manifiesto la utilidad de estos conocimientos para el razonamiento clínico posterior.5
La enseñanza de la Anatomía Humana tiene particularidades que requieren ser valoradas adecuadamente. Numerosos trabajos se refieren a la forma de evaluación del aprendizaje en esta ciencia, donde no debe faltar la actividad práctica. Sin embargo, cuando se realizan evaluaciones teóricas son las pruebas objetivas las más difundidas y de mejores resultados, criterio al que se suman los autores.6,7,8
Un inciso de respuesta corta bien elaborado es capaz de medir habilidades como la comparación, la explicación y la interpretación.9 Son fiables, válidos y de bajo costo lo que les permite ser factibles para su aplicación. Dentro de sus exigencias de calidad está mostrar una adecuada validez, dificultad y discriminación, medidas a partir de análisis estadístico de sus resultados.
El sistema de evaluación debe ser lo más sólido posible. La utilidad de un instrumento evaluativo radica fundamentalmente en su potencialidad para poner de manifiesto aquello que se pretende evaluar y en su posibilidad real de ser bien utilizado, es decir, su utilidad y factibilidad. Se impone entonces que los instrumentos que se empleen tengan la calidad requerida y se pongan a prueba.
A partir de estos postulados, el problema científico de este trabajo es que no existe una valoración científica sobre la calidad del examen final teórico aplicado en la asignatura. Por estas razones los autores se propusieron realizar esta investigación con el objetivo de analizar la calidad de los incisos de Anatomía del examen ordinario de Sistema Nervioso Endocrino y Reproductor, en la Universidad de Ciencias Médicas de Matanzas, curso 2016-2017.
MÉTODOS
Se realizó un estudio de evaluación en el campo del proceso enseñanza aprendizaje, en el marco de la educación médica. El universo de estudio estuvo integrado por un total de 513 exámenes ordinarios de la asignatura Sistema Nervioso Endocrino y Reproductor, de la Universidad de Ciencias Médicas de Matanzas, curso 2016-2017.
El método general del conocimiento que se ha seguido para esta investigación es el dialéctico-materialista. Desde lo teórico, los métodos usados fueron el histórico-lógico, el análisis-síntesis, y la inducción-deducción. En cuanto a los métodos empíricos se realizó una revisión del programa de la asignatura, bibliografía actualizada acerca del tema y el análisis de los instrumentos evaluativos.
Los métodos estadísticos aplicados fueron el cálculo del índice de dificultad y de discriminación de cada pregunta y del examen en general. Para el análisis del nivel de dificultad se utilizó la definición matemática del índice y se calculó con la fórmula siguiente:
p = Índice de dificultad de la pregunta
A = Número de aciertos en la pregunta
N = Número de aciertos más el número de errores en la pregunta
Al tomar en cuenta estos elementos se distribuyeron los valores de p de acuerdo con los parámetros propuestos por Backhoff:10
Altamente difícil: menos de 0,32
Medianamente difícil: 0,32 - 0,52
Dificultad media: 0,53 - 0,73
Medianamente fácil: 0,74 - 0,86
Altamente fácil: más de 0,86
Para el índice de discriminación se tomó el 54 % de los estudiantes evaluados. El índice de discriminación se calculó por la siguiente fórmula:
Di = índice de discriminación de la pregunta.
GA aciertos = número de aciertos en la pregunta del 27 % de estudiantes con las puntuaciones más altas en el examen.
GB aciertos = número de aciertos en la pregunta del 27 % de estudiantes con las puntuaciones más bajas en el examen.
N grupo mayor= número de estudiantes en el grupo más numeroso (GA-GB).
El índice de discriminación se distribuyó según propuesta de Backhoff:10
Excelente: 0,40 o más
Buena: 0,30 - 0,39
Regular: 0,20 - 0,29
Pobre: 0,00 - 0,19
Negativa: menos de 0,00
Los resultados de cada una de los incisos correspondientes se recogieron en tablas, se utilizó el programa estadístico SPSS versión 20.0, el índice de dificultad se calculó a través de su software. Para la presentación de los resultados en tablas se manejaron números enteros, porcentajes e índices. Se realizó el análisis y síntesis de los resultados obtenidos, así como se contrastaron los diferentes aspectos planteados en los materiales revisados con los criterios del autor.
RESULTADOS Y DISCUSIÓN
En la Tabla 1 se muestra la caracterización del examen ordinario de Sistema Nervioso Endocrino y Reproductor por temas y preguntas, con la correspondencia de incisos.
Tabla 1 Caracterización del examen ordinario y distribución del contenido por temas
Fuente: proyecto de examen ordinario.
La Tabla 2 muestra la relación por ciencias del total de horas planificadas en el programa de la asignatura y el porciento de representación en el examen.
Tabla 2 Relación entre horas clases y representación en el examen de las ciencias básicas.
Fuente: programa de la asignatura y proyecto de examen ordinario.
En las Tablas 3, Tabla 4 y Tabla 5 se presentan el índice de dificultad y discriminación de los incisos de Anatomía en el examen ordinario por preguntas. En ellas se observa el índice y el nivel de cada caso, donde se observa la relación entre dificultad fácil y buena discriminación.
Tabla 3 Índice de dificultad y discriminación de los incisos de Anatomía en la pregunta 1.
Fuente: Exámenes ordinarios.
Tabla 4 Índice de dificultad y discriminación de los incisos de Anatomía en la pregunta 2.
Fuente: Exámenes ordinarios
Tabla 5 Índice de dificultad y discriminación de los incisos de Anatomía en las preguntas 4, 5 y 7.
Fuente: exámenes ordinarios.
El análisis de la calidad de los instrumentos evaluativos confeccionados y aplicados mediante el cálculo de variables como la validez, el nivel de dificultad y el de discriminación, es una forma de trabajo metodológico que se debe desarrollar en los colectivos de asignaturas de manera sistemática. En varios trabajos publicados en revistas médicas en los últimos años se reflejan diversos estudios de calidad de los exámenes de las asignaturas pertenecientes a la disciplina Morfofisiología Humana.1,11
En la asignatura Sistema Nervioso, Endocrino y Reproductor, el enfoque integral incluye los puntos de vista embriológicos, histológicos, anatómicos y fisiológicos de estos temas, los cuales están representados en el examen según la tabla de especificación de contenido por horas clase. Con respecto a los temas de Anatomía, las habilidades a desarrollar son identificar y describir, por lo que se ajustan muy bien el uso de preguntas de respuesta corta que fueron las utilizadas en las evaluaciones correspondientes.
Existen factores que influyen en los resultados obtenidos: calidad de la impartición del contenido, el acceso a los materiales de estudio y las condiciones de trabajo en clases prácticas. Estos no fueron considerados en la investigación, no obstante, están presentes al analizar la marcha del proceso enseñanza aprendizaje en toda su magnitud. Algunos investigadores plantean además otros determinantes como la disponibilidad y accesibilidad a los medios de enseñanza apropiados, y por último y no menos importante, la calidad del alumno, criterios a los que se suman los autores.12,13
Existen diferencias en cuanto a las opiniones sobre a la enseñanza de la Anatomía Humana y a la forma de examinar. La percepción de la utilidad de las clases prácticas que tienen los alumnos no limita el beneficio del uso de las preguntas de respuestas cortas. En un buen inciso se puede recoger la habilidad de identificación y descripción de una estructura anatómica observada en las clases evaluadas, además la elección del tipo de pregunta determina también su complejidad.14
Las preguntas basadas en la selección simple, cuando el inciso exige elegir entre cuatro o más alternativas de respuestas, de las cuales una sola es la opción correcta, reducen el porciento de acierto y minimizan la adivinación. Esta forma de construcción es la más utilizada por los especialistas en elaboración de pruebas. Es uno de los tipos de incisos más confiables y que reporta mejores resultados en cuanto a discriminación.6,14,15
Los autores pretenden en este trabajo resaltar, en particular, la elaboración de los incisos y el tipo de pregunta, así como su relación con los resultados alcanzados en los parámetros de calidad analizados. En la pregunta 1 se pudo reconocer la combinación de un inciso de ser fácil, pero bueno o excelente discriminando. En este caso, los estudiantes que respondieron incorrectamente fueron pocos, pero resultaron estar suspensos en el examen, lo que influyó en la discriminación excelente de incisos altamente fáciles.
Es usual reconocer que un inciso difícil es respondido solo por los estudiantes de buen aprovechamiento y por tanto discrimina adecuadamente, sin embargo, incisos altamente fáciles pueden discernir también la calidad de los alumnos. Este resultado se debe a la probabilidad de solo el 20 % de acertar la respuesta de cada inciso, lo que le confiere solidez y confianza a la pregunta 1 del examen.
En el caso de la pregunta 4 se presentaron dos incisos con tres opciones de respuesta cada uno, de las cuales solo una es correcta, disminuyó la probabilidad de acierto al 33,3 %. El nivel de dificultad resultó ser medianamente y altamente difícil, pero con una excelente y buena discriminación respectivamente.
En la elaboración del examen, la razón fundamental para utilizar los incisos del tipo verdadero/falso es que proporcionan una manera simple y directa de medir el resultado esencial. Sin embargo, una de las críticas más serias que se le hacen a este tipo de prueba es el riesgo que tienen de ser respondidas por azar. Los alumnos se presentaron ante la probabilidad del 50 % de responder correctamente en cada inciso. No obstante, si la redacción es correcta y se adecua a los objetivos a evaluar, el resultado puede ser muy bueno. En la pregunta 2 se reflejó un balance adecuado en el nivel de dificultad, variando en la gama que va desde los altamente fáciles a los medianamente difíciles, resultaron ser todos de excelente discriminación.
Analizando los datos obtenidos en cifras, y para ejemplificar la combinación de un inciso fácil de excelente discriminación, en la pregunta 5 el ítem 5.a, de los 513 estudiantes, 485 respondieron correctamente para 94,5 %, y de ellos 421 estudiantes aprobaron el examen para 86,8 %. Por otra parte, de los 28 estudiantes que no acertaron, 17 de ellos suspendieron para 60,7 %. Es posible entonces lograr una elaboración que diferencie en sí misma el rendimiento del estudiante, sin que tenga que ser necesariamente compleja y difícil.
En el caso opuesto, el inciso 4.2 representó una alternativa medianamente difícil e igualmente de excelente discriminación. En este caso solo 262 estudiantes respondieron correctamente para 51 % del total; sin embargo, de ellos 193 aprobaron para 73,7 %. De los 251 alumnos que no acertaron, 176 de ellos suspendieron para 70,1 %. Es de señalar entonces que estas relaciones tienen su reflejo en estadísticas para el análisis de la calidad, y entonces se trabaja con índices de dificultad y discriminación, y muchos otros importantes como la consistencia interna, y diferentes análisis de la validez.
Con respecto al tema del análisis de la calidad de las evaluaciones, diversos autores coinciden en el necesario balance de la dificultad con un predominio en la media, e incisos medianamente fáciles y difíciles que a su vez permitan realizar una adecuada discriminación.10,14,16) En ellos se interpretan los resultados de acuerdo con la curva de distribución de frecuencias donde de acuerdo a la dificultad deben ser: 5 % fácil, 20 % medianamente fácil, 50 % con dificultad media, 20 % medianamente difícil y 5 % difícil.
La evaluación constituye una de las líneas de trabajo metodológico de la Universidad de Ciencias Médicas de Matanzas. Durante los últimos años se ha venido realizando un trabajo sostenido en el análisis de la calidad de los instrumentos evaluativos aplicados, tanto frecuentes, parciales como finales.11,16 Esto ha permitido remodelar las preguntas cada año para enfocarse en lograr validez, un nivel de dificultad mejor balanceado, una buena discriminación y la adecuada consistencia interna del examen.
El análisis de la calidad de los exámenes de asignaturas básicas permite trazar los objetivos de trabajo metodológico para los cursos siguientes basándose en las dificultades observadas y de esta forma validar y apoyar los procesos de acreditación.
Actualmente se reforman los criterios sobre los cuales versa la evaluación. Es cierto que es esencial el dominio del contenido de la materia estudiada y que será motivo de examinación, pero se cuestiona que esta no sea suficiente para el ejercicio de la profesión y que entonces lo sea la capacidad de generar soluciones prácticas, con el uso de ese conocimiento, planteada hoy como competencia profesional.17
Otros18 consideran también importante la capacidad de los estudiantes de reconocer la aplicación práctica de lo aprendido y por tanto la posibilidad de participar más activamente en las decisiones del proceso evaluativo. Los autores de este trabajo se suman a los criterios abordados que no hacen más que reflejar la necesidad de entender la riqueza de la evaluación y toda la ganancia en experiencias y conocimiento que esta genera, tanto en el alumno como en el profesor.
La investigación realizada está limitada al análisis de solo algunos de los parámetros de calidad. La validez y la confiabilidad son variables no analizadas en este estudio y que deben integrarse al trabajo metodológico continuo. Consideran los autores que es necesario seguir insistiendo en el mejoramiento continuo, que comienza en la base de la enseñanza y que corona los resultados con la excelencia académica.
Las asignaturas que incluyen en su programa contenidos relativos a varias ciencias básicas biomédicas deben contar con más preguntas que permitan la representación adecuada en el examen final.
Las preguntas de repuesta corta, elaboradas correctamente y utilizadas eficientemente, muestran buenos resultados en la evaluación del contenido de Anatomía Humana, mostraron combinaciones de niveles de dificultad fácil y excelente discriminación.
CONCLUSIONES
El examen ordinario de Sistema Nervioso, Endocrino y Reproductor aplicado en el curso 2016-2017 en la Universidad de Ciencias Médicas de Matanzas presentó en los incisos de Anatomía Humana una dificultad equilibrada y adecuada a los estándares exigidos, así como una discriminación mayoritariamente calificada de excelente.
