INTRODUCCIÓN
La evaluación del proceso de enseñanza-aprendizaje constituye un proceso de naturaleza consciente de un marcado carácter objetivo y subjetivo, que se desarrolla en la dinámica de dicho proceso y orientado hacia la búsqueda de evidencias que permitan al docente elaborar un concepto que implique una valoración sobre el logro alcanzado por el estudiante en la actividad formativa.
Durante este proceso los instrumentos evaluativos juegan un rol esencial, en tanto constituyen recursos que contribuyen a la obtención de dichas evidencias, razón por la cual el estudio de la calidad de estos ha sido señalado como esencial, 1 a la vez que se han realizado propuestas orientadas a establecer pautas metodológicas que sirvan de guía al docente para determinar la calidad de sus instrumentos evaluativos 2 y con ello contribuir al perfeccionamiento continuo de las asignaturas que imparten.
En este sentido, en el marco de la Educación Médica cubana varios trabajos han aportado evidencias sobre la calidad de sus instrumentos evaluativos, 4,5,6,7,8,9,10,11 a la vez que dan cuenta de la necesidad de este proceder sea sistemático, argumentando que con ello se gana en objetividad; sin embargo, una búsqueda exhaustiva en la base de datos bibliográfica SciELO, permitió constatar que en la Universidad de Ciencias Médicas de Sancti Spíritus no se encontraron resultados de investigaciones que aporten evidencias sobre la calidad de los exámenes aplicados, por lo cual el presente estudio tuvo como objetivo determinar el nivel de dificultad y el poder de discriminación del examen final ordinario de la asignatura Ontogenia Humana y SOMA, aplicado a los estudiantes de primer año de Medicina de la Universidad de Ciencias Médicas de Sancti Spíritus en el curso 2017-2018.
METODOLOGÍA
Se realizó un estudio retrospectivo transversal en la Universidad de Ciencias Médicas de Sancti Spíritus que incluyó 163 exámenes ordinarios finales de la asignatura Ontogenia y SOMA, de un total de 544, correspondientes al curso 2017-2018. Para su selección se agruparon por temarios y quedaron conformados dos grupos de 253 y 277 exámenes respectivamente. Luego, mediante muestreo aleatorio simple se eligió el 30 % en cada grupo.
Cada temario se conformó de 46 incisos distribuidos en 7 preguntas, 3 correspondientes al tema SOMA y el resto a Ontogenia. Las respuestas se calificaron mediante una escala dicotómica (acierto/desacierto). El perfil de dificultad se analizó sobre la base de la recomendación de Backhoff, (1 quien propone que los ítems (incisos) de un test evaluativo deben distribuirse de acuerdo con el siguiente patrón: 5 % fáciles, 20 % medianamente fáciles, 50 % con una dificultad media, 20 % medianamente difíciles y 5 % difíciles; categorías valorativas establecidas sobre la base de la siguiente partición del rango de valores del índice de dificultad (ID): difíciles (0-0.32), medianamente difícil (0.33-0.52), dificultad media (0.53-0.73), medianamente fáciles (0.74-0.86), fáciles (0.87-1).
Basado en la metodología propuesta por Díaz Rojas, (2 se determinó el índice de dificultad a nivel de pregunta, tema y ciencia en cada temario, asimismo se analizó la correspondencia del fondo de tiempo asignado en el P1 a los contenidos y la cantidad de ítems que lo exploran.
El análisis del poder de discriminación de cada temario a nivel de pregunta, tema y ciencias se realizó sobre la base del índice de discriminación (DI) y se consideró la propuesta de Ebel 3 que establece cinco clases o rangos que permiten valorar la calidad de estos en términos de discriminación:
En este sentido, se propone que los ítems con un índice de discriminación excelente se mantengan; que aquellos ítems con índices de discriminación evaluados en la categoría Buena pueden mejorarse y que deberían revisarse los que resulten clasificados en la categoría Regular. Si la capacidad de discriminación del ítem fuese evaluada de pésima, es necesario descartarlo; si fuese mala, se sugiere realizar una revisión profunda.
El análisis de los datos se realizó mediante el SPSS (versión 15.0 SPSS Inc, Chicago, IL, USA). Los resultados se presentan en tablas.
RESULTADOS
En ambos temarios se observó una correspondencia perfecta entre fondo de tiempo asignado en el P1 a los contenidos de cada ciencia, expresados en número de incisos esperados (Embriología 18, Anatomía 28), y la cantidad real de ítems que lo exploran (Embriología 18, Anatomía 28). Sin embargo, a nivel de tema esto no se observó pues en Ontogenia de 17 incisos esperados solo se dedicaron 12 (70.5 %), en tanto en SOMA esta cifra fue de 29 (85.2 %) de un total 34 incisos esperados.
De las 7 preguntas del temario 1, dos tienen una dificultad media (0.53-0.73); el resto (5) tienen un índice de dificultad medianamente fácil (0.74-0.86), incluidas las tres preguntas correspondientes al tema Ontogenia. En el caso del temario 2, dos preguntas tienen una dificultad media (0.53-0.73), la pregunta 3 correspondiente al tema Ontogenia (0.72) y la pregunta 7 del tema SOMA (0.63), el resto (5) tienen un índice de dificultad medianamente fácil (0.74-0.86). (Tabla 1)
En consecuencia, el índice de dificultad de ambos temarios fue medianamente fácil tanto a nivel general (T1: 0.80 vs. T2: 0.79) como a nivel de las temáticas Ontogenia (T1: 0.78 vs. T2: 0.82) y SOMA (T1: 0.80 vs. T2: 0,77)), resultado que se mantuvo a nivel de las ciencias: embriología (T1: 0.78 vs. T2: 0.79) y anatomía (T1: 0.81 vs. T2: 0.79).
En el temario 1 un 47.8 % (22) de los incisos clasifican como medianamente fáciles, en tanto un 26.1 % (12) como fáciles, mientras en el temario 2 los incisos fáciles y medianamente fáciles representan el 34.7 % (16) y 26.1 % (12) respectivamente. (Tabla 2)
En el primer temario el tema Ontogenia muestra una buena capacidad de discriminación (0.37) con posibilidades de mejorar, en tanto en el temario 2, el valor de este índice es 0.24. De otra parte, el contendido correspondiente al tema SOMA muestra una capacidad de discriminación excelente (0.40) en el temario 1, mientras en el segundo se clasifica como buena con un índice de discriminación de 0.39, y en consecuencia con posibilidades de mejorar. Ambos temarios tienen una capacidad de discriminación relativamente similar tanto en embriología (T1: 0.39 vs. T2: 0.31) como en anatomía (T1: 0.39 vs. T2: 0.37).
En el primer temario, solo una pregunta tiene una capacidad de discriminación regular (0.22), a la vez que 4 preguntas tienen una excelente capacidad de discriminación (DI>0.39); las 2 restantes muestran una buena capacidad de discriminación. En el segundo temario 6 preguntas tienen un índice de discriminación superior a 0.40; la restante posee un índice de discriminación de 0.39, lo que significa que tiene una buena capacidad de discriminación y que puede ser mejorada. (Tabla 3)
DISCUSIÓN
Existió plena correspondencia entre el número de incisos de cada Ciencia (Embriología, Anatomía) que se esperaba incluir en los temarios y los que realmente se incluyeron; sin embargo la representación a nivel de tema (Ontogenia, SOMA) no alcanzó lo esperado; por lo que se considera la necesidad de profundizar en el diseño de los instrumentos evaluativos, específicamente en lo concerniente a que la distribución de los contenidos de los temas a evaluar esté acorde con su fondo de tiempo en el programa de estudios.
El índice de dificultad de los temarios fue medianamente fácil, resultado que coincide con los reportados por otros autores. 5,6,7 No obstante, cuando se analiza el perfil de dificultad de estos; se observa que la distribución de los incisos fue marcadamente asimétrica con predominio de incisos valorados como fáciles y medianamente fáciles, lo cual discrepa del perfil esperado.
Una posible explicación pudiese ser que los docentes elaboran sus exámenes de forma empírica, lo cual puede incidir en el logro de un perfil de dificultad con una distribución simétrica en sus ítems en torno al nivel medio; 3 asimismo, se coincide con Barr, (8 en no desconocer que el modo en que se imparte el contenido (método de enseñanza) y la disponibilidad de materiales complementarios para el estudio son factores que potencialmente pueden incidir en la calidad de los exámenes.
Los resultados globales muestran que ambos temarios tienen buena capacidad de discriminación a nivel de ciencias, no obstante, a nivel de temas destaca la pobre discriminación de Ontogenia (0.24) en el segundo temario, lo cual significa que debe ser revisado y que los docentes deben profundizar en el diseño de las preguntas correspondientes a esta temática; en este sentido se coincide con Gómez 8 respecto a la variabilidad esperada en el índice de discriminación.
CONCLUSIONES
En ambos temarios el índice de dificultad fue medianamente fácil tanto a nivel de los temas abordados como a nivel de las ciencias. El índice de discriminación en ambos temarios relacionado con las temáticas fue sensiblemente diferente y en cuanto a las ciencias tiene una capacidad de discriminación relativamente similar.