Servicios personalizados
Español (pdf)
Articulo en XML
Referencias del artículo
Enviar articulo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
Introducción
La Cumbre Mundial de Educación Médica, celebrada en Edimburgo en 1993, desarrolló un movimiento internacional para un cambio entre la educación médica, la práctica médica y la organización de salud que posibilite la formación de un profesional que responda a las necesidades económico-sociales de sus países, pero a la vez sea capaz de enfrentar los retos científicos y tecnológicos que exige la actual centuria, sobre la base de una cooperación, tanto en los ámbitos nacionales como internacionales.1
Para lograr una adecuada preparación del estudiantado, el claustro de profesores deberá ser capaz de aplicar correctamente los instrumentos evaluativos.
La evaluación es un componente esencial de cualquier esfuerzo que se haga para producir algo de valor, así como para poder adoptar una buena decisión.2
Los procesos evaluativos se vienen desarrollando, cada vez más, en correspondencia con las necesidades sociales del mundo contemporáneo. La calidad en la educación superior está basada en una noción de cambio cualitativo, de transformación constante, que se utiliza como un término de referencia comparativo, dentro de un conjunto de elementos homologables, a partir de indicadores preestablecidos.
Para alcanzar este marco referencial necesario y enfrentar un cambio cualitativamente superior, estamos obligados a analizar de forma integral el desarrollo cualitativo de la educación médica y la investigación, junto con la práctica médica y la organización de salud, como un todo interdependiente.
Evaluar es emitir un juicio de valor que expresa la magnitud y calidad con que se han logrado los objetivos propuestos. Toda evaluación en salud, para que sea eficaz, tiene que estar comprometida con la competencia y el desempeño de los educandos, la eficiencia y efectividad del claustro, la calidad del curriculum y la calidad de los servicios donde se desarrolla el proceso educacional.
El principal factor determinante del desempeño académico es, quizá, la capacidad de evaluar y supervisar la calidad de los resultados - o impacto - de la enseñanza y la investigación en los servicios de salud. Los mecanismos de la autoevaluación promueven un sentido de verdadera responsabilidad institucional, por los resultados de los procesos educacionales en pregrado y posgrado.3,4
Los propósitos de la evaluación incluyen guiar el aprendizaje, la mejora de la enseñanza, el explicar por qué algunas cosas no se han aprendido, originar información válida que permita tomar decisiones racionales sobre cursos, carreras, entre otros, la predicción de resultados futuros y los sistemas para la certificación. 5
La evaluación está determinada por los objetivos, pero su efectividad depende en gran medida del número, la frecuencia y la calidad de los controles que se apliquen, así como de la correcta y uniforme calificación que se realice de los resultados. Su carácter de continuidad permite la constante comprobación de los resultados y poder valorar su tendencia, que posibilita conformar un criterio dinámico sobre el aprovechamiento del estudiante. Es imprescindible realizar una adecuada evaluación, caracterizada por su objetividad y sus funciones educativas e instructivas.6
En la educación médica superior cubana, los objetivos educacionales constituyen la categoría rectora del proceso docente-educativo, pero la evaluación influye en lo que enseñamos y determina de manera directa lo que los educandos aprenden. Es esencial que las evaluaciones sean confiables. Estas exigen pruebas de validez de manera significativa, por lo que se requiere que los instrumentos y criterios utilizados en la medición de esta variable compleja tengan el mayor grado de validez.7,8,9
En los análisis que se efectúan al nivel de los colectivos de las asignaturas y disciplinas, generalmente no se incluyen qué preguntas deben responder los estudiantes; qué problemas deben resolver, cuántos y cómo; qué criterios e índices nos pueden mostrar y en qué grado; ni tampoco el logro de los objetivos propuestos para cada actividad docente, tema impartido y para la asignatura en general.
En la práctica todo esto se traduce en preguntas improvisadas que pueden estar acordes o no con los objetivos; ejercicios y problemas que no se corresponden con los niveles de asimilación ni se relacionan con el tipo de control empleado; en la aceptación de respuestas incompletas y en diferencias de criterios entre los profesores al calificar los instrumentos evaluativos, todo lo cual crea desconfianza entre los estudiantes.
Por tanto, para la construcción de un test de rendimiento, que constituya un verdadero instrumento de medición, se debe seguir el proceso de evaluación, el cual comienza con la definición de los objetivos educativos, luego utilizar los instrumentos de medida, interpretar los datos, formular juicios y adoptar las decisiones necesarias.
Toda esta situación demuestra que tanto el personal docente, como los estudiantes, no valoran ni comprenden en toda su magnitud la importancia, el papel y las funciones de la evaluación del aprendizaje dentro del proceso docente educativo en general y de enseñanza-aprendizaje en particular, lo que nos motivó a plantearnos: ¿Tendrán nuestros instrumentos evaluativos la calidad necesaria? Por ello se propuso como objetivo comparar la calidad de un instrumento de evaluación en dos cursos consecutivos en la asignatura de Ortodoncia de la carrera de Estomatología.
Métodos
Se realizó una investigación educacional en el área del pregrado en el campo de la evaluación, en el período comprendido de septiembre 2015 a junio 2017, en la asignatura de Ortodoncia de 4to. año de la carrera de Estomatología de la Universidad de Ciencias Médicas de Holguín, Cuba.
La Ortodoncia está dirigida a brindar los fundamentos científicos a los estudiantes que les permitan realizar deducciones lógicas con acciones de salud referente a la prevención e intercepción de anomalías dentomaxilofaciales al menor de 19 años y dentro del grupo básico de salud del cual forma parte.
El universo es la totalidad de exámenes realizados en el período seleccionado: 52, a los que se aplicó la metodología para determinar la calidad de los instrumentos de evaluación diseñada por Díaz Rojas y Leyva Sánchez.10) Posteriormente los resultados (curso 2016-17) se compararon con los obtenidos del curso anterior (2015-16).
Metodología para determinar la calidad de un instrumento de evaluación:
Análisis del examen aplicado.
Elaboración de la hoja de cálculo con los datos primarios de los resultados de cada estudiante en su examen.
Correspondencia del fondo de tiempo asignado en el P1 a los contenidos y la cantidad de ítems que lo exploran.
Definición de la escala de clasificación de la dificultad, según expertos.
Obtención de indicadores de validez del instrumento. -
Análisis de la confiabilidad de las preguntas y el examen.
Se solicitaron los exámenes al Departamento Metodológico de la Facultad de Ciencias Médicas Mariana Grajales Coello, de la Universidad de Ciencias Médicas de Holguín, Cuba.
Se identificaron las características del examen, teniendo en cuenta:
- Temas de la asignatura obtenidos del programa analítico y P1.
- Tiempo en que se imparte la asignatura, obtenido P1.
- Estructura del examen, según cantidad de preguntas e ítems.
-Tipos de preguntas, contenidos temáticos y temas incluidos en el examen.
Se clasificaron las preguntas según su tipo. Se determinó el número de ítems evaluados por temas, de acuerdo con el tipo de pregunta. Se clasificaron los ítems y preguntas, según los contenidos temáticos y temas que se exploraron en el examen.
Correspondencia entre el fondo de tiempo de los contenidos temáticos y su exploración en el examen. Se determinó el número de horas dedicado a cada tema, según el plan analítico, P1 de la asignatura, y se definió el porcentaje que representó del total de tiempo dedicado a la asignatura.
Se determinó el índice de dificultad de cada uno de los ítems, dividiendo el número de estudiantes que contestó correctamente el ítem entre el número total que contestaron el ítem. Esta proporción se le denota como Di y se utilizó la siguiente fórmula:
Di= A/ N
Donde:
Di = Índice de dificultad del ítem.
A = Número de respuestas correctas del ítem.
N = Número total de estudiantes que contestaron el ítem.
- Índice de dificultad de las temáticas
En este caso se sumó el total de estudiantes que respondieron correctamente cada uno de los incisos de la temática y se dividió entre el número de ítems que exploraban el tema. Se calculó la media de respuestas correctas para el tema y se dividió entre el total de examinados, como se representa en la siguiente fórmula:
Donde:
Dt = Índice de dificultad de la temática.
At = Número de respuestas correctas de los incisos de la temática.
ntt = Número total de incisos que exploran la temática.
Nt = Número total de presentados en el examen.
Comparación de los resultados, según índice de dificultad obtenido (real) con la dificultad esperada.
- 5 % se consideran difíciles.
- 20 % se consideran medianamente difíciles.
- 50 % se consideran de dificultad media.
- 20 % se consideran medianamente fáciles.
- 5 % se consideran fáciles.
A partir de la obtención de los índices de dificultad, clasificamos cada ítem y temática, según la escala de clasificación definida en el colectivo.
Determinación de los intervalos para la clasificación de los ítems, según su índice de dificultad:
- Menor de 0,40, se consideran difíciles.
- Entre 0,41 y 0,50, se consideran medianamente difíciles.
- Entre 0,51 y 0,80, se consideran de dificultad media.
- Entre 0,81 y 0,90, se consideran medianamente fáciles.
- Entre 0,91 y 1, se consideran fáciles.
Determinación del índice de dificultad del examen:
Para calcular el índice de dificultad del examen, se sumó el total de estudiantes que respondieron correctamente cada uno de los incisos del examen y se dividió entre el número de incisos del examen, se obtuvo la media de respuestas correctas para el examen; luego se calculó el índice de dificultad, el cual se corresponde con el promedio de respuestas correctas dividido por el total de examinados.
Análisis de la discriminación de las preguntas:
La discriminación expresa la medida en que la pregunta discrimina entre los buenos estudiantes y los peores. Este indicador permite predecir el comportamiento de la pregunta dentro del examen, para la elaboración de nuevos instrumentos con estructura similar.
Coeficiente de discriminación del punto biserial (rpbis):
Este indicador calcula la efectividad discriminativa de una pregunta. Esta correlación se emplea para saber si los estudiantes aplicados obtienen las respuestas correctas, qué tanto poder predictivo tiene el reactivo y cómo puede contribuir a las predicciones.
Se utilizó la siguiente fórmula:
Donde:
X1= Media de las puntuaciones totales de quienes respondieron correctamente el ítem.
X0= Media de las puntuaciones totales de aquellos que respondieron incorrectamente el ítem.
Sx = Desviación estándar de las puntuaciones totales.
n1= Número de estudiantes que respondieron correctamente el ítem.
n0= Número de estudiantes que respondieron incorrectamente el ítem.
n = n1+ n0
Según estándares internacionales, la distribución de los resultados del rpbis es:
- < 0 discriminan negativamente.
- 0 a 0,14 discriminan pobremente.
- 0,15 a 0,25 discriminan regular.
- 0,26 a 0,35 buen poder discriminativo.
≥ 0,35 excelente poder de discriminación.
El rpbis puede ser calculado para cada ítem y para cada pregunta.
Análisis de la confiabilidad de las preguntas y el examen:
Utilizamos el coeficiente alfa de Cronbach, que permite determinar la consistencia interna de un instrumento y brinda información relacionada con el aporte que hace cada pregunta a la consistencia general del examen.
La fórmula que se emplea es la siguiente:
Donde n es el número de elementos del examen y r su correlación media.
Tabulamos los resultados atendiendo al alfa del examen y de cada pregunta, que calculamos excluyendo los datos de esa pregunta.
Su interpretación se realizó tomando en cuenta cómo aumenta o disminuye el alfa sin la pregunta, si el valor es igual o inferior al alfa del examen la pregunta aporta consistencia interna al examen, pues al eliminarla el coeficiente desciende; en caso contrario, si el valor del alfa del examen se eleva, al eliminar la pregunta, es un indicador de que la pregunta afecta la consistencia interna y disocia los resultados del examen.
Los resultados se compararon con los obtenidos en el curso anterior.
Resultados
Determinamos la calidad de un instrumento evaluativo en la carrera de Estomatología en la asignatura Ortodoncia, del 4to. año en el curso 2016-2017, y lo comparamos con igual análisis del examen del curso anterior.
Análisis del examen aplicado
Tipo de examen. El instrumento de evaluación analizado fue el examen teórico final de Ortodoncia, en el cual se exploraron todos los objetivos instructivos de la asignatura.
Cantidad y tipos de preguntas del examen. El examen consta de 7 preguntas: de ellas 2 de test de ensayo o desarrollo, 1 de test de respuestas cortas, 1 de ensayo modificado, 1 de test objetivo de asociación simple y 1 de test objetivo de selección múltiple y 1 de asociación simple.
Cantidad de ítems por preguntas y área temática.
La (tabla I) de comparación de exámenes de Ortodoncia, según ítems por área temática, muestra que los temas 4 y 8 no estuvieron presentes en el examen del curso 2015-16, mientras que en el examen del curso 2016-17 se incluyeron todos los temas del programa. El tema de más ítems en el examen del curso 2015-16 fue el tema 2. Crecimiento y desarrollo cráneo facial, con 7 ítems, que representan el 23,3 % del total de ítems en el examen, por la importancia que el mismo tiene dentro del sistema de conocimientos y de habilidades a desarrollar por el estudiante en su vida futura como profesional de la salud; sin embargo, en el examen del curso 2016-17 predominó el tema 3 Desarrollo de los dientes y la oclusión, con el 20 %. Estos resultados evidencian la evolución favorable en el planeamiento de los instrumentos evaluativos.
En la (tabla II) se comparan los exámenes de Ortodoncia, según ítems por tiempo en P1, se observa una escasa correlación entre los ítems del examen del curso 2015-16 con respecto al tiempo dedicado a cada temática dentro del programa de la asignatura, con un coeficiente de correlación de Spearman de 0,39.
El tema que más ítems tiene dentro del examen es el tema 2 (crecimiento y desarrollo craneofacial), con el 23,3%, lo que no coincide con el tema de más horas en P1. Al analizar el examen del curso 2016-17, existe una estrecha correlación con un índice de correlación de Spearman de 0,85; pues el tema que más horas tiene en P1 es el tema 3 (desarrollo de los dientes y la oclusión) y es también el de más cantidad de ítems dentro del examen, con 20%.
Obtención de indicadores de validez del instrumento
- Índice de dificultad:
Al analizar el comportamiento de los Ítems de los exámenes, según grado de dificultad esperado y real, se puede apreciar una gran diferencia entre el grado de dificultad de los ítems esperado y el real, sin correlación entre ambas variables, con un coeficiente de correlación de Spearman de 0,13 en el curso 2015-16; sin embargo, en el examen del curso 2016-17 el coeficiente de correlación de Spearman fue de 0,95, lo que demuestra una excelente correlación (tabla III).
En la (tabla IV), comparación del coeficiente discriminación, según preguntas de los exámenes, observamos que en el examen del curso 2015-16 las preguntas 1, 3, 4 y 5 tienen un excelente poder de discriminación, pues sus valores son mayores que 0,35.
La pregunta 2 tiene buen poder discriminativo, ya que su coeficiente de discriminación está en el rango entre 0,26 a 0,35. Al realizar el análisis al examen del curso 2016-17, encontramos que todas las preguntas tienen un excelente poder de discriminación.
Análisis de la confiabilidad de las preguntas y el examen
La confiabilidad del examen y por preguntas del curso 2015-16 no es aceptable, pues los valores del alfa de Cronbach están entre 0,48 - 0,59, lo que demuestra poca consistencia interna en su estructura. No obstante estos resultados, los valores del alfa de Cronbach en las preguntas son menores o iguales al alfa de Cronbach del examen, lo que evidencia que le aportan consistencia interna. Cuando se analiza el examen del curso 2016-17, se le observa una adecuada consistencia interna, por tanto confiabilidad, pues los valores del alfa de Cronbach están entre 0,60 y 0,65, y las preguntas aportan consistencia interna al examen, por ser sus valores iguales o menores que el del examen (tabla V).
Discusión
Al realizar el análisis de la calidad de los instrumentos evaluativos, podemos establecer las pautas para su perfeccionamiento. Dentro de las funciones de la evaluación se encuentra el establecer planes de mejora.11) Estos planes incluyen todos los procesos docentes que se llevan a cabo en las universidades.
La asignatura es el proceso docente que se desarrolla en un cierto período de tiempo para garantizar la adquisición de determinados conocimientos y formación de habilidades y se encuentra estructurada mediante temas; este subsistema debe integrarse con los otros subsistemas de la disciplina en el sentido vertical del currículo.12
Cuando se realiza un correcto trabajo metodológico y una preparación adecuada del claustro, podemos obtener instrumentos evaluativos que constituyan verdaderos instrumentos para medir la calidad del proceso docente educativo.
El concepto de calidad se utiliza para definir un conjunto de cualidades del objeto de estudio.13) El trabajo de perfeccionamiento profesoral mediante cursos, diplomados y maestrías se pone de manifiesto en instrumentos evaluativos cada vez más cercanos a los parámetros establecidos.
El proceso de mejoramiento de la calidad de los sistemas educativos requiere la evaluación como un componente estratégico que atraviese todos sus ámbitos, brindando información útil para la toma de decisiones.14
Cuando se analiza el coeficiente de discriminación en un examen se entiende que está relacionado con el índice de dificultad, pues si las preguntas no se encuentran en los límites de dificultad, estas son capaces de discriminar entre estudiantes buenos y de malos rendimientos.
La confiabilidad es la expresión cuantitativa de la reproducibilidad con la que un instrumento mide un mismo atributo. A través de ella se logra la estabilidad de los resultados. Su utilización le brinda consistencia interna al instrumento evaluativo.
El Coeficiente alfa de Cronbach es el más utilizado mundialmente, pues proporciona una medida efectiva de la consistencia interna del examen y puede emplearse ante diferentes formatos de preguntas. Su valor se encuentra entre 0,60 -0,80. Es un concepto estrictamente estadístico que se expresa por un coeficiente de confiabilidad o a través del error típico de las mediciones efectuadas.
Al determinar la calidad de los instrumentos evaluativos, obtenemos informaciones sobre el rendimiento de los estudiantes que nos permitirán focalizar la atención sobre posibles problemas del aprendizaje e incidir en su seguimiento por medio de las comisiones verticales y horizontales. Este análisis arroja datos cuantitativos que permiten la identificación de ítems con deficiencias en su confección y por tanto exámenes con dificultades; de ahí se desprende la importancia para el desarrollo de las capacidades del docente para elaborar buenos ítems y exámenes.
Conclusiones
En ambos exámenes teóricos de Ortodoncia existió variedad en el tipo de preguntas empleadas.
No hubo correspondencia entre los objetivos instructivos de la asignatura, el fondo de tiempo y los contenidos, con el número de ítems explorados en el examen teórico final del curso 2015-16, pero sí existió correspondencia en el examen del curso 2016-17.
En el instrumento de evaluación analizado en el curso 2015-16 no existió correlación entre el grado de dificultad de los ítems esperado y el real; sin embargo, en el curso 2016-17 existió una correlación adecuada.
La mayoría de las temáticas se incluyen dentro de los rangos fáciles y medianamente fáciles en el curso 2015-16, mientras que en el examen del curso 2016-17 predominó el rango de dificultad media.
Las preguntas en su mayoría tienen un excelente poder de discriminación en ambos cursos y la confiabilidad del examen es aceptable en el curso 2016-17, pero no así en el 2015-16.
