INTRODUCCIÓN
La evaluación es la categoría reguladora del proceso de enseñanza aprendizaje (PEA), y uno de los aspectos más polémicos y de mayor interés en la práctica pedagógica. Esta constituye un proceso consustancial al desarrollo del proceso docente educativo.1
Tiene como propósito comprobar el grado de cumplimiento de los objetivos formulados en los planes de estudio de la educación superior, mediante la valoración de los conocimientos y las habilidades que los estudiantes adquieren y desarrollan, y por la conducta que manifiestan. Representa, a su vez, una vía para la retroalimentación y la regulación de dicho proceso.1
Por lo tanto, la evaluación del proceso educativo debe desarrollarse mediante un sistema válido y confiable, que permita la retroalimentación y los resultados de aprendizaje, de forma tal que propicie la mejora continua de la educación médica y el desarrollo de las competencias profesionales del futuro médico general.2
La Medicina General constituye la Disciplina principal integradora del Modelo de formación del médico cubano.3 En ella están contenidas un conjunto de asignaturas entre las que se encuentra la Medicina General Integral, impartida durante el Quinto y Sexto años de la carrera, aprovechando las potencialidades de los escenarios docentes en la Atención Primaria de Salud con los Policlínicos Comunitarios.
Escenarios que refuerzan la tesis de que la medicina no se aprende en las aulas, los laboratorios y las bibliotecas reales o virtuales. Aunque estos espacios desempeñan una importante función complementaria o de apoyo al núcleo del aprendizaje del alumno, continúa siendo fundamental la implicación de profesores y educandos en la indagación de su objeto de estudio, constituido por los problemas de salud de las personas en su contexto natural y social, lo que constituye su entorno comunitario.4
La calidad de los resultados del proceso evaluativo radica en un sistema que involucra en el escenario, actividades claves como el estudio y trabajo independientes. Ambos son efectivos para la formación del profesional de las ciencias médicas en el desarrollo de los conocimientos y las habilidades del estudiante, donde se alcanza el nivel de actualización y profundización científica que la clase no puede ofrecer; asimismo, estos posibilitan desarrollar la independencia cognoscitiva, la actividad creadora, las actitudes y valores como la responsabilidad.5
Martínez Pérez J y col.,6) demostraron que el rendimiento académico en los estudiantes de la carrera de medicina, está determinado fundamentalmente por la combinación de factores como: motivación, hábitos de estudio, preparación en la enseñanza precedente y del resultado de las asignaturas básicas biomédicas.
Evaluar el rendimiento académico exige de instrumentos de evaluación que cumplan los estándares internacionales de calidad, de manera que, no sólo permitan diferenciar a los estudiantes según sus resultados sino además retroalimentar adecuadamente el PEA.
Con el objetivo de determinar la calidad de un instrumento de evaluación de la asignatura Medicina General Integral en la carrera de Medicina, se desarrolló el presente estudio.
MÉTODOS
Se realizó un estudio descriptivo, transversal, en el marco de la educación médica, para determinar la calidad de un instrumento de evaluación de la asignatura: Medicina General Integral, del sexto año en la carrera de Medicina, en la Facultad de Ciencias Médicas “Mariana Grajales Coello” de Holguín, en el curso 2023.
El universo estuvo constituido por la totalidad de los temarios aplicados (N=80). Para la selección de la muestra se realizó un muestreo probabilístico aleatorio simple, teniendo en consideración, un intervalo de confianza del 95 % y un error asumido del cinco %, finalmente resultó constituida por 48 temarios (n = 48).
Para determinar la calidad del instrumento evaluativo, se aplicó la metodología propuesta por Díaz Rojas P y Leyva Sánchez E,7) cuya aplicación permite contribuir a la realización de un análisis más científico y normalizado, además determinar los contenidos con resultados deficientes y establecer su tratamiento posterior, según sus autores.
Las variables analizadas fueron: tipo de examen; tipo de pregunta; tipo de dificultad; coeficiente de discriminación del punto biserial y confiabilidad de las preguntas y el examen.
Clasificación de la dificultad:
Clasificación del coeficiente de discriminación de punto biserial (rpbis):
Como métodos teóricos se usaron: revisión documental: permitió obtener información acerca de las investigaciones realizadas acerca de la calidad de los instrumentos de evaluación, con el fin de adoptar una postura al respecto y definir una investigación que permitiera llenar un vacío de conocimientos; las palabras clave empleadas fueron escogidas del Tesauro DeCS https://decs.bvsalud.org/es/ y del Tesauro UNESCO https://vocabularies.unesco.org/browser/thesaurus/es/
Análisis y síntesis: permitió descomponer la temática del trabajo en sus partes, con el objetivo de enfatizar en el proceso de evaluación, luego como operación inversa, permitió conceptualizar la temática con una propiedad distintiva e inductivo-deductivo: permitió abordar el objeto de estudio en su expresión más amplia en el proceso enseñanza aprendizaje y su relación con respecto a la formación académica en el pregrado, luego la deducción permitió establecer los elementos indistinguibles que contrastaron los resultados obtenidos en la muestra.
En cuanto a los métodos empíricos, se realizó un análisis de los instrumentos evaluativos.
Los métodos estadísticos se utilizaron para determinar el tipo de dificultad; coeficiente de discriminación del punto biserial y confiabilidad de las preguntas y el examen. El tipo de dificultad y coeficiente de discriminación del punto biserial se calcularon en el software de hoja de cálculo Excel para Windows XP. La confiabilidad de las preguntas y el examen se obtuvo al calcular el Alfa de Cronbach, en el Programa Epidat 4.1.
Se tuvieron en cuenta los Principios Éticos para la Investigación Médica con datos provenientes de seres humanos de la World Medical Association Declaration of Helsinki y la Guía de OMS para los Comité de Ética de las Investigaciones, establecida por el Council for International Organizations of Medical Sciences (CIOMS) en el 2002. La investigación fue aprobada por el Comité de Ética de las Investigaciones.
RESULTADOS
Análisis del examen aplicado
Examen teórico escrito.
La Tabla 1 muestra la cantidad de ítem del examen según área temática y preguntas, donde se observó un predominio del ítem en las temáticas de prevención de salud; medicina natural tradicional y enfermedades transmisibles con un total de 38 ítem (58,46 %).
Área temática | Pregunta | Cantidad de ítem |
---|---|---|
I. Familia | 1 | 6 |
II. Ingreso en el hogar | 2 | 7 |
III. Promoción de salud | 3 | 8 |
IV. Prevención de salud | 4 | 10 |
V. Medicina natural tradicional | 5 | 10 |
VI. Enfermedades transmisibles | 6 | 18 |
VII. Medicina tropical | 7 | 6 |
Fuente: Instrumento de evaluación.
- Tipos de preguntas que contiene el instrumento.
Pregunta de desarrollo. Respuestas cortas.
- Clave de calificación y decisión de éxito o fracaso: Atendiendo a la cantidad de respuestas correctas según Reglamento organizativo del proceso docente y de dirección del trabajo docente y metodológico para las carreras universitarias.8
En cuanto a la correspondencia del fondo de tiempo asignado en el Plan Calendario a los contenidos y la cantidad de ítem que lo exploran, se observó que no existió correspondencia entre ambos, cada contenido presentó el mismo fondo de tiempo, con una totalidad de dos horas para un 14,28 %. (Tabla 2)
Contenidos | Fondo de tiempo | Presencia en el examen | |||
---|---|---|---|---|---|
Horas | % | Ítem | % | ||
I. Familia | 2 | 14,28 | 6 | 9,23 | |
II. Ingreso en el hogar | 2 | 14,28 | 7 | 10,76 | |
III. Promoción de salud | 2 | 14,28 | 8 | 12,30 | |
IV. Prevención de salud | 2 | 14,28 | 10 | 15,38 | |
V. Medicina natural tradicional | 2 | 14,28 | 10 | 15,38 | |
VI. Enfermedades transmisibles | 2 | 14,28 | 18 | 27,69 | |
VII. Medicina tropical | 2 | 14,28 | 6 | 9,23 | |
Total | 14 | 100 | 65 | 100 |
Fuente: Instrumento de evaluación.
Se observa la dificultad del examen según temática. En esta se nota claramente que la mayoría de temáticas presentó tipo de dificultad fácil cuatro (57,14 %), el examen presentó dificultad medianamente fácil. (Tabla 3)
Temática | No. | Nivel de dificultad | Tipo de dificultad |
---|---|---|---|
I. Familia | 279 | 0,96 | fácil |
II. Ingreso en el hogar | 332 | 0,98 | fácil |
III. Promoción de salud | 345 | 0,89 | medianamente fácil |
IV. Prevención de salud | 454 | 0,94 | medianamente fácil |
V. Medicina natural tradicional | 473 | 0,98 | fácil |
VI. Enfermedades transmisibles | 848 | 0,98 | fácil |
VII. Medicina tropical | 232 | 0,80 | dificultad media |
Examen | 2963 | 0,94 | medianamente fácil |
Fuente: Instrumento de evaluación.
Análisis de la discriminación de las preguntas
Coeficiente de discriminación del punto biserial (rpbis)
Según coeficiente de discriminación por preguntas se manifestó predominio de preguntas con bajo poder discriminante, con una totalidad de cuatro preguntas para un 57,14 %. (Tabla 4)
Preguntas | Coeficiente de discriminación (rpbis) | Discriminación |
---|---|---|
1 | 0,00 | discriminan negativamente |
2 | 0,00 | discriminan negativamente |
3 | 0,35 | buen poder discriminativo |
4 | 0,19 | discrimina regular |
5 | 0,00 | discriminan negativamente |
6 | 0,36 | excelente poder de discriminación |
7 | 0,72 | excelente poder de discriminación |
Fuente: Instrumento de evaluación.
Análisis de la confiabilidad de las preguntas y el examen
Consistencia interna de las preguntas (confiabilidad) según Alfa de Cronbach
Se muestra que la pregunta número siete afectó la consistencia interna y disoció los resultados del examen porque el valor del alfa del examen se elevó al eliminar la pregunta. (Tabla 5)
DISCUSIÓN
El instrumento de evaluación en su planeación debe contener preguntas cuya cantidad de ítem estén en correspondencia con el fondo de tiempo de la temática a la que responde la pregunta en el Programa analítico de la asignatura.9
En el instrumento analizado no existe correspondencia entre el fondo de tiempo asignado en el Plan Calendario a los contenidos y la cantidad de ítem que lo exploran.
Es criterio de los autores que esto compromete la calidad del mismo y ofrece evaluaciones basadas en temáticas que no fueron abordadas con el tiempo requerido según la exigencia del instrumento.
Al asumir la escala de clasificación de la dificultad según autores como Díaz Rojas P y Leyva Sánchez E,7) y Ayala Pérez Y y col.,10) la mayoría de las temáticas exploradas estuvieron en la categoría de fáciles; resultado que clasifica al instrumento como medianamente fácil y evidencia que no existe una dificultad equilibrada, siendo inadecuada según los estándares exigidos.
En correspondencia con lo señalado anteriormente un examen fácil presenta bajo poder discriminante. No permite distinguir según sus resultados los estudiantes con alto rendimiento académico de aquellos con bajo rendimiento académico; presentándose un 42,85 % de preguntas con discriminación negativa.
Esta clasificación de los resultados de discriminación, se hizo al tomar en consideración el coeficiente de discriminación del punto biserial (rpbis), considerado como la forma idónea para calcular el poder de discriminación de un examen. Según autores la ventaja de utilizar el rpbis en lugar del índice de dificultad (Di) es que con el primer método se toman en cuenta todas las personas evaluadas, mientras que, con el segundo, solo el 54 % de ellas (27 % más alto y 27 % más bajo).1,7,11)
La discriminación permite recomendar acciones con respecto a las preguntas del examen, aquellas con discriminación negativa, deben ser descartadas, coincidiendo con otros autores. 7,12
La correspondencia de preguntas fáciles con excelente poder de discriminación, como lo fue en el caso de la pregunta 6, también fue encontrado por Bahr Ulloa S y col.,13 en un análisis de calidad de un examen sobre Anatomía Humana; este resultado se debe a que los estudiantes que respondieron incorrectamente fueron pocos, pero resultaron con bajas calificaciones en el examen, lo que influyó en la discriminación excelente de la misma.
Resultados que no comprometen la confiabilidad del examen según su consistencia interna por obtención del Alfa de Cronbach, cuyo resultado fue de 0,89; en correspondencia con el sugerido por la literatura como aceptable (0,70 a 0,95).14,15,16
Al tomar en consideración que, al analizar de manera independiente las preguntas del examen, este valor debe ser menor o igual al alfa del examen; la pregunta siete que abordó la temática de Medicina tropical afectó la consistencia interna y disoció los resultados del mismo porque el valor se elevó al eliminarla.
A juicio de los autores, esto puede estar en correspondencia con el tratamiento específico que tuvo la temática durante el proceso enseñanza aprendizaje o el diseño de la pregunta. Es recomendable realizar los análisis pertinentes como parte de la retroalimentación que ofrece el proceso de evaluación para corregir y perfeccionar el proceso docente y la calidad con que se imparte la asignatura y se planean sus instrumentos de evaluación.
CONCLUSIONES
El examen ordinario de Medicina General Integral aplicado en el curso 2023 en la Universidad de Ciencias Médicas de Holguín no presentó una dificultad equilibrada, en correspondencia con una discriminación mayoritariamente pobre, pero con preguntas con excelente poder discriminante y la consistencia interna fue aceptable.