Capacidad predictiva de algunos indicadores en el rendimiento docente de la asignatura Fisiología Médica
Predictive capacity of some indicators in the teaching performance of the Medical Physiology subject ]]>
Yunit Hernández RodríguezI; Ernesto Cruz MenorII; Jorge Bacallao GallesteyIII; Miriam Guerra ParedesIV; Lucía Linares HernándezIV
IEspecialista de I Grado en Fisiología Normal y Patológica, Asistente, Facultad de Ciencias Médicas "Dr. Ernesto Che Guevara de la Serna", Pinar del Río, Cuba.
IIEspecialista de I Grado en Fisiología Normal y Patológica, Instructor, Facultad de Ciencias Médicas "Dr. Ernesto Che Guevara de la Serna", Pinar del Río, Cuba.
IIIDoctor en Ciencias de la Salud, Licenciado en Matemática, Centro de Investigaciones y Referencia de Aterosclerosis de La Habana, Policlínico "19 de Abril", La Habana, Cuba.
IVEspecialista de II Grado en Fisiología Normal y Patológica, Profesora Auxiliar, Facultad de Ciencias Médicas "Dr. Ernesto Che Guevara de la Serna", Pinar del Río, Cuba. ]]>
RESUMEN
OBJETIVO: estimar la capacidad predictiva de algunos indicadores respecto a los resultados del examen final de la asignatura.
MÉTODOS: como predictores se utilizaron la vía de ingreso, los resultados de algunas de las asignaturas del primer semestre y los resultados del corte de la décima semana de la asignatura Fisiología Médica, todos en relación con la nota de su examen final en 548 estudiantes de los cursos 2005-2006 y 2006-2007. Se utilizaron estadísticas descriptivas simples y se ajustó un modelo de regresión con escalamiento óptimo para la recodificación. Los valores estimados por este modelo se convirtieron a una escala ordinal con fines de predicción. Se llevó a cabo un análisis de componentes principales para una mejor comprensión de la estructura de asociaciones entre las variables.
RESULTADOS: los predictores en su conjunto son capaces de explicar 54 % de la variabilidad de la nota final de la asignatura y el modelo de regresión con escalamiento óptimo con estos predictores proporciona un ajuste satisfactorio, el corte de la décima semana es el mejor predictor. Otros predictores relevantes son la vía de ingreso y la historia académica previa.
CONCLUSIONES: los indicadores vía de ingreso, notas de las asignaturas del primer semestre del primer año de la carrera de Medicina y corte de la décima semana integrados en un modelo de predicción, logran un modelo satisfactorio de predicción del rendimiento docente en la asignatura Fisiología Médica. El corte de la décima semana resulta el mejor predictor debido a que es más cercano y específico a los resultados de la asignatura. La vía de ingreso puede constituir un elemento útil a la hora de identificar estudiantes en pronóstico de éxito-fracaso docente. ]]>
Palabras clave: Valor predictivo, estudiantes de Medicina, Fisiología Médica, criterios de admisión escolar.
ABSTRACT
OBJECTIVE: to estimate the prediction capacity of some indicators regarding the results of final examinations of this subject.
METHODS: the admission via, the results of some of subjects in the first semester, and the results of the cut-off on the tenth week of the Medical Physiology subject were used as predictors. All of them were related to the mark obtained in the final examination of 548 students in the courses 2005-2006 and 2006-2007. Simple descriptive statistics were used and a regression model with optimal scaling up was adjusted for recoding. The values estimated for this model were converted into an ordinal scale for prediction. An analysis of the main components for a better understanding of the structure of the associations among variables was carried out.
RESULTS: predictors as a whole are capable to explain 54 % of the variability in the final mark of the subject, whereas the regression model with an optimal scaling up with these predictors allows a satisfactory adjustment. The cut-off on the tenth week is the best predictor.
CONCLUSIONS: the admission via, the qualifications obtained in the first semester of first year of the medical career, and the cut-off on the tenth week integrated in a prediction model are a satisfactory prediction model of academic performance in the Medical Physiology subject. The cut-off on the tenth week is the best predictor, since it is more specific and closer to the results of the subject. The admission via may be a useful element at the time of identifying students in the prognosis of teaching success-failure. ]]>
Key words: Prediction value, medical students, Medical Physiology, school admission criteria.
]]>
INTRODUCCIÓN
El análisis consecuente de la calidad educativa que se desarrolla en un centro educacional puede resultar de gran utilidad para trazar estrategias de intervención que orienten a mejorar el desarrollo de un sistema educativo concreto mediante su reorganización y reajuste en los momentos necesarios.
Numerosos investigadores han propuesto procedimientos para la predicción del éxito académico individual y global, con la intención de detectar tanto a los estudiantes con alto riesgo de fracaso académico, como a los estudiantes con altas probabilidades de éxito, todo ello con el fin de mejorar la calidad de la gestión docente.1 En las universidades médicas cubanas alrededor del año 1977 se iniciaron investigaciones al respecto. Con ese fin se utilizaron, entre otras: el índice académico de preuniversitario,2-9 la vía de ingreso,4 pruebas de habilidades específicas,5-8 pruebas diagnósticas o de nivel de entrada5-7 y los resultados de exámenes de ingreso.2-6 La historia académica previa representada por el índice del preuniversitario o por el índice escalafonario fue la variable que sistemáticamente mostró buena capacidad predictiva. En lo metodológico, el espectro de métodos estadísticos aplicados en el ámbito del pronóstico, incluye los siguientes: un enfoque bayesiano no paramétrico,5 el análisis factorial discriminante (AFD),6 el análisis de la varianza multidimensional,6,7 los modelos de regresión múltiple y los árboles de regresión6,10 y las curvas ROC con el índice de detectabilidad,2,7,8 y más recientemente los modelos jerárquicos para la evaluación de efectos agregados o contextuales.11-14
En la presente investigación se pretende estimar la capacidad predictiva de algunos indicadores respecto a los resultados del examen final de la asignatura Fisiología Médica, con la finalidad de disponer de elementos útiles para mejorar la gestión docente.
]]>
MÉTODOS
El universo de estudio lo constituyeron 548 estudiantes correspondientes a la especialidad de Medicina de los cursos académicos 2005-2006 y 2006-2007, que recibieron la asignatura de Fisiología Médica en este período en la Facultad de Ciencias Médicas "Dr. Ernesto Che Guevara de la Serna" de la provincia de Pinar del Río. Fueron incluidos todos los estudiantes cuyos datos estuvieran completos en los registros y se excluyeron los que por alguna causa no tuvieran los datos siguientes:
Vía de ingreso. Se clasificaron como procedentes de preuniversitario (IPU), Orden 18, diferidos FAR (DIF), curso de superación integral para jóvenes (CSIJ), extranjeros (EXT), concurso (CONCUR) y otras, que por el pequeño número de estudiantes se agruparon en "OTRAS" (resolución 1-89, cambios de carrera, etcétera).
Notas de las asignaturas. Biología Celular y Molecular, Histología I y Anatomía I, estas calificaciones se expresan en notas de 2, 3, 4 y 5 puntos y son asignaturas del primer semestre del primer año de la carrera que preceden en orden temporal al semestre en que se imparte Fisiología Médica.
Resultados del corte de la décima semana de Fisiología Médica. Expresados en bien, regular y mal. ]]>
Procedimientos y técnicas de recolección de información y métodos para el control de la calidad de los datos
Se realizó una revisión de los expedientes de secretaría docente donde se encuentra la información del comportamiento de estos estudiantes durante su carrera. Se recogieron datos de los libros de registros de asistencia y evaluación donde se plasman los resultados del corte de la décima semana.
Se utilizaron estadísticas descriptivas simples (distribuciones de frecuencia para las variables discretas y medias, y desviaciones estándar para las continuas), para mostrar el comportamiento de las variables independientes (los predictores del rendimiento) y las variables de respuesta (las calificaciones). Se ajustó un modelo de regresión con escalamiento óptimo, este modelo se basa en principios similares a los de la regresión múltiple, pero es especialmente útil para variables ordinales, con respecto a las cuales ofrece una forma nueva y óptima de recodificación. Los valores estimados por este modelo se convirtieron a una escala ordinal con fines de predicción, mediante el ajuste de un nuevo modelo de regresión lineal que relaciona dichos valores con la nota final real y termina con un procedimiento de redondeo para dar el resultado en términos de una variable ordinal. La comparación entre la predicción y el resultado se hace mediante una tabla de contingencia para el estudio de la concordancia.
]]>
Por último, se llevó a cabo un análisis de componentes principales para una mejor comprensión de la estructura de asociaciones entre las variables historia académica previa, corte intrasemestral y variable de respuesta (nota final de Fisiología Médica).
RESULTADOS
La tabla 1 muestra la distribución de frecuencias absolutas y relativas de varios de los predictores identificados y de la variable dependiente, que es la nota final del examen de la asignatura Fisiología Médica. Llama la atención que la mayor parte de los estudiantes obtienen resultados entre 2 y 3 puntos. En las asignaturas de Biología Celular y Molecular (BCM) y Fisiología Médica, la mayor parte de los alumnos se ubican en puntuaciones de 2 y 3. En Anatomía e Histología, los resultados son algo mejores.
El modelo empleado para las variables que caracterizan este estudio es un modelo de regresión con escalamiento óptimo. Este modelo de regresión produce un reescalamiento de las variables y los resultados muestran el valor de R2 = 0,566, que indica que los predictores (Anatomía, BCM, Histología y el corte) explican casi 57 % de la variabilidad en la nota final de Fisiología Médica. El análisis de la varianza (F = 71,13; p = 0,000) confirma que el modelo, con los predictores que se han elegido proporciona un ajuste satisfactorio.
]]>
El sombreado amarillo que aparece en la tabla 2, incluye los valores del estadígrafo F y la p asociada, y muestra que todos los predictores son relevantes. No obstante, el corte es, de lejos, el mejor predictor, como lo demuestra el coeficiente estandarizado que lo acompaña y que es muy superior al del resto de los predictores.La tabla 3 muestra la relevancia de cada predictor en términos de su capacidad predictiva, ese diagnóstico viene dado por un indicador de importancia. Una vez más se confirma que el corte de la décima semana resulta más valioso como predictor, expresado por un mayor indicador. La importancia se define como la proporción relativa de variación explicada por el predictor en cuestión, es decir, la variación explicada por el predictor dividida por la variación explicada por todo el modelo.
Las figuras 1, 2, 3 y 4 muestran cómo deberían ser recodificadas las variables para tener una predicción óptima, usando los mismos predictores. La recodificación del examen final preserva la métrica original. Lo mismo pasa, más o menos, con Histología, pero no con Anatomía y mucho menos con BCM. En el caso de Anatomía, lo que indican los resultados es que las categorías 2 y 3 son prácticamente idénticas a los fines de la predicción y en BCM es todavía más llamativo, porque solo el 5 se diferencia radicalmente de las otras 3 categorías. Esto quiere decir que, a los efectos de predecir cuál será el rendimiento en Fisiología Médica en el semestre siguiente, haber terminado con 2, 3 ó 4 en BCM, es prácticamente lo mismo.
]]>
Los valores medios corresponden al puntaje estimado por el modelo de regresión con escalamiento óptimo (tabla 4). Estos valores medios se han estratificado en 4 grupos, que a su vez, corresponden respectivamente al resultado de la nota final en Fisiología Médica. En este caso es fácil constatar que los de más bajos puntajes obtenidos serían los estudiantes de peor pronóstico y los que obtengan mejores puntajes están en pronóstico de éxito. Como se verá más adelante, está métrica continua se transforma mediante una regresión simple y un posterior redondeo a la métrica ordinal habitual en las calificaciones. El valor de F y la p asociadas al modelo (F = 215,76; p = 0,000), muestran que este tiene un ajuste excelente.
En la tabla 5 se observa que los coeficientes con fondo amarillo son los parámetros de un modelo que permite pasar de los valores estimados por el modelo de regresión con escalamiento óptimo a una estimación de la nota final. A su vez, esa estimación hay que convertirla a números enteros por redondeo, según se indica después.
En cuanto a los valores de la nota final de Fisiología Médica predichos por el modelo tras aplicar la transformación y redondear al entero más cercano, se aprecia una buena concordancia entre la nota que predice el modelo (exafin 1) y la nota final observada (exafin); 71,6 % de los alumnos que el modelo predice que van a alcanzar 2 puntos, efectivamente lo alcanzan. Con respecto a la nota de 5 puntos ocurre lo mismo, 78,6 % de los predichos por el modelo alcanzan calificaciones de 5 puntos. En otro sentido, el modelo es efectivo cuando predice que el alumno alcanzará 2 puntos pues solo 4 alumnos logran calificaciones de 4 o más puntos. Tampoco los que predice alcanzarán 5 puntos, suspenden el examen, lo que denota la buena concordancia en los resultados y su utilidad como herramienta pedagógica en términos de predicción.
En la figura 5 se ilustra una matriz de ponderaciones factoriales que denotan la existencia de 2 factores subyacentes, en el primero, tanto las asignaturas como el corte se asocian con la nota final; pero en el segundo, las asignaturas se disocian del corte y de la nota final. Esto pone de manifiesto que en la mayoría de los estudiantes se da una gran armonía entre la historia académica anterior, el corte y la nota actual, pero hay algunos en que se da una disociación. Sin embargo, en ambas dimensiones siempre corte y nota final, van juntos.
]]>
Las estadísticas descriptivas del rendimiento según la vía de ingreso del estudiante arrojaron que los provenientes de la Orden 18 o de los cursos de superación integral para jóvenes obtienen los peores resultados.
DISCUSIÓN
En el modelo de predicción con escalamiento óptimo propuesto, el corte de la décima semana indica ser el mejor predictor, consecuencia lógica de la cercanía a la historia académica actual. Si se entiende que el rendimiento académico es un fenómeno multifactorial,15 está claro que lógicamente el corte sería el predictor más específico. Este corte es el resultado de una evaluación en la propia asignatura donde el estudiante se ha puesto a prueba en cuanto a los conocimientos y habilidades que exige la disciplina, y es la más reciente evidencia de su rendimiento docente. Su debilidad radica en lo tardío de su disponibilidad pues el docente tendría que esperar a la décima semana de cada semestre para consumar la predicción del riesgo. Por ello, el modelo incluye otro grupo de predictores que dan la posibilidad de poder intervenir precozmente.
Estudios realizados en la Universidad Médica de Harvard16 y en la de Virginia,17,18 demuestran que los resultados de las pruebas de admisión (ingreso) pueden sugerir éxito docente en el ciclo básico, no así para el desempeño clínico, lo que habla del valor que tiene la historia académica previa y sobre todo cercana, en la predicción del rendimiento docente actual, al tiempo que se pierde el valor predictor en la medida que se aleja en el tiempo de la fecha de evaluada la historia académica previa. Está claro que el docente puede encontrarse una mayoría de alumnos cuya nota refleja la historia académica del semestre anterior, pero hay algunos estudiantes en que el corte de este semestre dice una cosa distinta de su historia académica del semestre anterior y es quien predice la nota final, y no la historia académica. Las asignaturas utilizadas tienen sus propias especificidades que se superponen a un área común de habilidades, todo lo cual explica por qué el corte podría ser el mejor predictor, unido al hecho de que se hace en un momento cercano a la nota final. ]]>
La valoración del rendimiento en asignaturas biomédicas ha sido considerada por otros autores,4,9,19 que tuvieron en cuenta el comportamiento de las notas de las pruebas de ingreso y el índice académico del preuniversitario para buscar su relación con asignaturas biomédicas de la carrera de Medicina como, Anatomía, Embriología, Histología, BCM y MIR, en los cuales se concluyó de forma general20 que el índice académico tiene una fuerte relación con el éxito docente.
En cuanto a las vías de ingreso, los de la Orden 18 y los del curso de superación integral, muestran mayores dificultades en los resultados docentes de la asignatura, al igual que otros autores que han encontrado que existe una correspondencia significativa entre los que ingresan por vía directa y los que obtienen éxito docente al egreso, sin embargo, se muestra que 45 % de los estudiantes que ingresan por la vía de la Orden 18 no logran éxito docente al egreso de la carrera (Sánchez A y Carrión E. Comportamiento de indicadores de rendimiento académico al ingreso a la carrera de Medicina durante los cursos 92-93 al 96-97, Holguín, 1997).
Por último se concluye que los indicadores vía de ingreso, notas de las asignaturas del primer semestre del primer año de la carrera de Medicina y corte de la décima semana, integrados en un modelo de predicción logran un modelo satisfactorio de predicción del rendimiento docente en la asignatura Fisiología Médica.
Además el corte de la décima semana resulta el mejor predictor debido a que es más cercano y específico de los resultados de la asignatura y la vía de ingreso puede constituir un elemento útil a la hora de identificar estudiantes en pronóstico de éxito-fracaso docente.
]]>
REFERENCIAS BIBLIOGRÁFICAS
1. Antón M, Bacallao J, Valenti J, Casado A. Modelo markoviano para un pronóstico global del rendimiento académico. Educ Med Super. 1993;7:51-5.
2. Silva LC, Alcarría A. Predicción del rendimiento académico a partir del perfil de entrada en los estudiantes de Enfermería de La Habana. Educ Med Super. 1993;7:97-106.
3. Aneiros R. Índice académico y éxito docente en primer año de Medicina. Educ Med Super. 1981;1:23-59.
4. González MC, Alfonso ZC, Fernández E, Payne S, Cabrera P. Comparación de los resultados de la prueba de salida y el rendimiento académico de Embriología I en el curso académico 1985-1986. Educ Med Super. 1988;2:87-94.
5. Bacallao J. Un enfoque bayesiana no paramétricos del pronóstico del rendimiento académico. Educ Med Super. 1991;5:29-37.
6. Bacallao J, Aneiros R, Rodríguez E, Romillo M. Pronóstico y evaluación del rendimiento académico de un ensayo pedagógico controlado. Educ Med Super. 1992;6:91-99.
7. Bacallao J. Al rescate de las pruebas de nivel de entrada como predictores del rendimiento en la enseñanza médica superior. Educ Med Super. 1996;10:12-8.
8. Bacallao J. Las curvas ROC (relative operating charactetistic) y las medidas de detectibilidad para la validación de predictores del rendimiento docente. Educ Med Super. 1996;10:3-11.
]]>
9. Carrión E. Validación de características al ingreso como predictores del rendimiento académico en la carrera de Medicina. Educ Med Super. 2002;16(1):5-18.
10. Bacallao J, Parapar J, Roque M, Bacallao J. Árboles de regresión y otras opciones metodológicas aplicadas a la predicción del rendimiento académico. Educ Med Super. 2004;18(3):16-20.
11. Bacallao J, Parapar J, Roque M, Bacallao J. La modelación jerárquica y los efectos de grupo en la predicción del rendimiento académico. Educ Med Super. 2004;18:22-7.
12. Valle A, González R, Carlos J, Vieiro P, Gómez ML, Rodríguez S. Un modelo cognitivo-motivacional explicativo del rendimiento académico en la universidad. Estudios de Psicología. 1999;20:77-100.
13. Valle A, Cabanach RG, Núnez JC, González-Pienda J, Rodríguez S, Piñeiro I. Multiple golas, motivation and academic learning British. Journal of Educational Psychology. 2003;73(1):71-87.
]]>
14. Navarro RE. El rendimiento académico: concepto, investigación y desarrollo. Revista electrónica iberoamericana sobre calidad, eficacia y cambio en educación. 2003;1(2):3-8.
15. Jiménez M. Competencia social: intervención preventiva en la escuela. Infancia y Sociedad. 2000;24:21-48.
16. Poussaint AF. Clinical experience and minority group students. A perspective from. Havard Medical School. Clin Orthop. 1999;362:78-84.
17. Baker HH, Cope MK. Relationship of preadmission variables and first and second-year course. J Am Osteopath Assoc. 2000;100:153-61.
18. Fang WL, Wood MK. The medical Academic Advancement Program at the University of Virginia School of Medicine. Acad Med. Apr 1999;74:366-69.
]]>
19. Davidson RC, Lewis EL. Affirmative action and other special consideration admissions at the University of California. Davis School of Medicina. JAMA. 1998;278:1153-8.
20. Silver B, Hodgson CS. Evaluating GPA and MCAT scores as predictor of NBME I and clerkshipperformances based on students data from one undergraduate institution. Acad Med. 1997;72:394-6.
Recibido: 4 de abril de 2008.
Aprobado: 2 de mayo de 2008. ]]>
Yunit Hernández Rodríguez. Facultad de Ciencias Médicas "Dr. Ernesto Che Guevara de la Serna", Pinar del Río, Cuba. E-mail: yunit.hernandez@infomed.sld.cu
Centro de Investigaciones y Referencia de Aterosclerosis de La Habana, Policlínico "19 de Abril", La Habana, Cuba. ]]>