Instituto de Ciencias Básicas y Preclínicas "Victoria de Girón" .

La modelación jerárquica y los efectos de grupo en la predicción del rendimiento académico

Dr.C Jorge Bacallao Gallestey,1 Dr. José M. Parapar,2 Lic. Mercedes Roque3 y Lic. Jorge Bacallao Guerra4

Resumen

El presente trabajo se realizó con el propósito de mostrar que el grupo es un modificador de la relación entre el rendimiento académico y sus predictores y con ello, fundamentar la necesidad de recurrir a la modelación jerárquica para la predicción del rendimiento. Se aplicaron modelos con coeficientes aleatorios, especialmente apropiados para la circunstancia frecuente de casos agrupados, en la que los supuestos usuales de los modelos lineales ordinarios dejan de ser válidos y los modelos clásicos, inaplicables. Se constató que algunos de los predictores tradicionales tenían relevancia condicionada al grupo, aunque no parecían tener relevancia marginal. Se demostrró así que el grupo es un modulador de la relación entre el rendimiento académico y algunos de sus predictores. La consecuencia de mayor trascedencia fue que la asignación de un estudiante a un grupo podía influir considerablemente en su rendimiento académico, independientemente de sus condiciones iniciales.

Palabras clave: Modelos multinivel, modelos de efectos mixtos, predicción del rendimiento, efecto de grupo.

Muchos tipos de datos que se emplean en estudios observacionales en las ciencias biomédicas tienen una estructura estratificada o jerárquica. Por ejemplo, en estudios en que las unidades muestrales son las viviendas, los sujetos aparecen agrupados en familias; los miembros de una misma familia son más parecidos entre sí en aspectos físicos (talla, patrón de grasa corporal), psicológicos (cociente de inteligencia, preferencias, aptitudes específicas) y culturales (hábitos de vida, tipo de relaciones sociales) que los sujetos extraídos aleatoriamente de la población.

También los estudios experimentales generan jerarquías y agrupaciones: por ejemplo, los ensayos clínicos multicentros que se realizan en instituciones o grupos demográficos elegidos al azar, que introducen fuentes de variación que no estarían anidados en los datos "no agrupados".

Si se ignoran las relaciones mencionadas anteriormente, se corre el riesgo de pasar por alto el "efecto de grupo" y de invalidar los resultados de las técnicas estadísticas que se emplean de rutina para estudiar relaciones entre variables.

Un conocido estudio de Bennett (1976)1 pretendía haber encontrado diferencias significativas favorables en los resultados académicos de adolescentes expuestos a sistemas formales de enseñanza, que luego resultaron ser un artefacto debido a haber ignorado el efecto combinado de aulas y profesores que daban lugar a una estructura jerárquica.2 Lo que ocurre es simplemente que los estudiantes de cualquier grupo, al estar expuestos a las mismas influencias pedagógicas, tienden a parecerse en su rendimiento y por tanto, la información que pueden aportar respecto de relaciones con algún interés inferencial, es menor que si hubieran pertenecido a grupos diferentes.

En el ICBP "Victoria de Girón" y en otras facultades de Medicina del país, se ha estado trabajando durante varios años en la validación de predictores del rendimiento académico con el fin de mejorar los criterios de admisión a la enseñanza médica superior y disponer de algoritmos simples para la identificación de estudiantes en riesgo.3-7 (Bacallao J, Antón M. Aspectos metodológicos relativos a la predicción del rendimiento académico en los centros de enseñanza médica superior. Presentado a concurso para el mejor trabajo científico del MINSAP en el área de investigaciones aplicadas; 1992).

En todos los casos se ha ignorado la estructura jerárquica de los datos, dada por la pertenencia de los estudiantes a grupos diferentes, que han sido integrados siguiendo diferentes criterios. Por otra parte, ha sido tema de considerable debate, si dadas las condiciones de los estudiantes al ingreso es irrelevante cómo se integren los grupos o si por el contrario, la integración de los grupos puede tener alguna influencia en los indicadores de rendimiento, tanto individual como institucionalmente.

El presente trabajo tiene el propósito de mostrar la existencia de un efecto de grupo sobre el rendimiento; que los grupos son moduladores de la relación entre el rendimiento y sus predictores, y que, en consecuencia, el modo como se integren los grupos no es irrelevante ni para los indicadores de rendimiento ni para el acto de pronosticarlos a partir de sus predictores.

Métodos

El universo de estudio del trabajo estuvo constituido por los estudiantes de nuevo ingreso en la carrera de Medicina en el ICBP "Victoria de Girón", en el curso académico 2002-2003.

Para el análisis que se describe posteriormente se tomaron los datos de casos completos en las siguientes variables:

]]> "indac" (índice académico del preuniversitario).
• "raven" (prueba de inteligencia general del mismo nombre).
• "motiv" (indicador de motivación profesional en una escala ordinal de 1
• máxima motivación- a 5 -mínima motivación-).
• "biol" (resultado de la prueba de ingreso de Biología).
• "mat" (resultado de la prueba de ingreso de Matemática).
• "calif1" (promedio de las calificaciones de todas las asignaturas del
  primer semestre, en ordinario).
• "grupo" (grupo al que fue asignado el estudiante, 9 grupos en total).

Tabla 1. Patrones tabulados de ausencia de datos.

No se muestran los patrones con menos de 1 % de los casos.
a. Las variables se ordenan de acuerdo con los patrones de datos
faltantes. ]]> b. Número de casos completos si no se usaran las variables con datos
faltantes (marcadas con X) en ese patrón.

Análisis de datos

La primera parte del análisis consistió en mostrar que el grupo es un modulador de la relación entre el rendimiento y sus predictores. Para ello se ajustaron tantos modelos de regresión lineal múltiple como grupos (9 en total) y se compararon visualmente los patrones de significación entre los distintos modelos. Luego se calcularon estadísticas descriptivas simples que aportasen evidencias acerca del efecto marginal del grupo sobre el rendimiento. Para ello se procedió del siguiente modo:

1. Se estratificó el universo de estudiantes en 3 grupos, dados por cortes óptimos en la variable "índice escalafonario" (indesc), que se obtiene como media aritmética entre el índice académico del preuniversitario (indac) y las 3 pruebas de ingreso.
2. Se estratificaron convencionalmente los grupos en 3 categorías: de alto rendimiento, de rendimiento intermedio y de bajo rendimiento.
3. Se calcularon las estadísticas descriptivas del rendimiento de acuerdo con los cruzamientos de las 2 estratificaciones anteriores.

Resultados

FIG. Medias del rendimiento académico por grupo ajustadas para valores de los predictores

Los valores de "p" resultaron de ajustar un modelo de regresión múltiple, tomando al rendimiento promedio ("calif1") como variable dependiente. A partir de ello se constató cómo el grupo modificó la relación entre el rendimiento y sus predictores. El índice académico y la prueba de ingreso de Matemática resultaron predictores significativos en 5 de los grupos, que además fueron los mismos: la prueba de Biología en 6 de ellos, el Raven en 1 y la motivación en 3. El examen de los coeficientes de la regresión, que no se incluye en este trabajo, habría permitido llegar exactamente a la misma conclusión (tabla 2).

Es interesante notar, además, que en los grupos atípicos 3 y 6, ninguno de los predictores fue relevante. Independientemente de las condiciones de entrada de estos estudiantes, su rendimiento estuvo fuertemente influenciado por factores propios de estos grupos, en los que no es propósito de este trabajo profundizar.

Tabla 2. Valores de "p" en el ajuste de los modelos de regresión lineal por grupo

Es muy ilustrativo respecto del papel determinante del grupo en relación con el rendimiento académico de los estudiantes, independientemente de sus condiciones iniciales, el que los estudiantes que ingresaron con un promedio inferior a 87 terminaronn con un promedio de 2,2, salvo si fueron asignados a grupos de alto rendimiento. Los que ingresaron con un índice escalafonario superior a 91 no se desempeñaron igual en grupos de bajo rendimiento que en grupos de rendimiento alto o medio. Tanto en los totales marginales, como en cada fila y en cada columna, se constata en la tabla 3 una tendencia monótona del rendimiento, que fue superior cuanto mayor era el índice escalafonario, pero también cuanto mejor era el grupo al que fue asignado el estudiante.

Tabla 3. Medias del rendimiento académico en los estudiantes estratificados de acuerdo con el valor de su índice escalafonario y del tipo de grupo al que fueron asignadosa

El ajuste del modelo jerárquico muestra los efectos de las covariantes anidados dentro del efecto aleatorio de grupo. El índice académico del preuniversitario, los exámenes de ingreso (de Matemática y Biología) y la prueba de motivación profesional fueron todos predictores significativos del rendimiento. No así, la prueba de Raven (tabla 4).

Tabla 4. Valores de F y significación de los efectos anidados en el modelo jerárquico Pruebas de significación de los efectos anidados (en la jerarquía de 2 niveles).a

a. Variable dependiente: calif1

No obstante, es importante destacar que la motivación no tuvo una relación monótona con el rendimiento académico. Se observó claramente que los mejores rendimientos se registraron en los estudiantes menos motivados (tabla 5).

Tabla 5. Estadísticas descriptivas del rendimiento académico de acuerdo con
la motivación

1 máxima motivación
2 mínima motivación

Discusión

Desde el punto de vista práctico, el resultado del estudio mostró que no es irrelevante el criterio de asignación de grupos que se emplee con los estudiantes al ingreso, es decir, dados varios grupos y un estudiante cualquiera, su rendimiento no depende sólo de sus condiciones de entrada, sino también del grupo al cual se asigna.

Aunque el presente trabajo no contiene evidencias suficientes para formular propuestas concretas para la asignación de los estudiantes, los resultados sugieren que un estudiante de buen pronóstico -de acuerdo con sus condiciones iniciales dadas por los predictores del rendimiento- podría empeorar su pronóstico si es asignado a un grupo con condiciones desfavorables, y recíprocamente, un estudiante con mal pronóstico, podría mejorarlo en un grupo con condiciones favorables. Aun cuando es difícil prever la resultante de este "efecto grupo" sobre el rendimiento global, sí es posible prever que el efecto se minimizaría con la aplicación de una estrategia de asignación aleatoria o que garantice condiciones homogéneas en los grupos respecto de los predictores del rendimiento. De acuerdo con esta estrategia, los grupos podrían hacerse homogéneos con respecto al índice escalafonario que integra el índice académico del preuniversitario y el de los exámenes de ingreso.

Summary

The present paper was aimed at demonstrating that the group acts as a modifier of the relation between the academic performance and its predictors, and at founding the need of resorting to hierarchical modelling to predict this performance. Models with randomized coefficients, specially appropriate for the frequent circumstance of grouped cases, where the suppossed ordinary lineal models are not valid anymore and the classical models are unapplicable, were applied. It was proved that some of the traditonal predictors were relevant according to the group, though they did not seem to have marginal relevancy. This way, it was demonstrated that the group was a modullator of the relation between academic performance and some of its predictors. The most significant consequence was that the assignation of a student to a group may influence considerably on his academic performance, independently of its initial conditions.

Key words: MULTILEVEL MODELS; MIXED EFFECTS MODELS; PERFORMANCE PREDICTION; GROUP EFFECT.

Referencias bibliográficas

1. Bennett N. Teaching Styles and Pupil Progress. London: Open Books; 1976.
2. Aitkin M, Anderson D, Hinde J. Statistical modelling of data on teaching styles (with discussion). J. Royal Statist. Soc A. 1981;144:148-61.
3. Bacallao J. Las curvas ROC y las medidas de detectabilidad para la validación de predictores del rendimiento docente. Educ Med Sup 1996; 10:3-11.
4. Bacallao J, Antón M, Rodríguez E. La validación del pronóstico del rendimiento en un centro de enseñanza médica superior. Educ Med Sup 1991;5:75-82.
5. Bacallao J. Al rescate de las pruebas de nivel de entrada como predictores del rendimiento en la enseñanza médica superior. Educ Med Sup 1996; 10:12-8.
6. Rodríguez R, Bacallao J, Díaz PA, Morejón M. Valor predictivo de algunos criterios de selección para el ingreso a la carrera de Medicina. Educ Med Sup 2000;14:17-25.
7. Rodríguez R, Díaz PA, Moreno M, Bacallao J. Capacidad predictiva de varios indicadores de selección para el ingreso a la carrera de Medicina. Educ Med Sup 2002;14:128-35.
8. Bryk AS, Raudenbush SW. Hierarchical Linear Models. Newbury Park, Sage; 1992.
9. Creswell M. A multilevel Bivariate Model. In: Prosser R, Rasbash J, Goldstein H. Data Analysis with ML3. London: Institute of Education; 1993.
10. Goldstein H, Blatchford P. Class size and educational achievement: a review of methodology with particular reference to study design. British Educational Research Journal 1998;24:255-68
11. Goldstein H, Rasbash J, Yang M, Woodhouse G, Pan H, Nuttall D, Thomas S. A multilevel analysis of school examination results. Oxford review of education 1993;19:425-33.

Recibido: 15 de enero de 2004. Aprobado: 5 de febrero de 2004.
Dr.C Jorge Bacallao Gallestey. Instituto de Ciencias Básicas y Preclínicas "Victoria de Girón". Ave 146 No. 3102., Playa, Ciudad de La Habana,Cuba, CP11600.

1 Doctor de en Ciencias de la Salud. Profesor Titular.
2 Profesor Auxilar.
3 Licenciada en Psicología.
4 Licenciado en Matemática.