SciELO - Scientific Electronic Library Online

 
vol.18 número2Sistema de influencias para la formación integral de los egresados de los centros de Educación Médica Superior índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

  • No hay articulos citadosCitado por SciELO

Links relacionados

  • No hay articulos similaresSimilares en SciELO

Compartir


Educación Médica Superior

versión impresa ISSN 0864-2141

Educ Med Super v.18 n.2 Ciudad de la Habana abr.-jun. 2004

 

Instituto de Ciencias Básicas y Preclínicas "Victoria de Girón" .

La modelación jerárquica y los efectos de grupo en la predicción del rendimiento académico

Dr.C Jorge Bacallao Gallestey,1 Dr. José M. Parapar,2 Lic. Mercedes Roque3 y Lic. Jorge Bacallao Guerra4

Resumen

El presente trabajo se realizó con el propósito de mostrar que el grupo es un modificador de la relación entre el rendimiento académico y sus predictores y con ello, fundamentar la necesidad de recurrir a la modelación jerárquica para la predicción del rendimiento. Se aplicaron modelos con coeficientes aleatorios, especialmente apropiados para la circunstancia frecuente de casos agrupados, en la que los supuestos usuales de los modelos lineales ordinarios dejan de ser válidos y los modelos clásicos, inaplicables. Se constató que algunos de los predictores tradicionales tenían relevancia condicionada al grupo, aunque no parecían tener relevancia marginal. Se demostrró así que el grupo es un modulador de la relación entre el rendimiento académico y algunos de sus predictores. La consecuencia de mayor trascedencia fue que la asignación de un estudiante a un grupo podía influir considerablemente en su rendimiento académico, independientemente de sus condiciones iniciales.

Palabras clave: Modelos multinivel, modelos de efectos mixtos, predicción del rendimiento, efecto de grupo.

Muchos tipos de datos que se emplean en estudios observacionales en las ciencias biomédicas tienen una estructura estratificada o jerárquica. Por ejemplo, en estudios en que las unidades muestrales son las viviendas, los sujetos aparecen agrupados en familias; los miembros de una misma familia son más parecidos entre sí en aspectos físicos (talla, patrón de grasa corporal), psicológicos (cociente de inteligencia, preferencias, aptitudes específicas) y culturales (hábitos de vida, tipo de relaciones sociales) que los sujetos extraídos aleatoriamente de la población.

También los estudios experimentales generan jerarquías y agrupaciones: por ejemplo, los ensayos clínicos multicentros que se realizan en instituciones o grupos demográficos elegidos al azar, que introducen fuentes de variación que no estarían anidados en los datos "no agrupados".

Las jerarquías constan de unidades agrupadas en diferentes niveles, y a los efectos inferenciales, su existencia no puede ignorarse. En algunas ocasiones, las jerarquías son el resultado de agrupaciones correlacionadas con las características de los propios sujetos (los adolescentes de una misma clase social que van a las mismas escuelas); en otras, los grupos pueden no estar asociados con las características de los sujetos (los estudiantes de nuevo ingreso que se asignan aleatoriamente a distintos grupos); pero una vez establecidos, aun cuando hayan sido el resultado de un proceso aleatorio, tienden a diferenciarse entre sí y sus miembros influyen en las características colectivas del grupo y reciben las influencias de éstas.

Si se ignoran las relaciones mencionadas anteriormente, se corre el riesgo de pasar por alto el "efecto de grupo" y de invalidar los resultados de las técnicas estadísticas que se emplean de rutina para estudiar relaciones entre variables.

Un conocido estudio de Bennett (1976)1 pretendía haber encontrado diferencias significativas favorables en los resultados académicos de adolescentes expuestos a sistemas formales de enseñanza, que luego resultaron ser un artefacto debido a haber ignorado el efecto combinado de aulas y profesores que daban lugar a una estructura jerárquica.2 Lo que ocurre es simplemente que los estudiantes de cualquier grupo, al estar expuestos a las mismas influencias pedagógicas, tienden a parecerse en su rendimiento y por tanto, la información que pueden aportar respecto de relaciones con algún interés inferencial, es menor que si hubieran pertenecido a grupos diferentes.

En el ICBP "Victoria de Girón" y en otras facultades de Medicina del país, se ha estado trabajando durante varios años en la validación de predictores del rendimiento académico con el fin de mejorar los criterios de admisión a la enseñanza médica superior y disponer de algoritmos simples para la identificación de estudiantes en riesgo.3-7 (Bacallao J, Antón M. Aspectos metodológicos relativos a la predicción del rendimiento académico en los centros de enseñanza médica superior. Presentado a concurso para el mejor trabajo científico del MINSAP en el área de investigaciones aplicadas; 1992).

En todos los casos se ha ignorado la estructura jerárquica de los datos, dada por la pertenencia de los estudiantes a grupos diferentes, que han sido integrados siguiendo diferentes criterios. Por otra parte, ha sido tema de considerable debate, si dadas las condiciones de los estudiantes al ingreso es irrelevante cómo se integren los grupos o si por el contrario, la integración de los grupos puede tener alguna influencia en los indicadores de rendimiento, tanto individual como institucionalmente.

El presente trabajo tiene el propósito de mostrar la existencia de un efecto de grupo sobre el rendimiento; que los grupos son moduladores de la relación entre el rendimiento y sus predictores, y que, en consecuencia, el modo como se integren los grupos no es irrelevante ni para los indicadores de rendimiento ni para el acto de pronosticarlos a partir de sus predictores.

Métodos

El universo de estudio del trabajo estuvo constituido por los estudiantes de nuevo ingreso en la carrera de Medicina en el ICBP "Victoria de Girón", en el curso académico 2002-2003.

Para el análisis que se describe posteriormente se tomaron los datos de casos completos en las siguientes variables:

  • "indac" (índice académico del preuniversitario).
  • "raven" (prueba de inteligencia general del mismo nombre).
  • "motiv" (indicador de motivación profesional en una escala ordinal de 1
  • máxima motivación- a 5 -mínima motivación-).
  • "biol" (resultado de la prueba de ingreso de Biología).
  • "mat" (resultado de la prueba de ingreso de Matemática).
  • "calif1" (promedio de las calificaciones de todas las asignaturas del
    primer semestre, en ordinario).
  • "grupo" (grupo al que fue asignado el estudiante, 9 grupos en total).

La salida del paquete SPSS versión 11,5 muestra el patrón de datos faltantes para las variables mencionadas. Como es fácil constatar, hubo 210 casos completos para estas variables, de un total de 265 casos posibles. El patrón de datos faltantes no tiene influencia alguna sobre las inferencias estadísticas, pues se trata de casos con otras vías de entrada (que no requerían exámenes de ingreso) o que por alguna razón no asociada con el rendimiento posterior, no realizaron la prueba de Raven o la prueba de motivación profesional.

Tabla 1. Patrones tabulados de ausencia de datos.

No de casos
Patrones datos faltantesa
Completos si...b
Calif1
Raven
Motiv
Indac
Biol
Mat
210
210
8
X
218
8
X
X
229
3
X
213
9
X
X
219
17
X
X
X
236
6
X
X
X
X
X
257

No se muestran los patrones con menos de 1 % de los casos.
a. Las variables se ordenan de acuerdo con los patrones de datos
faltantes.
b. Número de casos completos si no se usaran las variables con datos
faltantes (marcadas con X) en ese patrón.

Análisis de datos

La primera parte del análisis consistió en mostrar que el grupo es un modulador de la relación entre el rendimiento y sus predictores. Para ello se ajustaron tantos modelos de regresión lineal múltiple como grupos (9 en total) y se compararon visualmente los patrones de significación entre los distintos modelos. Luego se calcularon estadísticas descriptivas simples que aportasen evidencias acerca del efecto marginal del grupo sobre el rendimiento. Para ello se procedió del siguiente modo:

  1. Se estratificó el universo de estudiantes en 3 grupos, dados por cortes óptimos en la variable "índice escalafonario" (indesc), que se obtiene como media aritmética entre el índice académico del preuniversitario (indac) y las 3 pruebas de ingreso.
  2. Se estratificaron convencionalmente los grupos en 3 categorías: de alto rendimiento, de rendimiento intermedio y de bajo rendimiento.
  3. Se calcularon las estadísticas descriptivas del rendimiento de acuerdo con los cruzamientos de las 2 estratificaciones anteriores.
Se ajustó un modelo lineal jerárquico en 2 niveles. Las unidades de primer nivel son los estudiantes y las de segundo nivel los grupos.8-11 Se tomó como variable dependiente el promedio de las calificaciones en examen ordinario durante el primer semestre de la carrera de Medicina ("calif1"). Los términos del modelo fueron: el grupo (como efecto aleatorio) y los efectos de cada uno de los regresores de primer nivel ("indac", "mat", "biol", "raven" y "motiv") anidados dentro del grupo.

Resultados

Se observaron claramente 2 grupos atípicos: el 3 y el 6, y -tal vez no tan claramente- 3 categorías de grupos: uno de bajo rendimiento (formado por los grupos 1, 2 y 3), otro de rendimiento intermedio (grupos 4 y 5) y otro de alto rendimiento (grupos 6, 7, 8 y 9). Es importante notar que, aun después de ajustar para los valores de las covariantes, es decir, después de remover el efecto de los predictores del rendimiento, los grupos exhibieron diferencias entre sí. En ausencia de algún factor sistemático (la calidad o la experiencia de los profesores de cada grupo) estas diferencias sólo serían explicables por factores asociados a las dinámicas internas de los grupos, que a su vez podría depender de su composición en relación con factores ajenos a los que se toman como predictores del aprovechamiento académico (fig.1).

FIG. Medias del rendimiento académico por grupo ajustadas para valores de los predictores

Los valores de "p" resultaron de ajustar un modelo de regresión múltiple, tomando al rendimiento promedio ("calif1") como variable dependiente. A partir de ello se constató cómo el grupo modificó la relación entre el rendimiento y sus predictores. El índice académico y la prueba de ingreso de Matemática resultaron predictores significativos en 5 de los grupos, que además fueron los mismos: la prueba de Biología en 6 de ellos, el Raven en 1 y la motivación en 3. El examen de los coeficientes de la regresión, que no se incluye en este trabajo, habría permitido llegar exactamente a la misma conclusión (tabla 2).

Es interesante notar, además, que en los grupos atípicos 3 y 6, ninguno de los predictores fue relevante. Independientemente de las condiciones de entrada de estos estudiantes, su rendimiento estuvo fuertemente influenciado por factores propios de estos grupos, en los que no es propósito de este trabajo profundizar.

Tabla 2. Valores de "p" en el ajuste de los modelos de regresión lineal por grupo

Grupos
Variab.
1
2
3
4
5
6
7
8
9
INDAC
,032
,001
,719
,024
,802
,541
,009
,451
,001
MAT
,002
,000
,333
,001
,287
,946
,020
,370
,009
BIOL
,024
,002
,864
,008
,008
,921
,056
,008
,004
RAVEN
,764
,881
,686
,004
,653
,119
,886
,984
,602
MOTIV
,131
,209
,286
,049
,045
,309
,092
,300
,001

Es muy ilustrativo respecto del papel determinante del grupo en relación con el rendimiento académico de los estudiantes, independientemente de sus condiciones iniciales, el que los estudiantes que ingresaron con un promedio inferior a 87 terminaronn con un promedio de 2,2, salvo si fueron asignados a grupos de alto rendimiento. Los que ingresaron con un índice escalafonario superior a 91 no se desempeñaron igual en grupos de bajo rendimiento que en grupos de rendimiento alto o medio. Tanto en los totales marginales, como en cada fila y en cada columna, se constata en la tabla 3 una tendencia monótona del rendimiento, que fue superior cuanto mayor era el índice escalafonario, pero también cuanto mejor era el grupo al que fue asignado el estudiante.

Tabla 3. Medias del rendimiento académico en los estudiantes estratificados de acuerdo con el valor de su índice escalafonario y del tipo de grupo al que fueron asignadosa

1.00b
2.00b
3.00b
Total
Media
Media
Media
Media
1.00 (indesc<87)
1,5
2,1
3,3
2,2
2.00
2,8
3,6
3,7
3,5
3.00
3,9
4,3
4,3
4,2
Total
2,7
3,2
3,9
3,3

El ajuste del modelo jerárquico muestra los efectos de las covariantes anidados dentro del efecto aleatorio de grupo. El índice académico del preuniversitario, los exámenes de ingreso (de Matemática y Biología) y la prueba de motivación profesional fueron todos predictores significativos del rendimiento. No así, la prueba de Raven (tabla 4).

Tabla 4. Valores de F y significación de los efectos anidados en el modelo jerárquico Pruebas de significación de los efectos anidados (en la jerarquía de 2 niveles).a

Fuente de variación
gl. del numerador
gl. del denominador
F
Sig.
Intercepto
1
8,428
7,168
,027
Mat(grupo)
9
130,537
6,131
,000
Biol(grupo)
9
133,006
4,486
,000
Raven(grupo)
9
159,971
1,398
,193
Motiv(grupo)
9
151,982
2,288
,020
Indac(grupo)
9
35,461
3,250
,006

a. Variable dependiente: calif1

No obstante, es importante destacar que la motivación no tuvo una relación monótona con el rendimiento académico. Se observó claramente que los mejores rendimientos se registraron en los estudiantes menos motivados (tabla 5).

Tabla 5. Estadísticas descriptivas del rendimiento académico de acuerdo con
la motivación

Media
Desviación estándar
1.00
3,2
1,1
2.00
3,6
1,4
3.00
3,2
1,6
4.00
3,7
,9
5.00
4,2
,3
Total del grupo
3,4
1,5

1 máxima motivación
2 mínima motivación

Discusión

Se confirmó la conjetura de que los grupos podrían actuar como un modificador de la relación entre el rendimiento académico y varios de sus predictores o marcadores. Hay 2 "efectos grupo": un efecto directo sobre el rendimiento y un efecto de modulación ("interacción") de la relación ya referida.Desde el punto de vista metodológico, el hecho constatado reafirmó la necesidad de estudiar estas relaciones mediante modelos con coeficientes aleatorios, en lugar de los modelos de regresión tradicionales que consideran los coeficientes como parámetros fijos. Este sería el modo correcto de proceder siempre que se sospeche que los datos aparecen agrupados en jerarquías que crean dependencias entre sujetos de un mismo grupo.

Desde el punto de vista práctico, el resultado del estudio mostró que no es irrelevante el criterio de asignación de grupos que se emplee con los estudiantes al ingreso, es decir, dados varios grupos y un estudiante cualquiera, su rendimiento no depende sólo de sus condiciones de entrada, sino también del grupo al cual se asigna.

Aunque el presente trabajo no contiene evidencias suficientes para formular propuestas concretas para la asignación de los estudiantes, los resultados sugieren que un estudiante de buen pronóstico -de acuerdo con sus condiciones iniciales dadas por los predictores del rendimiento- podría empeorar su pronóstico si es asignado a un grupo con condiciones desfavorables, y recíprocamente, un estudiante con mal pronóstico, podría mejorarlo en un grupo con condiciones favorables. Aun cuando es difícil prever la resultante de este "efecto grupo" sobre el rendimiento global, sí es posible prever que el efecto se minimizaría con la aplicación de una estrategia de asignación aleatoria o que garantice condiciones homogéneas en los grupos respecto de los predictores del rendimiento. De acuerdo con esta estrategia, los grupos podrían hacerse homogéneos con respecto al índice escalafonario que integra el índice académico del preuniversitario y el de los exámenes de ingreso.

Summary

The present paper was aimed at demonstrating that the group acts as a modifier of the relation between the academic performance and its predictors, and at founding the need of resorting to hierarchical modelling to predict this performance. Models with randomized coefficients, specially appropriate for the frequent circumstance of grouped cases, where the suppossed ordinary lineal models are not valid anymore and the classical models are unapplicable, were applied. It was proved that some of the traditonal predictors were relevant according to the group, though they did not seem to have marginal relevancy. This way, it was demonstrated that the group was a modullator of the relation between academic performance and some of its predictors. The most significant consequence was that the assignation of a student to a group may influence considerably on his academic performance, independently of its initial conditions.

Key words: MULTILEVEL MODELS; MIXED EFFECTS MODELS; PERFORMANCE PREDICTION; GROUP EFFECT.

Referencias bibliográficas

  1. Bennett N. Teaching Styles and Pupil Progress. London: Open Books; 1976.
  2. Aitkin M, Anderson D, Hinde J. Statistical modelling of data on teaching styles (with discussion). J. Royal Statist. Soc A. 1981;144:148-61.
  3. Bacallao J. Las curvas ROC y las medidas de detectabilidad para la validación de predictores del rendimiento docente. Educ Med Sup 1996; 10:3-11.
  4. Bacallao J, Antón M, Rodríguez E. La validación del pronóstico del rendimiento en un centro de enseñanza médica superior. Educ Med Sup 1991;5:75-82.
  5. Bacallao J. Al rescate de las pruebas de nivel de entrada como predictores del rendimiento en la enseñanza médica superior. Educ Med Sup 1996; 10:12-8.
  6. Rodríguez R, Bacallao J, Díaz PA, Morejón M. Valor predictivo de algunos criterios de selección para el ingreso a la carrera de Medicina. Educ Med Sup 2000;14:17-25.
  7. Rodríguez R, Díaz PA, Moreno M, Bacallao J. Capacidad predictiva de varios indicadores de selección para el ingreso a la carrera de Medicina. Educ Med Sup 2002;14:128-35.
  8. Bryk AS, Raudenbush SW. Hierarchical Linear Models. Newbury Park, Sage; 1992.
  9. Creswell M. A multilevel Bivariate Model. In: Prosser R, Rasbash J, Goldstein H. Data Analysis with ML3. London: Institute of Education; 1993.
  10. Goldstein H, Blatchford P. Class size and educational achievement: a review of methodology with particular reference to study design. British Educational Research Journal 1998;24:255-68
  11. Goldstein H, Rasbash J, Yang M, Woodhouse G, Pan H, Nuttall D, Thomas S. A multilevel analysis of school examination results. Oxford review of education 1993;19:425-33.

Recibido: 15 de enero de 2004. Aprobado: 5 de febrero de 2004.
Dr.C Jorge Bacallao Gallestey. Instituto de Ciencias Básicas y Preclínicas "Victoria de Girón". Ave 146 No. 3102., Playa, Ciudad de La Habana,Cuba, CP11600.

1 Doctor de en Ciencias de la Salud. Profesor Titular.
2 Profesor Auxilar.
3 Licenciada en Psicología.
4 Licenciado en Matemática.