Instituto de Ciencias Básicas y Preclínicas "Victoria de Girón" .
Dr.C Jorge Bacallao Gallestey,1 Dr. José M. Parapar,2 Lic. Mercedes Roque3 y Lic. Jorge Bacallao Guerra4
El presente trabajo se realizó con el propósito de mostrar que el grupo es un modificador de la relación entre el rendimiento académico y sus predictores y con ello, fundamentar la necesidad de recurrir a la modelación jerárquica para la predicción del rendimiento. Se aplicaron modelos con coeficientes aleatorios, especialmente apropiados para la circunstancia frecuente de casos agrupados, en la que los supuestos usuales de los modelos lineales ordinarios dejan de ser válidos y los modelos clásicos, inaplicables. Se constató que algunos de los predictores tradicionales tenían relevancia condicionada al grupo, aunque no parecían tener relevancia marginal. Se demostrró así que el grupo es un modulador de la relación entre el rendimiento académico y algunos de sus predictores. La consecuencia de mayor trascedencia fue que la asignación de un estudiante a un grupo podía influir considerablemente en su rendimiento académico, independientemente de sus condiciones iniciales.
Palabras clave: Modelos multinivel, modelos de efectos mixtos, predicción del rendimiento, efecto de grupo.
Muchos tipos de datos que se emplean en estudios observacionales en las ciencias biomédicas tienen una estructura estratificada o jerárquica. Por ejemplo, en estudios en que las unidades muestrales son las viviendas, los sujetos aparecen agrupados en familias; los miembros de una misma familia son más parecidos entre sí en aspectos físicos (talla, patrón de grasa corporal), psicológicos (cociente de inteligencia, preferencias, aptitudes específicas) y culturales (hábitos de vida, tipo de relaciones sociales) que los sujetos extraídos aleatoriamente de la población.
También los estudios experimentales generan jerarquías y agrupaciones: por ejemplo, los ensayos clínicos multicentros que se realizan en instituciones o grupos demográficos elegidos al azar, que introducen fuentes de variación que no estarían anidados en los datos "no agrupados".
]]> Las jerarquías constan de unidades agrupadas en diferentes niveles, y a los efectos inferenciales, su existencia no puede ignorarse. En algunas ocasiones, las jerarquías son el resultado de agrupaciones correlacionadas con las características de los propios sujetos (los adolescentes de una misma clase social que van a las mismas escuelas); en otras, los grupos pueden no estar asociados con las características de los sujetos (los estudiantes de nuevo ingreso que se asignan aleatoriamente a distintos grupos); pero una vez establecidos, aun cuando hayan sido el resultado de un proceso aleatorio, tienden a diferenciarse entre sí y sus miembros influyen en las características colectivas del grupo y reciben las influencias de éstas.Si se ignoran las relaciones mencionadas anteriormente, se corre el riesgo de pasar por alto el "efecto de grupo" y de invalidar los resultados de las técnicas estadísticas que se emplean de rutina para estudiar relaciones entre variables.
Un conocido estudio de Bennett (1976)1 pretendía haber encontrado diferencias significativas favorables en los resultados académicos de adolescentes expuestos a sistemas formales de enseñanza, que luego resultaron ser un artefacto debido a haber ignorado el efecto combinado de aulas y profesores que daban lugar a una estructura jerárquica.2 Lo que ocurre es simplemente que los estudiantes de cualquier grupo, al estar expuestos a las mismas influencias pedagógicas, tienden a parecerse en su rendimiento y por tanto, la información que pueden aportar respecto de relaciones con algún interés inferencial, es menor que si hubieran pertenecido a grupos diferentes.
En el ICBP "Victoria de Girón" y en otras facultades de Medicina del país, se ha estado trabajando durante varios años en la validación de predictores del rendimiento académico con el fin de mejorar los criterios de admisión a la enseñanza médica superior y disponer de algoritmos simples para la identificación de estudiantes en riesgo.3-7 (Bacallao J, Antón M. Aspectos metodológicos relativos a la predicción del rendimiento académico en los centros de enseñanza médica superior. Presentado a concurso para el mejor trabajo científico del MINSAP en el área de investigaciones aplicadas; 1992).
En todos los casos se ha ignorado la estructura jerárquica de los datos, dada por la pertenencia de los estudiantes a grupos diferentes, que han sido integrados siguiendo diferentes criterios. Por otra parte, ha sido tema de considerable debate, si dadas las condiciones de los estudiantes al ingreso es irrelevante cómo se integren los grupos o si por el contrario, la integración de los grupos puede tener alguna influencia en los indicadores de rendimiento, tanto individual como institucionalmente.
El presente trabajo tiene el propósito de mostrar la existencia de un efecto de grupo sobre el rendimiento; que los grupos son moduladores de la relación entre el rendimiento y sus predictores, y que, en consecuencia, el modo como se integren los grupos no es irrelevante ni para los indicadores de rendimiento ni para el acto de pronosticarlos a partir de sus predictores.
El universo de estudio del trabajo estuvo constituido por los estudiantes de nuevo ingreso en la carrera de Medicina en el ICBP "Victoria de Girón", en el curso académico 2002-2003.
Para el análisis que se describe posteriormente se tomaron los datos de casos completos en las siguientes variables:
Tabla 1. Patrones tabulados de ausencia de datos.
No de casos | Patrones datos faltantesa | Completos si...b | |||||
Calif1 | Raven | Motiv | Indac | Biol | ]]> Mat | ||
210 | 210 | ||||||
8 | ]]> | X | 218 | ||||
8 | X | ]]> X | 229 | ||||
3 | X | ]]> | 213 | ||||
9 | X | X | ]]> 219 | ||||
17 | X | X | X | 236 | |||
6 | ]]> | X | X | X | X | X | 257 |
No se muestran los patrones con menos de 1 % de los casos.
a. Las variables se ordenan de acuerdo con los patrones de datos
faltantes. ]]>
La primera parte del análisis consistió en mostrar que el grupo es un modulador de la relación entre el rendimiento y sus predictores. Para ello se ajustaron tantos modelos de regresión lineal múltiple como grupos (9 en total) y se compararon visualmente los patrones de significación entre los distintos modelos. Luego se calcularon estadísticas descriptivas simples que aportasen evidencias acerca del efecto marginal del grupo sobre el rendimiento. Para ello se procedió del siguiente modo:
FIG. Medias del rendimiento académico por grupo ajustadas para valores de los predictores
Los valores de "p" resultaron de ajustar un modelo de regresión múltiple, tomando al rendimiento promedio ("calif1") como variable dependiente. A partir de ello se constató cómo el grupo modificó la relación entre el rendimiento y sus predictores. El índice académico y la prueba de ingreso de Matemática resultaron predictores significativos en 5 de los grupos, que además fueron los mismos: la prueba de Biología en 6 de ellos, el Raven en 1 y la motivación en 3. El examen de los coeficientes de la regresión, que no se incluye en este trabajo, habría permitido llegar exactamente a la misma conclusión (tabla 2).
Es interesante notar, además, que en los grupos atípicos 3 y 6, ninguno de los predictores fue relevante. Independientemente de las condiciones de entrada de estos estudiantes, su rendimiento estuvo fuertemente influenciado por factores propios de estos grupos, en los que no es propósito de este trabajo profundizar.
Tabla 2. Valores de "p" en el ajuste de los modelos de regresión lineal por grupo
]]> Grupos | |||||||||
Variab. | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | ]]> 9 |
INDAC | ,032 | ,001 | ,719 | ,024 | ,802 | ,541 | ,009 | ,451 | ]]> ,001 |
MAT | ,002 | ,000 | ,333 | ,001 | ,287 | ,946 | ,020 | ,370 | ]]> ,009 |
BIOL | ,024 | ,002 | ,864 | ,008 | ,008 | ,921 | ,056 | ,008 | ]]> ,004 |
RAVEN | ,764 | ,881 | ,686 | ,004 | ,653 | ,119 | ,886 | ,984 | ]]> ,602 |
MOTIV | ,131 | ,209 | ,286 | ,049 | ,045 | ,309 | ,092 | ,300 | ]]> ,001 |
Es muy ilustrativo respecto del papel determinante del grupo en relación con el rendimiento académico de los estudiantes, independientemente de sus condiciones iniciales, el que los estudiantes que ingresaron con un promedio inferior a 87 terminaronn con un promedio de 2,2, salvo si fueron asignados a grupos de alto rendimiento. Los que ingresaron con un índice escalafonario superior a 91 no se desempeñaron igual en grupos de bajo rendimiento que en grupos de rendimiento alto o medio. Tanto en los totales marginales, como en cada fila y en cada columna, se constata en la tabla 3 una tendencia monótona del rendimiento, que fue superior cuanto mayor era el índice escalafonario, pero también cuanto mejor era el grupo al que fue asignado el estudiante.
Tabla 3. Medias del rendimiento académico en los estudiantes estratificados de acuerdo con el valor de su índice escalafonario y del tipo de grupo al que fueron asignadosa
1.00b | 2.00b | 3.00b | Total | |
Media | Media | ]]> Media | Media | |
1.00 (indesc<87) | 1,5 | 2,1 | 3,3 | 2,2 |
2.00 | 2,8 | 3,6 | ]]> 3,7 | 3,5 |
3.00 | 3,9 | 4,3 | 4,3 | 4,2 |
Total | 2,7 | 3,2 | ]]> 3,9 | 3,3 |
El ajuste del modelo jerárquico muestra los efectos de las covariantes anidados dentro del efecto aleatorio de grupo. El índice académico del preuniversitario, los exámenes de ingreso (de Matemática y Biología) y la prueba de motivación profesional fueron todos predictores significativos del rendimiento. No así, la prueba de Raven (tabla 4).
Tabla 4. Valores de F y significación de los efectos anidados en el modelo jerárquico Pruebas de significación de los efectos anidados (en la jerarquía de 2 niveles).a
Fuente de variación | gl. del numerador | gl. del denominador | F | Sig. |
Intercepto | 1 | 8,428 | ]]> 7,168 | ,027 |
Mat(grupo) | 9 | 130,537 | 6,131 | ,000 |
Biol(grupo) | 9 | 133,006 | 4,486 | ,000 |
Raven(grupo) | ]]> 9 | 159,971 | 1,398 | ,193 |
Motiv(grupo) | 9 | 151,982 | 2,288 | ,020 |
Indac(grupo) | 9 | 35,461 | ]]> 3,250 | ,006 |
a. Variable dependiente: calif1
No obstante, es importante destacar que la motivación no tuvo una relación monótona con el rendimiento académico. Se observó claramente que los mejores rendimientos se registraron en los estudiantes menos motivados (tabla 5).
Tabla 5. Estadísticas descriptivas del rendimiento académico de acuerdo con
la motivación
Media | Desviación estándar | |
]]> 1.00 | 3,2 | 1,1 |
2.00 | 3,6 | 1,4 |
3.00 | 3,2 | 1,6 |
4.00 | ]]> 3,7 | ,9 |
5.00 | 4,2 | ,3 |
Total del grupo | 3,4 | 1,5 |
1 máxima motivación
2 mínima motivación
Desde el punto de vista práctico, el resultado del estudio mostró que no es irrelevante el criterio de asignación de grupos que se emplee con los estudiantes al ingreso, es decir, dados varios grupos y un estudiante cualquiera, su rendimiento no depende sólo de sus condiciones de entrada, sino también del grupo al cual se asigna.
Aunque el presente trabajo no contiene evidencias suficientes para formular propuestas concretas para la asignación de los estudiantes, los resultados sugieren que un estudiante de buen pronóstico -de acuerdo con sus condiciones iniciales dadas por los predictores del rendimiento- podría empeorar su pronóstico si es asignado a un grupo con condiciones desfavorables, y recíprocamente, un estudiante con mal pronóstico, podría mejorarlo en un grupo con condiciones favorables. Aun cuando es difícil prever la resultante de este "efecto grupo" sobre el rendimiento global, sí es posible prever que el efecto se minimizaría con la aplicación de una estrategia de asignación aleatoria o que garantice condiciones homogéneas en los grupos respecto de los predictores del rendimiento. De acuerdo con esta estrategia, los grupos podrían hacerse homogéneos con respecto al índice escalafonario que integra el índice académico del preuniversitario y el de los exámenes de ingreso.
The present paper was aimed at demonstrating that the group acts as a modifier of the relation between the academic performance and its predictors, and at founding the need of resorting to hierarchical modelling to predict this performance. Models with randomized coefficients, specially appropriate for the frequent circumstance of grouped cases, where the suppossed ordinary lineal models are not valid anymore and the classical models are unapplicable, were applied. It was proved that some of the traditonal predictors were relevant according to the group, though they did not seem to have marginal relevancy. This way, it was demonstrated that the group was a modullator of the relation between academic performance and some of its predictors. The most significant consequence was that the assignation of a student to a group may influence considerably on his academic performance, independently of its initial conditions.
Key words: MULTILEVEL MODELS; MIXED EFFECTS MODELS; PERFORMANCE PREDICTION; GROUP EFFECT.
Recibido: 15 de enero de 2004. Aprobado: 5 de febrero de 2004.
Dr.C Jorge Bacallao Gallestey. Instituto de Ciencias Básicas y Preclínicas "Victoria de Girón". Ave 146 No. 3102., Playa, Ciudad de La Habana,Cuba, CP11600.
]]> ]]>
1 Doctor de en Ciencias de la Salud. Profesor Titular.
2 Profesor Auxilar.
3 Licenciada en Psicología.
4 Licenciado en Matemática.