Capacidad predictiva de varios indicadores de selección para el ingreso a la carrera de medicina

RESUMEN

Descriptores DeCS: CRITERIO DE ADMISION ESCOLAR; TESTS DE APTITUD; PRUEBA DE ADMISION ACADEMICA; ESTUDIANTES DE MEDICINA; MODELOS LOGISTICOS; ESCUELAS MEDICAS.
Uno de los aspectos determinantes en el afán de lograr cada vez egresados con mejor calidad y mejores condiciones para hacer frente a las demandas de salud de la población, es la selección de los aspirantes más aptos.

Al pasar, por necesidades derivadas del propio desarrollo, de un acceso masivo a la enseñanza superior, a un acceso más selectivo, se ha hecho imprescindible mejorar cada vez los criterios aplicados en el proceso de selección.

Estando prestablecidas las cuotas de ingreso, en función de una planificación estratégica a largo plazo de las necesidades del país para hacer frente al dinámico proceso de transición epidemiológica, y a las implicaciones que tiene dicho proceso en términos de demanda de servicios de salud, se hace imprescindible una caracterización adecuada que permita la posterior selección para dar cumplimiento a las cuotas de ingreso.

Si la caracterización es rigurosa y objetivamente medible, la selección se limita entonces a ordenar en forma decreciente a los aspirantes y establecer el punto de quiebre para la admisión al sistema en cuanto se haya completado la cuota.

Uno de los criterios -aunque no el único- para decidir la mejor forma de caracterizar a los aspirantes sería a través de la asociación de los indicadores que se emplean en el proceso de admisión con el posterior rendimiento académico en la enseñanza médica superior. En esta dirección se han desarrollado algunas experiencias,^1,2 no sólo en cuanto a la identificación propiamente de presuntos predictores del rendimiento, sino en la propuesta de una estrategia metodológica que podría aplicarse en circunstancias parecidas y con el fin de evaluar otros indicadores que eventualmente podrían proponerse.

En un trabajo previo³ de los autores del presente artículo se obtuvieron algunos resultados preliminares que permiten afirmar, con un grado razonable de certeza: (a) la excelente capacidad predictiva del índice académico de la enseñanza preuniversitaria, (b) la aceptable capacidad predictiva de los exámenes de ingreso de Química y Biología (no así el de Matemática) y de una prueba de razonamiento verbal que incluye la exploración de habilidades productivas en los aspirantes, cuando se les considera como predictores individuales y (c) el poco margen adicional que todos estos indicadores aportan al pronóstico cuando se les incluye dentro de una batería en la que ya figura el índice académico.

El enfoque elegido en dicho trabajo descansó en el empleo de modelos de regresión múltiple, que suponen la definición de la variable de rendimiento a predecir como un atributo continuo (el promedio de los resultados en todas las asignaturas de un curso académico), de modo que el pronóstico es una estimación de la calificación del estudiante en una escala que varía teóricamente entre 2 y 5, de acuerdo con los criterios vigentes de evaluación. ]]> En el presente trabajo se optó por la variante de concebir la variable a predecir como la dicotomía éxito-fracaso que conduce a formular el pronóstico en términos de una probabilidad individual. Aunque puede, en general, anticiparse una buena coincidencia entre los resultados de ambos enfoques en la identificación de los predictores relevantes, no necesariamente un indicador que discrimina entre los 2 polos del rendimiento (el éxito y el fracaso) debe asociarse con la expresión continua de dicho rendimiento.

El propósito del presente artículo es verificar la replicabilidad de los resultados esenciales del trabajo ya referido, cuando la predicción se orienta a la identificación de los estudiantes en riesgo de fracaso académico.

MÉTODOS

Todos los aspirantes a ingresar en el destacamento fueron objetos de una entrevista (realizada por profesores con entrenamiento y experiencia en esta actividad) y fueron sometidos a una prueba de razonamiento verbal. El propósito de la entrevista (ENT) es hacer una apreciación general de la capacidad de comunicación oral, el nivel de información general y el grado de motivación del aspirante hacia las carreras de ciencias médicas; el propósito de la prueba de razonamiento verbal (RV) fue medir capacidades productivas de expresión verbal en los aspirantes.¹ Los resultados de ambas pruebas se expresan en una escala cualitativa ordinal de 1, 2 y 3. El criterio de tamizaje empleado se basaba en 3 niveles de selección: el primero, que decantaba aspirantes con un índice académico inferior a 90; el segundo, que establecía como requisito de admisión una calificación de al menos 2 en RV o ENT, es decir, que eliminaba a los aspirantes con 1 en ambas pruebas, y el tercero, basado en el índice escalafonario que establece el Ministerio de Educación Superior y que incluye el IAC y las pruebas de ingreso de Matemática (MAT), Química (QUI) y Biología (BIO).

IAC se calcula a partir del promedio de las asignaturas examinadas en 10mo. y 11no. grados y en el primer semestre del 12mo. grado, y el valor escalafonario (VESC) se obtiene de la suma del IAC con el promedio de los exámenes de ingreso sobre 50 puntos cada uno. De este modo, tanto IAC como VESC se expresan en una escala cuantitativa entre 0 y 100 puntos.²

Para el primer curso académico se obtuvo el promedio aritmético de las calificaciones de todas las asignaturas incluidas en el plan de estudio⁴ y se definieron entonces el éxito y el fracaso según el promedio se encontrase por encima o por debajo de 4 unidades, respectivamente.

Se obtuvieron las frecuencias de éxito y fracaso para las categorías de ENT y RV para valores de IAC por encima y por debajo de 98 puntos.³ Se ajustaron varios modelos de regresión logística⁵ incluyendo como predictores distintas combinaciones de las variables de 3 instancias de filtraje del proceso de admisión. Para cada modelo se obtuvo un intervalo de confianza al 95 % para el odds ratio de cada predictor, la significación para la hipótesis de igualdad a 1 de cada odds ratio y el área bajo la curva ROC asociada a las probabilidades de éxito estimadas por el modelo (1.2).⁴

RESULTADOS

Las tablas de la 2 a la 7 resumen los resultados del ajuste de los distintos modelos de regresión logística. A diferencia del trabajo ya referido³ en que se empleó la versión paso a paso de los modelos de regresión, ahora se optó por la modalidad directa de los modelos utilizando en cada caso las siguientes combinaciones de predictores: 1) IAC, 2) ENT + RV, 3) IAC + ENT + RV, 4) MAT + QUI + BIO, 5) IAC + MAT + QUI + BIO y 6) IAC + RV + ENT + MAT + QUI + BIO. De este modo resulta más fácil apreciar cuánto se gana en capacidad predictiva cuando se añade una variable al modelo precedente y el aporte individual de cada variable o cada grupo de ellas.

Tabla 4. Resultados del modelo predictivo y se tomaron como predictores al Índice académico, los resultados de la entrevista y la prueba de razonamiento verbal ]]>

Predictor	Odds ratio	Intervalo de confianza	Probabilidad
IAC	2,59	[1,01;6,62]	0,047
RV	3,20	[1,04;9,85]	0,043
ENT	]]> 1,44	[0,25;8,29]	0,683
Área bajo la curva ROC = 0,71

 

Tabla 5. Resultados del modelo predictivo y se tomaron como predictores las pruebas de ingreso de Matemática, Química y Biología

Tabla 6. Resultados del modelo predictivo y se tomaron como predictores el Índice académico y las pruebas de ingreso de Matemática, Química y Biología ]]>

Predictor	Odds ratio	Intervalo de confianza	Probabilidad
IAC	2,57	[1,04;6,34]	0,040
MAT	0,98	[0,84;1,15]	0,837
QUI	]]> 1,07	[0,86;1,33]	0,561
BIO	1,06	[0,86;1,32]	0,574
Área bajo la curva ROC = 0,71

 

Hay 2 cosas que saltan a la vista: una de ellas es la notable estabilidad en las estimaciones del odds ratio asociadas a cada predictor; la otra es el hecho de que sólo se consiguen detectabilidades de 0,70 o superiores cuando el IAC participa de la batería de predictores. El primer elemento es importante, porque constituye una buena garantía de la confiabilidad que puede atribuirse a la estimación del efecto de cada variable. Normalmente, cuando se incluyen o se extraen predictores del modelo, cambia el impacto relativo de los predictores restantes, lo cual introduce un elemento de indeterminación que no está presente en estos resultados.

DISCUSIÓN

Como era de esperar, de nuevo el índice académico revela ser una variable con gran capacidad predictiva. Como se observa claramente en los cuadros 2, 4, 6 y 7, IAC tiene siempre asociado un odds ratio significativo (o muy cercano a la significación para a = 0,05 en el cuadro 7). Como ya se comentó, la estabilidad de un resultado es la mejor evidencia en favor de su confiabilidad, porque normalmente, la relevancia de un indicador depende del número y la identidad de los predictores que lo acompañan en el modelo. El IAC resulta relevante siempre, independientemente del resto de los predictores que figuran en el modelo. Por otra parte, el valor 0,70, que marca un umbral de buena detectabilidad para un modelo⁶ sólo se alcanza cuando el IAC se incluye entre los predictores.

La prueba de razonamiento verbal, que ya había resultado significativa para la estimación del rendimiento,³ adquiere ahora mayor relevancia como predictor del éxito (en cada uno de los modelos en que se incluye, su odds ratio asociado es significativamente mayor que 1, y en todos los casos mayor incluso que el que se asocia a IAC). Esto se interpretaría del siguiente modo: dentro de las categorías de éxito y fracaso el RV demostraba una capacidad discriminatoria significativa, pero moderada;³ sin embargo, entre dichas categorías RV discrimina considerablemente.

Las consideraciones respecto a RV son importantes, porque, junto a la entrevista es éste el elemento que se añade a los indicadores que preceptivamente estipula el MES como parte del proceso de admisión. A la objeción de que incluir a RV como parte del segundo filtro del proceso privaría a algunos aspirantes potencialmente exitosos de la entrada al sistema, puede responderse que el plan de plazas se cubre íntegramente, por lo que, si el segundo filtro (del que forma parte RV) fuese más flexible, el tercer filtro tendría que ser más estricto para no sobrepasar el número de plazas establecidas.

Las pruebas de ingreso no añaden casi nada a la predicción del éxito, se incluye aquí tanto a QUI como a BIO que sí tenían un aporte importante como predictores de la calificación.³ En la tabla 5, que contiene los resultados del ajuste del modelo que sólo incluye a las pruebas de ingreso como predictores, ninguno aparece con un odds ratio significativo, y el modelo en su conjunto alcanza una detectabilidad de sólo 0,66, por debajo del umbral convencional de eficacia del modelo.⁶ No obstante, al margen de estas consideraciones estadísticas, es obligado reconocer que la existencia de los exámenes de ingreso constituyen un elemento de presión permanente sobre el estudiante de preuniversitario que se traduce en un esfuerzo por incrementar su IAC y una presión sobre el propio sistema educacional que se ve obligado así a elevar la calidad de su proceso docente.

Perspectivamente debería analizarse la conveniencia de ponderar de manera diferente el valor del IAC en el segundo filtro de ingreso. Bajo la modalidad actual del proceso de admisión, puede ocurrir que un estudiante con un IAC de 90,5 supere exitosamente la segunda instancia de filtraje y que uno con un IAC de 99 no logre superarlo. Si se tomase en cuenta al IAC en el segundo filtro, se protegería a los estudiantes con mayor índice académico y, por consiguiente, una mayor probabilidad de éxito. Otra alternativa podría ser la de instrumentar un proceso secuencial de admisión que, ante una demanda mayor de ingreso, estableciera requisitos más exigentes desde el primer filtro, basadas en un punto de corte más alto para el IAC, lo cual puede rendir mejores dividendos en términos de costo-beneficio.

SUMMARY

Subject headings: SCHOOL ADMISSION CRITERIA; APTITUDE TESTS; COLLEGE ADMISSION TEST; STUDENTS, MEDICAL; LOGISTIC MODELS; SCHOOLS, MEDICAL.

REFERENCIAS BIBLIOGRÁFICAS

1. Bacallao J. Las curvas ROC y las medidas de detectabilidad para la validación de predictores del rendimiento docente. Educ Med Sup 1996;10:3-11.
2. _____. Al rescate de las pruebas de nivel de entrada como predictores del rendimiento en la enseñanza médica superior. Educ Med Sup 1996;10:12-8.
3. Rodríguez R, Díaz PA, Moreno M, Bacallao J. Valor predictivo de algunos criterios de selección para el ingreso a la carrera de medicina (en prensa).
4. Ministerio de Salud Pública. La formación del médico general básico. Aplicación de un nuevo plan de estudio. Documento Interno MINSAP, ISCM-H. La Habana, 1986:1-20.
5. Bacallao J. Diversos enfoques estadísticos del pronóstico del rendimiento académico. Rev Cubana Educ Sup 1985;3:27-34.
6. Goddard MJ, Hingberg I. Receiver operator characteristic (ROC) curves and non-normal data: an empirical study. Stat Med 1990;9:325-37.