Facultad de Ciencias Médicas de Pinar del Río
ICBPC "Victoria de Girón"

Capacidad predictiva de varios indicadores de selección para el ingreso a la carrera de medicina

Lic. Raúl Rodríguez Fontes,¹ Dr. Pedro A. Díaz Rodríguez,² Lic. Mirna Moreno Lazo³ y Dr. CM Jorge Bacallao Gallestey⁴

RESUMEN

Se estudia la capacidad predictiva de las pruebas de aptitud, el índice académico y los exámenes de ingreso, en relación con el rendimiento académico en el primer año de la carrera de medicina. Para ello se utiliza como muestra de entrenamiento a los estudiantes del X Contingente del Destacamento "Carlos J. Finlay" que ingresaron a la enseñanza superior en el curso 91-92. La información utilizada se obtuvo como parte del proceso selectivo y a partir de las calificaciones del primer año de la carrera para todas las asignaturas del plan de estudio. Se definió el éxito académico como un promedio superior a 4. Dada la naturaleza binaria de la variable dependiente, se utilizaron modelos de regresión logística como procedimiento analítico para el pronóstico. Se confirma la relevancia del índice académico como predictor del rendimiento y se aportan nuevas evidencias acerca de la escasa capacidad predictiva de los exámenes de ingreso. Se obtienen también algunas evidencias favorables al empleo de las pruebas de razonamiento verbal. Por último, se formulan algunas recomendaciones estratégicas respecto de eventuales políticas para el proceso de admisión.

Descriptores DeCS: CRITERIO DE ADMISION ESCOLAR; TESTS DE APTITUD; PRUEBA DE ADMISION ACADEMICA; ESTUDIANTES DE MEDICINA; MODELOS LOGISTICOS; ESCUELAS MEDICAS.
Uno de los aspectos determinantes en el afán de lograr cada vez egresados con mejor calidad y mejores condiciones para hacer frente a las demandas de salud de la población, es la selección de los aspirantes más aptos.

Al pasar, por necesidades derivadas del propio desarrollo, de un acceso masivo a la enseñanza superior, a un acceso más selectivo, se ha hecho imprescindible mejorar cada vez los criterios aplicados en el proceso de selección.

Estando prestablecidas las cuotas de ingreso, en función de una planificación estratégica a largo plazo de las necesidades del país para hacer frente al dinámico proceso de transición epidemiológica, y a las implicaciones que tiene dicho proceso en términos de demanda de servicios de salud, se hace imprescindible una caracterización adecuada que permita la posterior selección para dar cumplimiento a las cuotas de ingreso.

Si la caracterización es rigurosa y objetivamente medible, la selección se limita entonces a ordenar en forma decreciente a los aspirantes y establecer el punto de quiebre para la admisión al sistema en cuanto se haya completado la cuota.

Uno de los criterios -aunque no el único- para decidir la mejor forma de caracterizar a los aspirantes sería a través de la asociación de los indicadores que se emplean en el proceso de admisión con el posterior rendimiento académico en la enseñanza médica superior. En esta dirección se han desarrollado algunas experiencias,^1,2 no sólo en cuanto a la identificación propiamente de presuntos predictores del rendimiento, sino en la propuesta de una estrategia metodológica que podría aplicarse en circunstancias parecidas y con el fin de evaluar otros indicadores que eventualmente podrían proponerse.

En un trabajo previo³ de los autores del presente artículo se obtuvieron algunos resultados preliminares que permiten afirmar, con un grado razonable de certeza: (a) la excelente capacidad predictiva del índice académico de la enseñanza preuniversitaria, (b) la aceptable capacidad predictiva de los exámenes de ingreso de Química y Biología (no así el de Matemática) y de una prueba de razonamiento verbal que incluye la exploración de habilidades productivas en los aspirantes, cuando se les considera como predictores individuales y (c) el poco margen adicional que todos estos indicadores aportan al pronóstico cuando se les incluye dentro de una batería en la que ya figura el índice académico.

El enfoque elegido en dicho trabajo descansó en el empleo de modelos de regresión múltiple, que suponen la definición de la variable de rendimiento a predecir como un atributo continuo (el promedio de los resultados en todas las asignaturas de un curso académico), de modo que el pronóstico es una estimación de la calificación del estudiante en una escala que varía teóricamente entre 2 y 5, de acuerdo con los criterios vigentes de evaluación.

En el presente trabajo se optó por la variante de concebir la variable a predecir como la dicotomía éxito-fracaso que conduce a formular el pronóstico en términos de una probabilidad individual. Aunque puede, en general, anticiparse una buena coincidencia entre los resultados de ambos enfoques en la identificación de los predictores relevantes, no necesariamente un indicador que discrimina entre los 2 polos del rendimiento (el éxito y el fracaso) debe asociarse con la expresión continua de dicho rendimiento.

El propósito del presente artículo es verificar la replicabilidad de los resultados esenciales del trabajo ya referido, cuando la predicción se orienta a la identificación de los estudiantes en riesgo de fracaso académico.

 

MÉTODOS

La muestra de entrenamiento para este estudio estuvo integrada por los 114 estudiantes de medicina que ingresaron en la Facultad de Ciencias Médicas de Pinar del Río, como miembros del X Contigente del Destacamento "Carlos J. Finlay" en el curso 1991-1992 por la vía del preuniversitario.

Todos los aspirantes a ingresar en el destacamento fueron objetos de una entrevista (realizada por profesores con entrenamiento y experiencia en esta actividad) y fueron sometidos a una prueba de razonamiento verbal. El propósito de la entrevista (ENT) es hacer una apreciación general de la capacidad de comunicación oral, el nivel de información general y el grado de motivación del aspirante hacia las carreras de ciencias médicas; el propósito de la prueba de razonamiento verbal (RV) fue medir capacidades productivas de expresión verbal en los aspirantes.¹ Los resultados de ambas pruebas se expresan en una escala cualitativa ordinal de 1, 2 y 3. El criterio de tamizaje empleado se basaba en 3 niveles de selección: el primero, que decantaba aspirantes con un índice académico inferior a 90; el segundo, que establecía como requisito de admisión una calificación de al menos 2 en RV o ENT, es decir, que eliminaba a los aspirantes con 1 en ambas pruebas, y el tercero, basado en el índice escalafonario que establece el Ministerio de Educación Superior y que incluye el IAC y las pruebas de ingreso de Matemática (MAT), Química (QUI) y Biología (BIO).

IAC se calcula a partir del promedio de las asignaturas examinadas en 10mo. y 11no. grados y en el primer semestre del 12mo. grado, y el valor escalafonario (VESC) se obtiene de la suma del IAC con el promedio de los exámenes de ingreso sobre 50 puntos cada uno. De este modo, tanto IAC como VESC se expresan en una escala cuantitativa entre 0 y 100 puntos.²

Para el primer curso académico se obtuvo el promedio aritmético de las calificaciones de todas las asignaturas incluidas en el plan de estudio⁴ y se definieron entonces el éxito y el fracaso según el promedio se encontrase por encima o por debajo de 4 unidades, respectivamente.

Se obtuvieron las frecuencias de éxito y fracaso para las categorías de ENT y RV para valores de IAC por encima y por debajo de 98 puntos.³ Se ajustaron varios modelos de regresión logística⁵ incluyendo como predictores distintas combinaciones de las variables de 3 instancias de filtraje del proceso de admisión. Para cada modelo se obtuvo un intervalo de confianza al 95 % para el odds ratio de cada predictor, la significación para la hipótesis de igualdad a 1 de cada odds ratio y el área bajo la curva ROC asociada a las probabilidades de éxito estimadas por el modelo (1.2).⁴

RESULTADOS

Del total de los 114 aspirantes que finalmente fueron admitidos en el X Contingente del Destacamento, 104 terminaron con éxito y 10 con fracaso. La tabla 1 contiene la cantidad y el porcentaje de éxitos para cada una de las categorías de ENT, RV e IAC definidas en el apartado anterior. En esta tabla se observa claramente la asociación de cada predictor con el rendimiento, que es baja para ENT, y mucho más alta para RV e IAC, en ese orden creciente. Tabla 1. Frecuencias absolutas y relativas de éxito académico según categorías de entrevista (ENT), prueba de razonamiento verbal (RV) e índice académico (IAC)

Categorías de la variable	Total	Éxitos	%
ENT = 2	82	74	90
ENT = 3	32	30	93
RV = 1	4	2	50
RV = 2	40	36	90
RV = 3	70	66	94,5
IAC £ 97,5	35	30	85,7
IAC > 97,5	79	74	93,6

Las tablas de la 2 a la 7 resumen los resultados del ajuste de los distintos modelos de regresión logística. A diferencia del trabajo ya referido³ en que se empleó la versión paso a paso de los modelos de regresión, ahora se optó por la modalidad directa de los modelos utilizando en cada caso las siguientes combinaciones de predictores: 1) IAC, 2) ENT + RV, 3) IAC + ENT + RV, 4) MAT + QUI + BIO, 5) IAC + MAT + QUI + BIO y 6) IAC + RV + ENT + MAT + QUI + BIO. De este modo resulta más fácil apreciar cuánto se gana en capacidad predictiva cuando se añade una variable al modelo precedente y el aporte individual de cada variable o cada grupo de ellas.

Tabla 2. Resultados del modelo predictivo y se tomó como predictor al índice académico

Predictor	Odds ratio	Intervalo de confianza	Probabilidad
IAC	2,67	[1,11:6,43]	0,029
Área bajo la curva ROC = 0,70

  Tabla 3. Resultados del modelo predictivo y se tomó como predictores a la entrevista y la prueba de razonamiento verbal

Predictor	Odds ratio	Intervalo de confianza	Probabilidad
ENT	1,91	[0,35;10,29]	0,448
RV	3,30	[1,11;9,89]	0,032
Área bajo la curva ROC = 0,67

 

Tabla 4. Resultados del modelo predictivo y se tomaron como predictores al Índice académico, los resultados de la entrevista y la prueba de razonamiento verbal

Predictor	Odds ratio	Intervalo de confianza	Probabilidad
IAC	2,59	[1,01;6,62]	0,047
RV	3,20	[1,04;9,85]	0,043
ENT	1,44	[0,25;8,29]	0,683
Área bajo la curva ROC = 0,71

 

Tabla 5. Resultados del modelo predictivo y se tomaron como predictores las pruebas de ingreso de Matemática, Química y Biología

Predictor	Odds ratio	Intervalo de confianza	Probabilidad
MAT	1,01	[0,88;1,16]	0,922
QUI	1,11	[0,90;1,38]	0,319
BIO	1,07	[0,88;1,31]	0,471
Área bajo la curva ROC = 0,66

 

Tabla 6. Resultados del modelo predictivo y se tomaron como predictores el Índice académico y las pruebas de ingreso de Matemática, Química y Biología

Predictor	Odds ratio	Intervalo de confianza	Probabilidad
IAC	2,57	[1,04;6,34]	0,040
MAT	0,98	[0,84;1,15]	0,837
QUI	1,07	[0,86;1,33]	0,561
BIO	1,06	[0,86;1,32]	0,574
Área bajo la curva ROC = 0,71

  Tabla 7. Resultados del modelo predictivo y se tomaron como predictores al Índice académico, los resultados de la entrevista. La prueba de razonamiento verbal y los exámenes de ingreso

Predictor	Odds ratio	Intervalo de confianza	Probabilidad
IAC	2,53	[0,96;6,69]	0,061
RV	3,20	[1,00;10,24]	0,050
ENT	1,38	[0,24;8,10]	0,683
MAT	1,00	[0,85;1,18]	0,719
QUI	1,08	[0,85;1,37]	0,521
BIO	1,00	[0,80;1,27]	0,938
Área bajo la curva ROC = 0,72

Hay 2 cosas que saltan a la vista: una de ellas es la notable estabilidad en las estimaciones del odds ratio asociadas a cada predictor; la otra es el hecho de que sólo se consiguen detectabilidades de 0,70 o superiores cuando el IAC participa de la batería de predictores. El primer elemento es importante, porque constituye una buena garantía de la confiabilidad que puede atribuirse a la estimación del efecto de cada variable. Normalmente, cuando se incluyen o se extraen predictores del modelo, cambia el impacto relativo de los predictores restantes, lo cual introduce un elemento de indeterminación que no está presente en estos resultados.

DISCUSIÓN

A diferencia del enfoque elegido en un trabajo anterior,³ en el presente se optó por definir el indicador de salida en términos de la dicotomía éxito-fracaso. En general con esta variante los resultados se interpretan con mayor facilidad, y las intervenciones posibles se hacen sobre la base menos arbitraria de una medida del riesgo. El riesgo puede definirse como la probabilidad de fracaso académico.

Como era de esperar, de nuevo el índice académico revela ser una variable con gran capacidad predictiva. Como se observa claramente en los cuadros 2, 4, 6 y 7, IAC tiene siempre asociado un odds ratio significativo (o muy cercano a la significación para a = 0,05 en el cuadro 7). Como ya se comentó, la estabilidad de un resultado es la mejor evidencia en favor de su confiabilidad, porque normalmente, la relevancia de un indicador depende del número y la identidad de los predictores que lo acompañan en el modelo. El IAC resulta relevante siempre, independientemente del resto de los predictores que figuran en el modelo. Por otra parte, el valor 0,70, que marca un umbral de buena detectabilidad para un modelo⁶ sólo se alcanza cuando el IAC se incluye entre los predictores.

La prueba de razonamiento verbal, que ya había resultado significativa para la estimación del rendimiento,³ adquiere ahora mayor relevancia como predictor del éxito (en cada uno de los modelos en que se incluye, su odds ratio asociado es significativamente mayor que 1, y en todos los casos mayor incluso que el que se asocia a IAC). Esto se interpretaría del siguiente modo: dentro de las categorías de éxito y fracaso el RV demostraba una capacidad discriminatoria significativa, pero moderada;³ sin embargo, entre dichas categorías RV discrimina considerablemente.

Las consideraciones respecto a RV son importantes, porque, junto a la entrevista es éste el elemento que se añade a los indicadores que preceptivamente estipula el MES como parte del proceso de admisión. A la objeción de que incluir a RV como parte del segundo filtro del proceso privaría a algunos aspirantes potencialmente exitosos de la entrada al sistema, puede responderse que el plan de plazas se cubre íntegramente, por lo que, si el segundo filtro (del que forma parte RV) fuese más flexible, el tercer filtro tendría que ser más estricto para no sobrepasar el número de plazas establecidas.

Las pruebas de ingreso no añaden casi nada a la predicción del éxito, se incluye aquí tanto a QUI como a BIO que sí tenían un aporte importante como predictores de la calificación.³ En la tabla 5, que contiene los resultados del ajuste del modelo que sólo incluye a las pruebas de ingreso como predictores, ninguno aparece con un odds ratio significativo, y el modelo en su conjunto alcanza una detectabilidad de sólo 0,66, por debajo del umbral convencional de eficacia del modelo.⁶ No obstante, al margen de estas consideraciones estadísticas, es obligado reconocer que la existencia de los exámenes de ingreso constituyen un elemento de presión permanente sobre el estudiante de preuniversitario que se traduce en un esfuerzo por incrementar su IAC y una presión sobre el propio sistema educacional que se ve obligado así a elevar la calidad de su proceso docente.

Perspectivamente debería analizarse la conveniencia de ponderar de manera diferente el valor del IAC en el segundo filtro de ingreso. Bajo la modalidad actual del proceso de admisión, puede ocurrir que un estudiante con un IAC de 90,5 supere exitosamente la segunda instancia de filtraje y que uno con un IAC de 99 no logre superarlo. Si se tomase en cuenta al IAC en el segundo filtro, se protegería a los estudiantes con mayor índice académico y, por consiguiente, una mayor probabilidad de éxito. Otra alternativa podría ser la de instrumentar un proceso secuencial de admisión que, ante una demanda mayor de ingreso, estableciera requisitos más exigentes desde el primer filtro, basadas en un punto de corte más alto para el IAC, lo cual puede rendir mejores dividendos en términos de costo-beneficio.

SUMMARY

The predictive capacity of aptitude tests, the academic index and the college admission tests are studied in relation to the academic results obtained at the end of the first year. To this end, a group of sudents from the X Contingent of the ?Carlos J, Finlay´ Detachment that entered the university during the course 1991-1992 were taken as a training sample. The information used was obtained as part of the selective process and it was based on the marks attained in the different subjects of the curriculum. An average over 4 was considered as an academic success. Due to the binary nature of the dependent variable, models of logistic regression were used as an analytical procedure for prognosis. It was confirmed the relevance of the academic index as a predictor of the academic results and new evidences about the poor productive capacity of the admission test were given. Some evidences favoring the use of oral reasoning tests were also obtained. To conclude, some strategic recommendations in relation to eventual policies are given for the process of admission.

Subject headings: SCHOOL ADMISSION CRITERIA; APTITUDE TESTS; COLLEGE ADMISSION TEST; STUDENTS, MEDICAL; LOGISTIC MODELS; SCHOOLS, MEDICAL.

REFERENCIAS BIBLIOGRÁFICAS

1. Bacallao J. Las curvas ROC y las medidas de detectabilidad para la validación de predictores del rendimiento docente. Educ Med Sup 1996;10:3-11.
2. _____. Al rescate de las pruebas de nivel de entrada como predictores del rendimiento en la enseñanza médica superior. Educ Med Sup 1996;10:12-8.
3. Rodríguez R, Díaz PA, Moreno M, Bacallao J. Valor predictivo de algunos criterios de selección para el ingreso a la carrera de medicina (en prensa).
4. Ministerio de Salud Pública. La formación del médico general básico. Aplicación de un nuevo plan de estudio. Documento Interno MINSAP, ISCM-H. La Habana, 1986:1-20.
5. Bacallao J. Diversos enfoques estadísticos del pronóstico del rendimiento académico. Rev Cubana Educ Sup 1985;3:27-34.
6. Goddard MJ, Hingberg I. Receiver operator characteristic (ROC) curves and non-normal data: an empirical study. Stat Med 1990;9:325-37.

Recibido: 10 de octubre de 1999. Aprobado: 15 de mayo del 2000.
Lic. Raúl Rodríguez Fontes. Facultad de Ciencias Médicas de Pinar del Río J.C.B.P.C. "Victoria de Girón". Carretera Central Km 89, Pinar del Río. Cuba. CP 20100.

 

¹ Jefe del Departamento de Formación y Orientación Profesional FCM Pinar del Río. Asistente.
² Decano FCM Pinar del Río. Profesor Titular.
³ Metodóloga FCM Pinar del Río. Instructora.
⁴ Doctor en Ciencias Médicas. Profesor Titular. ICBPC "Victoria de Girón".