Facultad de Ciencias Médicas de Pinar del Río
ICBPC "Victoria de Girón"

Valor predictivo de algunos criterios de selección para el ingreso a la carrera de medicina

Lic. Raúl Rodríguez Fontes,¹ Dr. Jorge Bacallao Gallestey,² Dr. Pedro A. Díaz Rodríguez³ y Lic. Mirna Morejón Lazo⁴

RESUMEN

Con el objetivo de verificar la capacidad predictiva de las pruebas de aptitud, el índice académico y los exámenes de ingreso, en relación con el rendimiento académico en la carrera de Medicina, se diseñó una investigación de seguimiento longitudinal de los estudiantes que ingresaron en el curso 91-92, utilizando los datos obtenidos durante el proceso selectivo y sus calificaciones durante los primeros 4 años de la carrera para la totalidad de las asignaturas del plan de estudio. Dada la naturaleza continua de la variable dependiente, el análisis estadístico descansó en lo esencial en el modelo de regresión múltiple. Se confirmó la relevancia del índice académico como predictor del rendimiento y se han aportado, tal vez, las primeras evidencias de la capacidad predictiva de los exámenes de ingreso. La capacidad pronóstica de las variables que se registran en el momento del ingreso se disipa a medida que el alumno transita de un curso a otro y su lugar lo ocupan los propios indicadores de rendimiento parcial.

Descriptores DeCS: VALOR PREDICTIVO; CRITERIOS DE ADMISION ESCOLAR; ESTUDIANTES DE MEDICINA.

En el área latinoamericana se aprecia una preocupación creciente por los aspectos de orden curricular relacionados con las transformaciones sociales de estos últimos años.^1,2 Este hecho se reafirma en el informe presentado por la Organización Panamericana de la Salud (OPS) ante la Conferencia Mundial de Edimburgo,³ en el cual se reconoce que en los últimos años las universidades y en particular, las facultades de medicina, se han preocupado de modo especial por la transformación curricular y por la búsqueda de una mayor eficiencia del proceso educativo ante las exigencias derivadas de la práctica, en el marco del orden flexneriano de la Educación Médica.

Esta línea fue enfatizada por George Alleyne, actual Director General de la OPS, en el encuentro continental de educación médica de Punta del Este, quien en su intervención inaugural subrayó la necesidad de lograr cambios en los planes de estudio que produzcan al médico capaz de satisfacer las necesidades de salud individuales y de la comunidad.⁴

En el contexto nacional, una expresión notable del trabajo que se lleva a cabo en el ámbito de la investigación científico-educacional es el marcado interés por la selección de los aspirantes a las universidades médicas mediante el aumento de la exigencia, ante el incremento significativo del número de aspirantes a una plaza en la enseñanza médica superior.⁵

En trabajos previos se ha demostrado la posibilidad de realizar estudios de pronóstico a escala individual y global, como vía de previsión a corto, mediano y largo plazo, utilizando indicadores generales del sistema (promoción, nivel general de rendimiento). Las técnicas utilizadas se basan en el empleo de modelos paramétricos lineales y en modelos no paramétricos de tipo bayesiano.^6,7 El trabajo en esta línea ha propiciado el incremento cualitativo del proceso de ingreso en la carrera de Medicina.

El presente trabajo da continuidad a esfuerzos previos y tiene el propósito de verificar la capacidad predictiva de una prueba de razonamiento verbal, la entrevista, el índice académico y los exámenes de ingreso en relación con el rendimiento académico de los estudiantes de medicina durante los 4 primeros años de la carrera.

MÉTODOS

Para el logro del objetivo propuesto se utilizó el universo conformado por los 114 estudiantes de medicina que ingresaron en la Facultad de Ciencias Médicas de Pinar del Río, como miembros del X Contingente del Destacamento Carlos J. Finlay en el curso 1991-92 por la vía del preuniversitario.

Todos los estudiantes fueron entrevistados por un profesor debidamente entrenado, con el fin de medir su capacidad de comunicación oral, su nivel de información general y su grado de motivación hacia las carreras de ciencias médicas: a todos se les realizó además una prueba de aptitud para medir capacidades de razonamiento verbal (RV). Los resultados de ambas pruebas se expresan en una escala cualitativa ordinal de 1, 2 y 3 (Todos los casos obtuvieron como mínimo una calificación de 2 en una de las pruebas mencionadas).

Para cada alumno se registró el índice académico (IAC) del preuniversitario, que se calcula a partir del promedio de las asignaturas examinadas en 10mo. y 11no. grados y en el primer semestre del 12mo. grado, así como el valor escalafonario (VESC), que se obtiene de la suma del IAC con el promedio de los exámenes de ingreso de Matemática (MAT), Química (QUI) y Biología (BIO), sobre 50 puntos cada uno. De este modo, tanto IAC como VESC se expresan en una escala cuantitativa que teóricamente toma valores entre 0 y 100 puntos (Para los fines del análisis estadístico basado en los modelos de regresión el VESC se excluyó debido a su obvia asociación colineal con el índice académico).

Por otro lado, se recopilaron las calificaciones de todos los alumnos en la totalidad de las asignaturas incluidas en el actual Plan de Estudios de Medicina de la República de Cuba.⁸ La escala utilizada fue la aprobada oficialmente por el Reglamento Docente Metodológico para los Centros de Educación Médica Superior, que se codifica con los puntajes de 2, 3, 4 y 5, los cuales corresponden a las categorías de mal, regular, bien y excelente, respectivamente. Para cada año académico (del primero al cuarto) se obtuvo el promedio aritmético de las calificaciones que se simbolizan respectivamente, PROMG1, PROMG2, PROMG3 y PROMG4.

Además de las estadísticas descriptivas de rigor, se empleó el análisis de regresión múltiple⁹ en su versión paso a paso para evaluar la capacidad predictiva de la batería de predictores y la relevancia individual de cada uno. El valor convencional µ = 0,10 se eligió como umbral de entrada de cada variable al modelo.
 
 

RESULTADOS

La tabla 1 contiene las medias y desviaciones estándar de las variables que se registran en el momento del ingreso y de los indicadores de rendimiento académico para los 4 primeros años de la carrera. Son notables los altos promedios a través de todos los cursos académicos, y también el alto índice académico de los estudiantes que ingresaron a la enseñanza médica superior. Tabla 1. Medias y desviaciones estándar de los predictores al ingreso y de los indicadores del rendimiento académico

Variables	Medias.	D.E
Predictores al ingreso
RV	2,60	0,53
ENT	2,28	0,45
IAC	98,85	0,70
MAT	92,20	5,03
QUÍ	98,25	2,62
BIO	94,74	3,38
Indicadores de rendimiento
PROMG1	4,58	0,33
PROMG2	4,67	0,31
PROMG3	4,53	0,40
PROMG4	4,66	0,32

RV: prueba de razonamiento verbal
ENT: entrevista
IAC: índice académico del preuniversitario
MAT: prueba de ingreso de Matemática
QUI: Prueba de ingreso de Química
BIO: prueba de ingreso de Biología
PROMG1, PROMG2, PROMG3, PROMG4: promedios generales en 1ro., 2do., 3ro. y 4to. años, respectivamente.

La tabla 2 describe las variables incluidas como predictores en cada uno de los 4 modelos lineales ajustados, así como las que finalmente quedaron incluidas por el procedimiento de selección paso a paso. Para el pronóstico del rendimiento en el primer año se utilizaron como predictores al IAC, los exámenes de ingreso (MAT, QUI y BIO), la prueba de aptitud (RV) y la entrevista (ENT). Para cada uno de los años siguientes se adicionó el resultado del curso precedente.

Tabla 2. Variables a predecir, predictores incluidos y predictores seleccionados en los modelos de regresión múltiple paso a paso ajustados

Variable a predecir	Predictores incluidos	Predictores seleccionados
PROMG1	RV, ENT, IAC, MÁT, QUÍ, BIO	IAC, BV, QUÍ, BIO
PROMG2	RV, ENT, IAC, MAT, QUÍ, BIO,
	PROMG1	PROMG1
PROMG3	RV, ENT, IAC, MÁT, QUÍ,	PROMG2
		BIO, PROMG1, PROMG2
PROMG4	RV, ENT, IAC, MÁT, QUÍ	PROMG2, PROMG3
	BIO,PROMG1, PROMG2,
	PROMG3

RV: prueba de razonamiento verbal
ENT: entrevista
IAC: índice académico del preuniversitario
MAT: prueba de ingreso de Matemática
QUÍ: prueba de ingreso de Química
BIO: prueba de ingreso de Biología
PROMG1, PROMG2, PROMG3, PROMG4: promedios generales en 1ro., 2do.
3ro. y 4to. años, respectivamente.

La tabla 3 contiene los principales criterios diagnósticos clásicos para los modelos en su conjunto y para cada predictor individual entre los finalmente seleccionados en el proceso de regresión paso a paso. Para los modelos, se incluyeron el coeficiente de determinación (R^z) que mide el porcentaje de variación explicado por la regresión, y el error estándar de la estimación (EEE), que es una expresión de la precisión con que puede estimarse la variable dependiente. Para cada predictor se incluyen el valor de t y su significación asociada. Nótese que MAT y ENT no figuran en la tabla porque no fueron elegidas en ningún modelo. Nótese además, que la inclusión de un indicador de rendimiento del curso i-1 como predictor del redimiento del curso i, desplaza al resto de los predictores, particularmente a las variables registradas al ingreso.

Tabla 3. Resultados del ajuste de los modelos de regresión múltiple paso a paso con los predictores seleccionados: a valores de t con su significación, R² y error estándar de la estimación

Variable a predecir
Predictores	PROMG1	PROMG2	PROMG3	PROMG4
IAC	t = 4,078	a	a	a
	p < 0,001
RV	t = 2,112	a	a	a
	p = 0,037
QUÍ	t = 2,959	a	a	a
	p = 0,004
BIO	t = 1,777	a	a	a
	p = 0,078
PROMG1	b	t = 14,137	a	a
		p < 0,01
PROMG2	b	b	t = 11,623	t = 3,265
			p < 0,001	p = 0,0
PROMG3	b	b	b	t = 5,647
				p < 0,001
R^2	0,29	0,64	0,55	0,58
EEEc	0,36	0,42	0,51	0,53

a: Predictor no seleccionado por el modelo paso a paso
b: Predictor no incluido en el modelo
c: Error estándar de la estimación
RV: Prueba de razonamiento verbal
IAC: Índice académico del preuniversitario
MAT: Prueba de ingreso de Matemática
QUÍ: Prueba de ingreso de Química
BIO: Prueba de ingreso de Biología
PROMG1, PROMG2, PROMG3, PROMG: promedios generales en 1ro., 2do., 3ro. y 4to. años, respectivamente.
Tabla 4. Matriz de correlaciones de los indicadores de rendimiento con las variables al ingreso y de intercorrelaciones de los indicadores de rendimiento

	PROMG1	PROMG2	PROMG3	PROMG4
IAC	0,410	0,263	0,249	0,123
MAT	0,100	0,010	0,029	0,013
QUÍ	0,316	0,265	0,149	0,124
BIO	0,217	0,173	0,084	0,042
RV	0,242	0,260	0,196	0,162
PROMG1	-	0,801	0,573	0,443
PROMG2	0,801	-	0,739	0,649
PROMG3	0,573	0,739	-	0,725
PROMG4	0,443	0,649	0,725	-

IAC: Índice académico del preuniversitario
MAT: Prueba de ingreso de Matemática
QUÍ: Prueba de ingreso de Química
BIO: Prueba de ingreso de Biología
PROMG1, PROMG2, PROMG3, PROMG4: promedios generales en 1ro.,
2do., 3ro. y 4to. años, respectivamente.

Por último, la tabla 4 contiene las correlaciones simples entre los indicadores de rendimiento y las variables al ingreso, así como las intercorrelaciones de los indicadores de rendimiento. Los resultados de esta tabla refuerzan los comentarios hechos a propósito del cuadro anterior.

DISCUSIÓN

En relación con trabajos anteriores que han enfocado también el problema del pronóstico del rendimiento,^6,7,10,11 este artículo ha incorporado varios elementos de interés: en primer lugar, la evaluación de la capacidad predictiva de los exámenes de ingreso y de la entrevista, que no habían sido considerados hasta la fecha: en segundo lugar, el seguimiento de los estudiantes durante 4 cursos de su trayectoria curricular y la evaluación de la capacidad pronóstica extendida más allá del primer año de la carrera, y por último, el aspecto de la reactualización de la capacidad pronóstica al incluir indicadores evolutivos de rendimiento en la batería inicial de predictores.

La entrevista (ENT) no queda incluida en ninguno de los modelos debido a su escasa capacidad predictiva en relación con el rendimiento. Éste es un resultado lógico, y por lo demás, fácilmente previsible: el valor de la entrevista no se mide a través de criterios estadísticos. La entrevista debe concebirse como un instrumento de decantación de algún caso excepcional que no satisfaga condiciones elementales de actitud, compostura y adecuada motivación, lo cual, además de no tener una expresión estadística, no es -o lo es muy problemáticamente- un elemento susceptible de cuantificación.

El examen de Matemática tiene muy escasa capacidad predictiva en relación con el rendimiento. Debe hacerse notar, que pese a que BIO y QUI quedaron incluidos en el modelo gracias a los umbrales laxos de significación elegidos, ambos individualmente y en conjunto, añaden poco, en términos de precisión, al pronóstico. Aunque se optó por no tabular algunos resultados por razones de espacio, el EEE de un modelo que incluyó sólo al IAC fue de 0,38 contra 0,36 del modelo que incorpora BIO, QUI y RV. Este resultado parece concluyente en cuanto a la utilidad del índice académico como factor pronóstico de aprovechamiento en la enseñanza médica superior. Por otro lado, desde el punto de vista práctico, el criterio basado en el EEE constituye un argumento mucho más poderoso que el de la significación estadística -que por otra parte está subordinada a la naturaleza y al número de los predictores utilizados en el modelo¹² para tomar decisiones acerca de la inclusión o no de una variable como parte de los procesos habituales para la admisión.

Como ilustra muy claramente la matriz de correlaciones de la tabla 4, la capacidad predictiva de cualquier indicador para el ingreso se disipa a medida que el estudiante transita de un curso a otro. En efecto, al desplazarse hacia la derecha a través de cualquiera de las primeras 5 filas de la tabla, se aprecia una tendencia a la disminución de la correlación. Esto es lógico, porque en cuanto el estudiante ingresa a un nuevo sistema, se ve sujeto a un complejo entramado de nuevas influencias, que asumen un papel determinante en su desempeño, y particularmente, en su rendimiento académico.

La parte inferior de la matriz de la tabla 4 muestra también el mismo fenómeno de disipación de las correlaciones. El rendimiento académico de un estudiante en un curso cualquiera se asocia muy fuertemente a su rendimiento en el curso anterior y en el posterior. Esto explica por qué, si se razona con una perspectiva de pronóstico, la información más valiosa de que puede disponerse para estimar cómo ha de ser el rendimiento en el curso i, es precisamente el rendimiento en el curso i-1.

La capacidad predictiva de los indicadores al ingreso, no sólo se atenúa en el tiempo, sino que casi toda ella opera de manera indirecta a través de los indicadores evolutivos de rendimiento, que ofician entonces de variables intermediarias. Es fácil, por tanto, entender por qué, cuando se incluye el resultado del primer año entre la batería de predictores del rendimiento en el segundo año, los indicadores del ingreso salen del modelo, y otro tanto ocurre cuando se incorpora PROMG2 en la predicción de PROMG3, y PROMG3 en la predicción de PROMG4.

CONCLUSIONES

Los resultados que se muestran en este trabajo permiten concluir que: (a) el índice académico es, definitivamente un buen predictor del rendimiento; (b) las evidencias en favor de las pruebas de aptitud no son concluyentes, como tampoco lo son en favor de los 3 exámenes de ingreso; (c) en términos de capacidad predictiva con respecto al rendimiento, parece ser poco lo que se consigue con los exámenes de ingreso y las pruebas de aptitud, una vez que se dispone de un predictor fuerte como el IAC; (d) bajo una perspectiva de pronóstico, es conveniente incluir indicadores evolutivos de rendimiento, que resumen gran parte de la información anterior y que pueden ser suficientes para predecir el rendimiento futuro con una aceptable precisión.

La validación de éstos y de otros indicadores no debería restringirse al criterio del rendimiento académico: por ejemplo, podría ocurrir que los exámenes de ingreso se asocien muy fuertemente con el desempeño profesional futuro, aunque su asociación con el rendimiento escolar sea moderada o baja.

AGRADECIMIENTOS

Se agradece la colaboración de los profesores Fanny Canals, Bertalina Pagani, Teresa Tura, Julia Maury y del Lic. Michel Martínez por su aporte en la recolección de la información y el procesamiento de los datos.

Se reconoce la participación de los estudiantes Ronald Aroche, Henry Carreño, Frank D. Padrón y Raquel Ampudia en la recogida de la información.

SUMMARY

To verife predictive capacity of a aptitude tests, academic index and entrance examination., in relation to academic yield in medicine career, a longitudinal follow-up research was designed on students admited in 1991-1992 course, using data obtained during selective process and their qualifications in first 4 years of career to all subjects of course of study. Given the continuos nature of dependent variable, statistical analysis was based on the main multiple regression form. We confirmed relevance of academic index as a yield predictor, and perhaps first evidences of predictive ability of entrance examination have been provided. Prognostic abilities of variables registering in entrance, be dissipated as student pass from a course to another one, and his place is occupied by own indicators of partical yield.

Subject headings: PREDICTIVE VALUE; SCHOOL ADMISSION CRITERIA; STUDENTS, MEDICAL.

REFERENCIAS BIBLIOGRÁFICAS

1. Paim JS. Educación médica en la década de 1990. El optimismo no basta. Educ Med Salud 1991;25:48-57.
2. Schriber LB. Profesión médica. Representación, trabajo y cambio. Educ Med Salud 1991:25:58-71.
3. Organización Panamericana de la Salud. Los cambios en la profesión médica y su influencia sobre la educación médica. Washington DC:OPS, 1993:1-11.
4. Alleyne G. Discurso de apertura del Encuentro Continental de la Educación Médica. (Serie Desarrollo de los Recursos Humanos) Washington DC:OPS,1994:5-8.
5. Jardines JB. El reto a la atención primaria y el reto en salud. Educ Med Sup 1995:(1-2):3-13.
6. Bacallao J, Valenti J, Rodríguez E, Romillo MD. Pronóstico del rendimiento académico mediante un enfoque bayesiano no paramétrico. Educ Med Sup 1991;1:29-37.
7. Bacallao J, Aneiros R, Rodríguez E, Romillo MD. Pronóstico y evaluación del rendimiento académico en un ensayo pedagógico controlado. Educ Med Sup 1992;2:91-9.
8. Ministerio de Salud Pública. La formación del médico general básico. Aplicación de un nuevo plan de estudio. Documento Interno MINSAP, ISCM-H. La Habana. 1986:1-20.
9. Bacallao J. Diversos enfoques estadísticos del pronóstico del rendimiento académico. Rev Cubana Ed Sup 1985;3:27-34.
10. . Las curvas ROC y las medidas de detectabilidad para la validación de predictores del rendimiento docente. Educ Med Sup 1996;10:3-11.
11. . Al rescate de las pruebas de nivel de entrada como predictores del rendimiento en la enseñanza médica superior. Educ Med Sup 1996;10:12-8.
12. Bibby J. The general linear model: a cautionary tale. En: O Muircheartaigh CA, Payne C, eds. The analysis of survey data. Model Fitting. New York:John Wiley,1977;vol2:35-79.

Recibido: 5 de octubre de 1999. Aprobado: 3 de noviembre de 1999.
Lic. Raúl Rodríguez Fontes. Facultad de Ciencias Médicas de Pinar del Río. ICBPC "Victoria de Girón". Carretera Central Km 89, Pinar del Río. Cuba. CP: 20100.
 
 

¹ Jefe del Departamento de Formación y Orientación Profesional FCM Pinar del Río. Asistente.
² Doctor en Ciencias Médicas. Profesor Titular ICBPC "Victoria de Girón".
³ Decano FCM Pinar del Río. Profesor Titular.
⁴ Metodóloga FCM Pinar del Río. Instructora