1. Licenciado en Matemática. Instituto Superior de Ciencias Básicas y Preclínicas "Victoria de Girón".

RESUMEN

Palabras clave: CURVA ROC; EDUCACION MEDICA; LOGRO; PRUEBA DE ADMISION ACADEMICA; CRITERIOS DE ADMISION ESCOLAR.

INTRODUCCION

La primera validación de las pruebas de nivel de entrada o pruebas diagnósticas (PNE o PD) como parte de una batería de predictores del rendimiento, se llevó a cabo mediante la aplicación de técnicas estadísticas multidimensionales en el marco de un ensayo pedagógico controlado.¹ Aunque en algunas asignaturas (Histología I y BCM) las pruebas diagnósticas no arrojaron una capacidad discriminatoria significativa entre el alto y el bajo rendimiento, en otras (Anatomía I y Embriología I) fueron altamente significativas, y en cuanto a capacidad predictiva global, sólo fueron precedidas por el índice académico. Aquel trabajo exponía las bondades de las PNE, aunque recomendaba que se trabajase en mejorar las de las 2 asignaturas mencionadas.

Una nueva validación de las PNE, entre otros predictores del rendimiento, mediante los índices clásicos asociados a las matrices de clasificación en cuadros de doble entrada,² mostraba de nuevo su relevancia pronóstica. En términos generales, las PNE exhibían valores de sensibilidad ligeramente por debajo del resto de los predictores, valores de especificidad por encima del resto -como era lógico anticipar- y los más altos valores del estimador puntual del riesgo relativo.

Pese a todas estas evidencias favorables, cuando en el curso 89-90 se introducen los exámenes de ingreso en la enseñanza médica superior, se decidió suprimir las PNE (junto a las "pruebas de razonamiento abstracto", que también, aunque en menor medida, habían resultado útiles) y sólo considerar como predictores a los propios exámenes de ingreso, junto al índice académico (IA) y las pruebas de ortografía (ORTO).

El presente artículo reúne una serie de evidencias distribuidas fragmentariamente en trabajos anteriores,^1,2 y utiliza además el recurso instrumental de las curvas ROC -ya referido en una publicación paralela en su aplicación al pronóstico del rendimiento-, con el propósito de llamar la atención acerca de la gran utilidad que pueden tener las PNE, y promover el interés por su aplicación como complemento de los exámenes de ingreso en la educación médica superior.

MATERIAL Y METODO

ANALISIS DE LOS DATOS

Se calcularon además las medidas de detectabilidad más conocidas y la sensibilidad, especificidad y riesgo relativo para los puntos de corte óptimos en el sentido en que define Bacallao et al. (1991).²

El significado, la interpretación y las fórmulas de cálculo para estas medidas de detectabilidad se exponen ampliamente en otra publicación y se resumen brevemente a continuación: ]]> 1. d = | Z (F/f) - Z (F/e ) | en donde

Z (F/f) y Z (F/e ) son las transformaciones a unidades de desviación normal de p (F/f) y p (F/e ), respectivamente.

Esta medida se usa sólo cuando el predictor en cuestión se distribuye normalmente y con varianzas iguales en ambos grupos de estudiantes.

2. d_m = d (en el punto de corte para el cual p (F/f) = 0,5 ó Z (F/f) = 0.

Se ha demostrado que
 

     me - mf  dm = ------       se

... en donde

Z(F/f) = -Z(F/e )

Se ha demostrado que

        me - mf  de = 2 -----------         s e + s f

4. A_z que es el área bajo la curva ROC, y que puede calcularse como

     ZA  Az = I q (t) dt      -00

en donde...

q (t) es la función de densidad de la distribución normal estándar y

        me - mf  ZA = -----------      \/ s2e + s2f

RESULTADOS

TABLA 1. Valores de la prueba de razón de las varianzas (F) y significación asociada para las PNE, por asignatura y global ]]>

Asignatura	Valor de F	p asociada
Anatomía I	5,23*	0,024
Histología I	0,32*	NS
Embriología I	13,88*	£ 0,001
BCM	0,73*	]]> NS
Rendimiento global	3,92**	£0,001

* Se refiere al valor de F correspondiente al predictor PNE en funciones discriminantes lineales entre el éxito y el fracaso, que incluyen además los predictores IA, ORTO y PRA.

** Se refiere al valor de F correspondiente al predictor PNE en una regresión múltiple para la predicción del rendimiento global.

La tabla 2 reproduce los valores de sensibilidad y especificidad y la estimación puntual del riesgo relativo para los 4 predictores en relación con el índice general de rendimiento, y muestra que la PNE tiene los valores más altos de especificidad y riesgo relativo, y que va sólo muy ligeramente rezagada en sensibilidad con respecto al resto de los predictores.

TABLA 2. Valores globales de sensibilidad (%), especificidad (%) y riesgo relativo puntual para todos los predictores del rendimiento

Los resultados de estas 2 tablas anteriores corresponden al estudio sobre la muestra de entrenamiento del curso 87-88 y fueron tomados de las referencias ya citadas.^1,2

La tabla 3 contiene el cociente de las verosimilitudes para varios puntos de corte de los 4 predictores del rendimiento escogidos a partir de los valores de probabilidad de falsos positivos y verdaderos positivos correspondientes a los puntos de corte elegidos.

La tabla 4 contiene las medidas de detectabilidad que resumen la información de las curvas ROC.

DISCUSION

No resultaban un buen predictor ni en Histología I ni en BCM. Por este motivo, en Histología I se efectuaron cambios en los contenidos de esta materia, incluidos en las PNE del curso 88-89. El caso de BCM no debe extrañar, porque en esta asignatura ninguno de los predictores resultó relevante. En todas las referencias citadas,^1,2 la situación excepcional de esta asignatura ha sido considerada y explicada detalladamente, al punto que los conceptos de éxito y fracaso académico tienen allí una definición diferente. ]]> Las curvas ROC a través de sus medidas de detectabilidad asociadas, son bien elocuentes en favor de las PNE, incluso sobre el IA. Por ejemplo, A_z, que se ha invocado como el mejor de los índices de detectabilidad,³ es mucho más alto para las PNE que para el resto de los predictores. Debe aclararse que cada una de estas medidas no constituye una pieza adicional de evidencia, sino que todas ellas representan formas alternativas de resumir la información contenida en la curva ROC, y A_z es la más aceptada por basarse en suposiciones menos restrictivas.

Las razones de verosimilitud para distintos puntos de corte que aparecen en la tabla 3 también muestran la superioridad de las PNE sobre el resto de los predictores. Estas razones de verosimilitud representan el cociente entre la probabilidad de verdaderos y de falsos positivos.

Si de todos los puntos de corte utilizados para la construcción de las curvas ROC se eligiese el punto de corte óptimo, en el sentido de minimizar la pérdida por clasificación errónea,^2,4 la sensibilidad, la especificidad, los valores predictivos positivo y negativo y el riesgo relativo, son los que figuran en la tabla 5.

La validación de los modelos de predicción o de predictores simples sobre la base de puntos de corte óptimos elegidos a posteriori, es criticable metodológicamente,⁴ pero sólo cuando la validación descansa únicamente sobre el comportamiento del predictor para estos puntos de corte. Precisamente la utilidad de las curvas ROC radica en que toman en cuenta la capacidad predictiva de la variable a todo lo largo de su recorrido. Este trabajo muestra la superioridad de las PNE en todo su recorrido y también, por supuesto, en el punto de corte óptimo, que se incluye aquí como información complementaria.

La especificidad del conocimiento o las capacidades que exploran estas PNE son de gran utilidad con fines predictivos y no son sustituibles por los exámens de ingreso. Puesto que recién en el curso 89-90 se han incorporado estos exámenes como requisito de ingreso a la enseñanza médica superior, no hay ninguna experiencia ni estadísticas acumuladas acerca de su capacidad pronóstica. Si se demostrase que los componentes de estos exámenes de ingreso son relevantes con fines pronósticos, una estrategia viable podría ser utilizar las PNE selectivamente con aquellos estudiantes que, al aplicar el resto de los predictores, resulten clasificados como estudiantes en riesgo de fracaso académico.

Los resultados anteriores muestran que no debe prescindirse de las PNE como valioso elemento complementario en la predicción del aprovechamiento docente.

SUMMARY

Key words: ROC CURVES; EDUCATION, MEDICAL; ACHIEVEMENT; COLLEGE ADMISSION TESTS; SCHOOL ADMISSION CRITERIA.

REFERENCIAS BIBLIOGRAFICAS

1. Bacallao J, Aneiros R, Rodríguez E, Romillo MD. Pronóstico y evaluación del rendimiento académico en un ensayo pedagógico controlado. Educ Med Sup 1992;2:92-9.
2. Bacallao J, Valenti J, Rodríguez E, Romillo MD. El pronóstico del rendimiento académico mediante un enfoque bayesiano no paramétrico. Educ Med Sup 1991;1:29-37.
3. Simpson AJ, Fitter MJ. What is the best index of detectability? Psychol Bull 1973;80:481-8.
4. Bacallao J. Un procedimiento estadístico para la validación de los modelos de predicción. Rev Cubana Cienc Matemat 1987;5:113-9.