Palabras clave: LOGRO, CURVA ROC.
Difícilmente pueda concebirse en medicina y epidemiología un problema tan común como la segregación entre sujetos sanos y enfermos sobre la base de un atributo continuo X. Este problema implica, usualmente, escoger un punto de corte co que minimice alguna función de la frecuencia relativa de falsos positivos y falsos negativos. La elección del punto de corte y la correspondiente regla de decisión
si X > co entonces SANO
si X £ co entonces ENFERMO...
da lugar a una tabla 2 x 2 como la que ilustra la tabla 1.
| ]]> Grupo real | ||
| Clasificación | | |
| Sano (S) | | |
| Enfermos (E) | | |
| | | |
La curva ROC es el gráfico, en un sistema de ejes cartesianos, de los valores de p (E/s) en el eje de las abscisas, contra p (E/e) en el de las ordenadas, para varios puntos de corte.
Pese a que la predicción del aprovechamiento académico se aviene perfectamente con este esquema, las curvas ROC no se han empleado para validar predictores del rendimento. En varios trabajos previos6-8 Bacallao et al. han estudiado la relevancia de algunos predictores del rendimiento, pero utilizando enfoques diferentes. En un caso6 mediante la aplicación de un análisis de la varianza multidimensional con los tests de significación clásicos de los modelos lineales para los parámetros del modelo; en otro,7 calculando las medidas usuales de sensibilidad y especificidad y las estimaciones puntuales del riesgo relativo; y en otro,8 calculando intervalos de confianza observados y esperados de éxito según categorías de la probabilidad estimada.
El presente trabajo se propone exponer y discutir, a grandes rasgos, las propiedades y el significado de las curvas ROC y de varios de sus parámetros asociados y argumentar las ventajas que se derivan de su aplicación.
En lo sucesivo E y F designan los pronósticos de éxito y fracaso, respectivamente, para un estudiante cualquiera, mientras que e y f representan el resultado de éxito o fracaso que alcanzó finalmente dicho estudiante. La definición operacional de lo que constituye éxito y fracaso en un resultado académico se da en trabajos previos.6,7
p (E/e): probabilidad de verdadero negativo (de pronosticar éxito a un estudiante que finalmente tiene éxito).
p (E/f): probabilidad de falso negativo (de pronosticar éxito a un estudiante que a la postre fracasa).
p (F/f): probabilidad de verdadero positivo (de pronosticar fracaso a un estudiante que al final fracasa).
p (F/e ): probabilidad de falso positivo (de pronosticar fracaso a un estudiante que finalmente tiene éxito). ]]>
La curva ROC para un predictor cualquiera del rendimiento es el gráfico de los valores de p (F/f) contra (F/_) para varios puntos de corte co, c1,...,ck del predictor en cuestión. El cociente entre estas 2 probabilidades en un punto cualquiera sobre la curva, es el llamado cociente de las verosimilitudes. Cada punto sobre la curva reconstruye completamente una tabla de contingencia 2 x 2 como la que representa la tabla 1, ya que las otras 2 probabilidades que completan la tabla, son el complemento con respecto a la unidad de las que muestra la curva. En efecto:
p (E/e ) = 1 - p (F/f)
p (E/e ) = 1 - p (F/e )
Un predictor es mejor cuanto más se separe de la recta p(F/f) = p(F/e), es decir, cuanto mayor sea el área comprendida entre su curva ROC y aquella recta que representa el resultado de una clasificación aleatoria.
Es importante subrayar que la curva ROC resume toda la información contenida en las tablas 2 x 2 que originan todos los puntos de corte, y que, por esta razón, es mucho más informativa que las medidas usuales de efectividad como la sensibilidad, la especificidad o el riesgo relativo, que se refieren sólo a un punto de corte, supuestamente óptimo.
La tabla muestra los valores de p (F/f) y p(F/e) correspondientes a varios puntos de corte, para los predictores índice académico (IA) y prueba de ortografía (ORTO) obtenidos a partir de la matrícula y los resultados de un curso académico en el ICBP "Victoria de Girón". En los gráficos 1 y 2 aparecen las curvas ROC correspondientes a estos 2 predictores. En ellas se aprecia claramente la superioridad del índice académico.
TABLA 2. Probabilidad de falsos positivos y verdaderos positivos para varios puntos de corte de los predictores IA y ORTO
| Puntos | | ]]> ORTO | ||
| de corte | | | | |
| 1 | | | | |
| 2 | | ]]> ,27 | | |
| 3 | | | | |
| 4 | | | | ]]> ,70 |
| 5 | | | | |
| 6 | | | | |
| 7 | | ]]> ,99 | | |
Se han propuesto diversas medidas, llamadas "de detectabilidad" para caracterizar completamente a una curva ROC, sin referirse a ningún punto de corte en particular.
Entre ellas se encuentran:
a) d = | Z (F/f) - Z(F/e) | en donde:
Z(F/f) =f -1 {p(F/f)}
Z(F/_) =f -1 {p(F/e)}
y f-1 es la transformación normal inversa.
Es posible demostrar (anexo) que si el predictor X se distribuye normalmente y con la misma varianza en "e" y en "f", los puntos ]]>
{Zi(F/f); Zi(F/e)}o#i#kdescriben una línea recta con pendiente 1 y ...
d = me - mf en donde: s
me: media del predictor en los estudiantes con éxito.
Cuando las varianzas son iguales, ocurre, como ya se ha expresado, que:
Zi(F/f) = a + Zi(F/e) (puesto que la pendiente es 1) de suerte que...
d es constante e igual al intercepto de la recta, por lo que puede calcularse para un punto de corte ci arbitrario.
Si las varianzas son desiguales, la pendiente b ¹ 1 y d no es constante a lo largo de la curva, por lo que se necesitan otras medidas de detectabilidad, entre las cuales se cuentan:
b) D(dm,s), que proporciona 2 parámetros de la curva ROC que se definen del modo siguiente:
s es la pendiente de la curva (se demuestra que s = se/sf en donde se y sf son las desviaciones estándar del predictor en los estudiantes con éxito y con fracaso, respectivamente). ]]>
me - mf dm = se(Puede demostrarse igualmente que dm = d en el punto de corte para el cual Z(F/f) = 0).
dm y s pueden obtenerse tanto gráfica como analíticamente.
c) de, que se define como el valor de d en el punto, en escala inversa normal, para el cual p(F/f) + p(F/e)= 1
Puede demostrarse que:
me - mf de= 2--------- y por se + sf
tanto
me - mf de=------- si se = sf = s s
d) Az, que se define como el área bajo la curva ROC. Es fácil ver que Az varía entre 0,5 en el caso de detectabilidad nula (el área debajo de la recta p(F/f) = p(F/e), y 1 en el caso de detectabilidad absoluta, es decir p(F/f) = 1 y p(F/e) = 0 cualquiera sea el punto de corte.
Para distribuciones normales, Az es el área bajo la curva normal estándar hasta el punto ZA que puede obtenerse analíticamente, y también a partir de la curva ROC, expresada en la escala normal inversa.9 ]]>
Puede demostrarse (anexo) queme - mf ZA = ----------- \/s2e + s2f
Gráficamente, ZA puede obtenerse como la distancia perpendicular a la curva ROC, expresada en unidades de desviación normal, desde el origen de coordenadas.
Algunos autores proponen calcular dA = \/ 2 ZA cuyo rango de variación lo hace comparable con d y de.
UN ALGORITMO PARA LA VALIDACION DE LOS PREDICTORES
Se describe a continuación una sucesión de pasos, que definen un algoritmo para la construcción y ulterior análisis de las curvas ROC, en su aplicación para la validación de predictores del rendimiento:
{pi (F/e), pi (F/f)}o£i£k
2. A partir de estos puntos se construye así la curva ROC.
3. Se lleva a cabo la transformación a unidades de desviación normal estándar:
Zi (F/f) = a + b Zi (F/e) + ei y se verifica su buen ajuste por los métodos convencionales. Se resuelve además el problema de prueba de hipótesis.
Ho: b = 1 vs. HA: b …¹ 1
6. Si se rechaza Ho, entonces debe calcularse alguna de las medidas de detectabilidad expuestas anteriormente. (Swets et al.10 consideran a Az la mejor de estas medidas).
| Predictor | | |
| IA | | |
| ]]> (p=,000) | | |
| ORTO | | |
| | |
| Medidas de detectabilidad | | |
| d - | ]]> - | |
| D (dm ,s) | | |
| de | | |
| Az | | |
| ZA | | |
| dA | ]]> 0,62 | |
La arbitrariedad en la elección a posteriori de un punto de corte que minimice alguna función de la clasificación errónea (por falsa positividad y falsa negatividad) ha sido señalada y ampliamente discutida en un trabajo anterior.11
Cuando se utilizan las curvas ROC no hay necesidad de circunscribirse a la elección de un punto de corte arbitrario. En el pronóstico del rendimiento, este hecho es de gran importancia: cuando se desea comparar varios predictores del rendimiento según su comportamiento en un curso académico cualquiera, la comparación se lleva a cabo de ordinario sobre la base de la especificidad, la sensibilidad, los valores predictivos y el riesgo relativo, que se asocian a puntos de corte encontrados en un curso anterior. Este procedimiento, que por supuesto, no es privativo de la predicción del rendimiento, sino que es práctica común en la validación y comparación de un conjunto de criterios diagnósticos o pronósticos, puede dar una imagen distorsionada de la relevancia relativa de los predictores, porque el punto de corte óptimo puede variar en el tiempo.
La reducción de la curva ROC a un único parámetro que describa su comportamiento, no está exenta del riesgo anterior. Esta es la razón de mayor fuerza para proponer como medida de detectabilidad a Az que mide el área completa bajo la curva, mejor que dm o de, que seleccionan sólo un punto de la curva.
Como se observa en la tabla 3, el modelo lineal representa adecuadamente la relación entre Z(F/f) y Z(F/e ) para ambos predictores, pero sólo para ORTO la pendiente es igual a 1. De aquí se deduce que para comparar a ambos predictores no puede utilizarse a d como medida de detectabilidad, ya que ésta sólo tiene sentido para uno de ellos.
Cualquiera de las medidas de detectabilidad apropiadas, aplicadas a la evaluación comparativa de IA y ORTO muestra la superioridad del primero como predictor del rendimiento y confirma lo que se observa claramente en las figuras 1 y 2: la curva ROC de IA limita un área mayor con respecto al eje de las abscisas que la que corresponde a ORTO.
Key words: ACHIEVEMENT; ROC CURVES.