Análisis de la curva ROC

Comando:

Estadísticas Curvas ROC Análisis de curvas ROC

¿Qué es una curva ROC?

La curva ROC es un gráfico que representa la tasa de verdaderos positivos (sensibilidad) frente a la tasa de falsos positivos (1 - especificidad) para distintos puntos de corte de un parámetro diagnóstico. Cada punto de la curva refleja una combinación específica de sensibilidad y especificidad, correspondiente a un determinado umbral de decisión..

El área bajo la curva ROC (AUC) cuantifica la capacidad del parámetro para discriminar entre dos grupos diagnósticos (por ejemplo, enfermos y sanos). Un valor de AUC más cercano a 1 indica una mayor capacidad discriminativa.

MedCalc genera un informe detallado de sensibilidad y especificidad para cada punto de corte analizado.

En conjunto, la curva ROC es una herramienta esencial en la evaluación del rendimiento de pruebas diagnósticas.

Resumen de la teoría

El rendimiento diagnóstico de una prueba, o su precisión para distinguir entre casos patológicos y normales, se evalúa mediante el análisis de curvas ROC (Metz, 1978; Zweig y Campbell, 1993). Las curvas ROC también pueden utilizarse para comparar el rendimiento diagnóstico de dos o más pruebas de laboratorio o de diagnóstico (Griner et al., 1981).

Al analizar los resultados de una prueba diagnóstica en dos poblaciones —una con la enfermedad y otra sin ella— es poco común observar una separación perfecta entre ambos grupos. En la práctica, las distribuciones de los resultados suelen superponerse, como se ilustra en la figura siguiente.

Por cada punto de corte o valor de criterio que seleccione para discriminar entre las dos poblaciones, habrá casos con la enfermedad correctamente clasificados como positivos (VP = fracción de verdaderos positivos), pero algunos casos con la enfermedad se clasificarán como negativos (FN = fracción de falsos negativos). Por otro lado, algunos casos sin la enfermedad se clasificarán correctamente como negativos (VN = fracción de verdaderos negativos), pero algunos casos sin la enfermedad se clasificarán como positivos (FP = fracción de falsos positivos).

Resultados esquemáticos de una prueba

Las diferentes fracciones (TP, FP, TN, FN) están representadas en la siguiente tabla.

	Enfermedad
Prueba	Presente	n		Ausente	n		Total
Positivo	Verdadero Positivo (VP)	a		Falso positivo (FP)	c		a + c
Negativo	Falso negativo (FN)	b		Verdadero negativo (VN)	d		b + d
Total		a + b			c + d

Se pueden definir las siguientes estadísticas:

Sensibilidad	a a + b		Especificidad	d c + d
Razón de verosimilitud positiva	Sensibilidad 1 - Especificidad		Razón de verosimilitud negativa	1 - Sensibilidad Especificidad
Valor predictivo positivo	a a + c		Valor predictivo negativo	d b + d

• Sensibilidad : probabilidad de que el resultado de una prueba sea positivo cuando la enfermedad está presente (tasa de positivos verdaderos, expresada como porcentaje).
  $$ sensibilidad = \frac { a } { a + b} $$
• Especificidad : probabilidad de que el resultado de una prueba sea negativo cuando la enfermedad no está presente (tasa de verdaderos negativos, expresada como porcentaje).
  $$ especificidad = \frac { d } { c + d} $$
• Razón de verosimilitud positiva : razón entre la probabilidad de un resultado positivo de la prueba dada la presencia de la enfermedad y la probabilidad de un resultado positivo de la prueba dada la ausencia de la enfermedad, es decir
  $$ +LR = \frac { Tasa\ de\ Verdaderos\ Positivos } { Tasa\ de\ Falsos\ Positivos } = \frac { sensibilidad} { 1 - especificidad} $$
• Razón de verosimilitud negativa : razón entre la probabilidad de un resultado negativo de la prueba dada la presencia de la enfermedad y la probabilidad de un resultado negativo de la prueba dada la ausencia de la enfermedad, es decir
  $$ -LR = \frac { Tasa\ de\ Falsos\ Negativos } { Tasa\ de\ Verdaderos\ Negativos } = \frac { 1 - sensibilidad} { especificidad} $$
• Valor predictivo positivo : probabilidad de que la enfermedad esté presente cuando la prueba es positiva (expresada como porcentaje).
  $$ PPV = \frac { a } { a + c} $$
• Valor predictivo negativo : probabilidad de que la enfermedad no esté presente cuando la prueba es negativa (expresada como porcentaje).
  $$ NPV = \frac { d } { b + d} $$

Sensibilidad y especificidad versus valor criterio

Al seleccionar un valor de criterio más alto, la fracción de falsos positivos disminuirá con una mayor especificidad, pero por otro lado, la fracción de verdaderos positivos y la sensibilidad disminuirán:

Al seleccionar un valor de umbral más bajo, la fracción de verdaderos positivos y la sensibilidad aumentarán. Por otro lado, la fracción de falsos positivos también aumentará y, por lo tanto, la fracción de verdaderos negativos y la especificidad disminuirán.

La curva ROC

En una curva ROC, la tasa de verdaderos positivos (sensibilidad) se representa gráficamente en función de la tasa de falsos positivos (100-especificidad) para diferentes puntos de corte. Cada punto de la curva ROC representa un par de sensibilidad/especificidad correspondiente a un umbral de decisión específico. Una prueba con discriminación perfecta (sin solapamiento entre las dos distribuciones) presenta una curva ROC que pasa por el vértice superior izquierdo (100 % de sensibilidad, 100 % de especificidad). Por lo tanto, cuanto más cerca esté la curva ROC del vértice superior izquierdo, mayor será la precisión general de la prueba (Zweig y Campbell, 1993).

Cómo ingresar datos para el análisis de la curva ROC

Para realizar el análisis de la curva ROC en MedCalc, debe contar con una medición de interés (el parámetro que desea estudiar) y un diagnóstico independiente que clasifique a los sujetos de estudio en dos grupos distintos: uno con enfermedad y otro sin enfermedad. Este último diagnóstico debe ser independiente de la medición de interés.

En la hoja de cálculo, cree una columna para DIAGNÓSTICO y una columna para la variable de interés, por ejemplo, PRUEBA1. Para cada sujeto del estudio, introduzca un código para el diagnóstico, como se indica a continuación: 1 para los casos con enfermedad y 0 para los casos sanos o normales. En la columna PRUEBA1, introduzca la medición de interés (pueden ser mediciones, calificaciones, etc.; si los datos son categóricos, codifíquelos con valores numéricos).

Entrada requerida

Complete el cuadro de diálogo de análisis de la curva ROC de la siguiente manera:

Datos

• Variable : seleccione la variable de interés. Esta variable contiene los resultados de la prueba diagnóstica cuyas características desea obtener.
• Variable de clasificación : seleccione o ingrese una variable dicotómica que indique el diagnóstico (0=negativo, 1=positivo).
  Si sus datos están codificados de manera diferente, puede utilizar la herramienta Definir estado para recodificar sus datos.
• Filtro : (opcionalmente) un filtro para incluir sólo un subgrupo seleccionado de casos (por ejemplo, EDAD>21, SEXO='Masculino').

Metodología

• DeLong et al.: utilice el método de DeLong et al. (1988) para el cálculo del error estándar del área bajo la curva (recomendado).
• Hanley & McNeil : utiliza el método de Hanley & McNeil (1982) para el cálculo del error estándar del área bajo la curva.
• Intervalo de confianza binomial exacto para el AUC : Calcule un intervalo de confianza binomial exacto para el área bajo la curva (recomendado). Si no se selecciona esta opción, el intervalo de confianza se calcula como el AUC ± 1,96 de su error estándar.

Prevalencia de enfermedades

Mientras que la sensibilidad y la especificidad, y por lo tanto la curva ROC y las razones de verosimilitud (positivas y negativas) , son independientes de la prevalencia de la enfermedad, los valores predictivos positivos y negativos dependen en gran medida de la prevalencia o la probabilidad previa de la enfermedad. Por lo tanto, cuando se desconoce la prevalencia de la enfermedad, el programa no puede calcular los valores predictivos positivos y negativos .

Clínicamente, la prevalencia de la enfermedad es la misma que la probabilidad de que la enfermedad esté presente antes de que se realice la prueba (probabilidad previa de enfermedad).

• Desconocido : seleccione esta opción cuando la prevalencia de la enfermedad sea desconocida o irrelevante para el análisis estadístico actual.
• La proporción de casos en los grupos positivo y negativo refleja la prevalencia de la enfermedad : si los tamaños de muestra en el grupo positivo y negativo reflejan la prevalencia real de la enfermedad en la población, esto se puede indicar seleccionando esta opción.
• Otro valor (%) : alternativamente, puede ingresar un valor para la prevalencia de la enfermedad, expresado como un porcentaje.

Opciones

• Listado de valores de criterio con características de prueba : opción para crear una lista de valores de criterio correspondientes a las coordenadas de la curva ROC, con sensibilidad, especificidad, razones de verosimilitud y valores predictivos asociados (si se conoce la prevalencia de la enfermedad).
  • Incluir todos los valores de criterio observados : Al seleccionar esta opción, el programa mostrará la sensibilidad y especificidad de todos los valores umbral posibles. Si no se selecciona, el programa solo mostrará los puntos más importantes de la curva ROC: para una sensibilidad/especificidad iguales, se mostrarán los valores umbral (valores de criterio) con la mayor especificidad/sensibilidad.
• Intervalo de confianza del 95 % para sensibilidad/especificidad, razón de verosimilitud y valores predictivos: seleccione los intervalos de confianza que necesite.
• Calcular el valor óptimo del criterio considerando los costos : opción para calcular el valor óptimo del criterio considerando la prevalencia de la enfermedad y el costo de las decisiones falsas, verdaderas y negativas (Zweig y Campbell, 1993). Esta opción solo está disponible si se conoce la prevalencia de la enfermedad (véase más arriba).
  • FPc: el coste de una decisión falsa positiva.
  • FNc: el costo de una decisión falsa negativa.
  • TPc: el coste de una verdadera decisión positiva.
  • TNc: el coste de una verdadera decisión negativa.
  Estos datos se utilizan para calcular un parámetro S de la siguiente manera:
  $$ S = \left ( \frac {FP_c - TN_c} {FN_c - TP_c} \right ) \times \left ( \frac {1-P} {P} \right ) $$
  Donde P denota la prevalencia en la población objetivo (Greiner et al., 2000). El punto de la curva ROC donde una línea con esta pendiente S toca la curva es el punto de operación óptimo, considerando la prevalencia y los costos de las diferentes decisiones.

  Los costos pueden ser financieros o de salud, pero los cuatro factores de costo deben expresarse en una escala común. Los beneficios pueden expresarse como costos negativos. Supongamos que una decisión falsa negativa (FN) se considera dos veces más costosa que una decisión falsa positiva (FP), y no se hacen suposiciones sobre los costos de las decisiones verdaderas positivas y verdaderas negativas. Entonces, para FNc, se ingresa 2, para FPc, 1 y 0 para TPc y TNc.

  Porque la pendiente S debe ser un número positivo:

  • FPc no puede ser igual a TNc
  • FNc no puede ser igual a TPc
  • Cuando TNc es mayor que FPc, entonces TPc debe ser mayor que FNc
  • Cuando TNc es menor que FPc entonces TPc debe ser menor que FNc

  El parámetro S es neutral en cuanto a costos cuando (FPc-TNc)/(FNc-TPc) se evalúa como 1, es decir, cuando FPc-TNc es igual a FNc-TPc. En este caso, S y el valor de criterio óptimo dependen únicamente de la prevalencia de la enfermedad.

• Avanzado : haga clic en este botón para ver algunas opciones avanzadas:
  Las siguientes opciones implican el uso de bootstrap, lo cual las hace computacionalmente intensivas y demandantes en cuanto a tiempo..
  • Estimación de la sensibilidad y especificidad con una especificidad y sensibilidad fijas : compilar una tabla con la estimación de la sensibilidad y especificidad, con un intervalo de confianza del 95% bootstrap (Efron, 1987; Efron y Tibshirani, 1993), para una especificidad y sensibilidad fijas y preespecificadas del 80%, 90%, 95% y 97,5% (Zhou et al., 2002).
  • Intervalo de confianza del índice de Youden Bootstrap : calcule un intervalo de confianza del 95 % con Bootstrap para el índice de Youden y su valor de criterio asociado.
  • Réplicas de bootstrap : introduzca el número de réplicas de bootstrap. 1000 réplicas es un número común en la literatura. Un número alto aumenta la precisión, pero también el tiempo de procesamiento.
  • Semilla de número aleatorio : Esta es la semilla del generador de números aleatorios. Introduzca 0 para una semilla aleatoria; esto puede resultar en diferentes intervalos de confianza al repetir el procedimiento. Cualquier otro valor generará una secuencia aleatoria repetible, lo que resultará en valores repetibles para los intervalos de confianza.

Gráfico ROC

• Seleccione Mostrar ventana de curva ROC para obtener el gráfico en una ventana separada.
  Opciones:
  • marcar puntos correspondientes a los valores del criterio.
  • Mostrar límites de confianza del 95% para la curva ROC (Hilgers, 1991).

Resultados

Tamaño de la muestra

En primer lugar, el programa muestra el número de observaciones en ambos grupos. En cuanto al tamaño de la muestra, se ha sugerido que se pueden extraer conclusiones cualitativas significativas de experimentos ROC realizados con un total de aproximadamente 100 observaciones (Metz, 1978).

Área bajo la curva ROC

MedCalc informa el área bajo la curva ROC con error estándar e intervalo de confianza del 95%.

El área bajo la curva ROC (AUC) se puede interpretar de la siguiente manera (Zhou, Obuchowski y McClish, 2002):

• el valor medio de la sensibilidad para todos los valores posibles de especificidad;
• el valor medio de especificidad para todos los valores posibles de sensibilidad;
• la probabilidad de que un individuo seleccionado al azar del grupo positivo tenga un resultado de prueba que indique una sospecha mayor que el de un individuo elegido al azar del grupo negativo.

Cuando la variable en estudio no distingue entre los dos grupos, es decir, cuando no hay diferencia entre ambas distribuciones, el área será igual a 0,5 (la curva ROC coincidirá con la diagonal). Cuando existe una separación perfecta de los valores de los dos grupos, es decir, cuando no hay superposición de distribuciones, el área bajo la curva ROC será igual a 1 (la curva ROC alcanzará la esquina superior izquierda del gráfico).

El intervalo de confianza del 95% es el intervalo en el que se encuentra el área real (poblacional) bajo la curva ROC con un 95% de confianza.

El nivel de significancia o valor P es la probabilidad de que se encuentre el área bajo la curva ROC de la muestra observada cuando, de hecho, el área bajo la curva ROC real (poblacional) es 0,5 (hipótesis nula: Área = 0,5). Si P es pequeño (P<0,05), se puede concluir que el área bajo la curva ROC es significativamente diferente de 0,5 y que, por lo tanto, existe evidencia de que la prueba de laboratorio sí tiene la capacidad de distinguir entre los dos grupos (Hanley y McNeil, 1982; Zweig y Campbell, 1993).

Índice de Youden

Se informa el índice de Youden con su intervalo de confianza del 95% y criterio asociado.

El índice de Youden J (Youden, 1950) se define como:

donde c abarca todos los valores de criterio posibles.

Gráficamente, J es la distancia vertical máxima entre la curva ROC y la línea diagonal.

El valor del criterio correspondiente al índice de Youden J es el valor de criterio óptimo sólo cuando la prevalencia de la enfermedad es del 50%, se da el mismo peso a la sensibilidad y a la especificidad y se ignoran los costos de varias decisiones.

Cuando se ha seleccionado la opción Avanzada correspondiente, MedCalc calculará intervalos de confianza del 95 % bootstrap de BC ₍ Efron, 1987; Efron y Tibshirani, 1993) tanto para el índice de Youden como para su valor de criterio correspondiente.

Valores de criterio

MedCalc no solo informa valores umbral o de criterio, sino que informa los valores de criterio con un signo de comparación, > o ≤, dependiendo de si los valores más altos indican enfermedad o los valores más bajos indican enfermedad.

Consulte la nota sobre los valores del criterio.

Criterio óptimo

Este panel solo se muestra cuando se conocen los parámetros de prevalencia y costo de la enfermedad.

El valor óptimo del criterio considera no solo la sensibilidad y la especificidad, sino también la prevalencia de la enfermedad y los costos de diversas decisiones. Una vez conocidos estos datos, MedCalc calculará el criterio óptimo y la sensibilidad y especificidad asociadas. Y, al seleccionar la opción Avanzada correspondiente, MedCalc calculará intervalos de confianza del 95% basados​en bootstrap (BC_a; Efron, 1987; Efron y Tibshirani, 1993) para estos parámetros.

Cuando se utiliza una prueba con fines de detección o para excluir una posibilidad diagnóstica, se puede seleccionar un valor de corte con una mayor sensibilidad; y cuando se utiliza una prueba para confirmar una enfermedad, puede requerirse una mayor especificidad.

Tabla resumen

Este panel sólo se muestra cuando se ha seleccionado la opción Avanzada correspondiente.

La tabla resumen muestra la especificidad estimada para sensibilidades fijas y preespecificadas de 80, 90, 95 y 97,5%, así como la sensibilidad estimada para especificidades fijas y preespecificadas (Zhou et al., 2002), con los valores de criterio correspondientes.

Los intervalos de confianza son intervalos de confianza del 95 % basados en bootstrap (BC_a; Efron, 1987; Efron y Tibshirani, 1993).

Valores criterio y coordenadas de la curva ROC

Esta sección de la ventana de resultados muestra los diferentes filtros o valores de corte con su correspondiente sensibilidad y especificidad de la prueba, así como la razón de verosimilitud positiva (+LR) y negativa (-LR). Si se conoce la prevalencia de la enfermedad, el programa también reportará el valor predictivo positivo (+VP) y el valor predictivo negativo (-VP).

Si no seleccionó la opción ' Incluir todos los valores de criterio observados', el programa solo muestra los puntos más importantes de la curva ROC: para una sensibilidad (especificidad) igual, se proporciona el valor umbral (valor de criterio) con la mayor especificidad (sensibilidad). Si se selecciona la opción ' Incluir todos los valores de criterio observados', el programa muestra la sensibilidad y la especificidad de todos los valores umbral posibles.

• Sensibilidad (con intervalo de confianza del 95 % opcional): probabilidad de que el resultado de una prueba sea positivo cuando la enfermedad está presente (tasa de positivos verdaderos).
• Especificidad (con intervalo de confianza del 95 % opcional): probabilidad de que el resultado de una prueba sea negativo cuando la enfermedad no está presente (tasa de verdaderos negativos).
• Razón de verosimilitud positiva (con intervalo de confianza del 95 % opcional): relación entre la probabilidad de un resultado positivo de la prueba dada la presencia de la enfermedad y la probabilidad de un resultado positivo de la prueba dada la ausencia de la enfermedad.
• Razón de verosimilitud negativa (con intervalo de confianza del 95 % opcional): relación entre la probabilidad de un resultado negativo de la prueba dada la presencia de la enfermedad y la probabilidad de un resultado negativo de la prueba dada la ausencia de la enfermedad.
• Valor predictivo positivo (con intervalo de confianza del 95% opcional): probabilidad de que la enfermedad esté presente cuando la prueba es positiva.
• Valor predictivo negativo (con intervalo de confianza del 95% opcional): probabilidad de que la enfermedad no esté presente cuando la prueba es negativa.
• Costo ^* : El costo promedio resultante del uso de la prueba diagnóstica en ese nivel de decisión. Tenga en cuenta que el costo aquí reportado excluye los costos generales, es decir, el costo de la prueba, que es constante en todos los niveles de decisión.
  ^* Esta columna solo se muestra cuando se conocen los parámetros de prevalencia y costo de la enfermedad.

La sensibilidad, la especificidad, el valor predictivo positivo y negativo, así como la prevalencia de la enfermedad se expresan como porcentajes.

Los intervalos de confianza para la sensibilidad y la especificidad son intervalos de confianza de Clopper-Pearson 'exactos'.

Los intervalos de confianza para las razones de verosimilitud se calculan utilizando el 'método logarítmico', como se indica en la página 109 de Altman et al. 2000.

Los intervalos de confianza para los valores predictivos son los intervalos de confianza logit estándar dados por Mercaldo et al. 2007.

Curva ROC

La curva ROC se mostrará en una segunda ventana cuando haya seleccionado la opción correspondiente en el cuadro de diálogo.

En una curva ROC, la tasa de verdaderos positivos (sensibilidad) se representa en función de la tasa de falsos positivos (especificidad 100) para diferentes puntos de corte. Cada punto de la curva ROC representa un par de sensibilidad/especificidad correspondiente a un umbral de decisión particular. Una prueba con discriminación perfecta (sin solapamiento entre las dos distribuciones) presenta una curva ROC que pasa por el vértice superior izquierdo (100 % de sensibilidad, 100 % de especificidad). Por lo tanto, cuanto más cerca esté la curva ROC del vértice superior izquierdo, mayor será la precisión general de la prueba (Zweig y Campbell, 1993).

Al hacer clic en un punto específico de la curva ROC, se mostrará el punto de corte correspondiente con sensibilidad y especificidad.

Presentación de resultados

La prevalencia de una enfermedad puede variar en distintos entornos clínicos. Por ejemplo, la probabilidad de un resultado positivo antes de la prueba será mayor cuando un paciente consulta a un especialista que cuando consulta a un médico general. Dado que los valores predictivos positivos y negativos son sensibles a la prevalencia de la enfermedad, sería engañoso comparar estos valores de diferentes estudios con prevalencias diferentes, o aplicarlos en distintos entornos.

Los datos de la ventana de resultados se pueden resumir en una tabla. El tamaño de la muestra en ambos grupos debe indicarse claramente. La tabla puede contener una columna para los diferentes valores de criterio, la sensibilidad (con un IC del 95 %), la especificidad (con un IC del 95 %) y, posiblemente, el valor predictivo positivo y negativo. La tabla no solo debe contener las características de la prueba para un único valor de corte, sino que, preferiblemente, debe incluir una fila para los valores correspondientes a una sensibilidad del 90 %, 95 % y 97,5 %, una especificidad del 90 %, 95 % y 97,5 %, y el valor correspondiente al índice de Youden o la precisión más alta.

Con estos datos, cualquier lector puede calcular el valor predictivo negativo y positivo aplicable en su propio entorno clínico cuando conoce la probabilidad previa de enfermedad (probabilidad pre-test o prevalencia de enfermedad) en ese entorno, mediante las siguientes fórmulas basadas en el teorema de Bayes:

y

Las razones de verosimilitud negativa y positiva deben manejarse con cuidado porque es fácil y común malinterpretarlas.

Literatura

• DeLong ER, DeLong DM, Clarke-Pearson DL (1988) Comparing the areas under two or more correlated receiver operating characteristic curves: a non-parametric approach. Biometrics 44:837-845.
• Efron B (1987) Better Bootstrap Confidence Intervals. Journal of the American Statistical Association 82:171-185.
• Efron B, Tibshirani RJ (1993) An introduction to the Bootstrap. Chapman & Hall/CRC.
• Greiner M, Pfeiffer D, Smith RD (2000) Principles and practical application of the receiver-operating characteristic analysis for diagnostic tests. Preventive Veterinary Medicine 45:23-41.
• Griner PF, Mayewski RJ, Mushlin AI, Greenland P (1981) Selection and interpretation of diagnostic tests and procedures. Annals of Internal Medicine 94:555-600.
• Hanley JA, Hajian-Tilaki KO (1997) Sampling variability of non-parametric estimates of the areas under receiver operating characteristic curves: an update. Academic Radiology 4:49-58.
• Hanley JA, McNeil BJ (1982) The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology 143:29-36.
• Hilgers RA (1991) Distribution-free confidence bounds for ROC curves. Methods of Information in Medicine 30:96-101.
• Mercaldo ND, Lau KF, Zhou XH (2007) Confidence intervals for predictive values with an emphasis to case-control studies. Statistics in Medicine 26:2170-2183.
• Metz CE (1978) Basic principles of ROC analysis. Seminars in Nuclear Medicine 8:283-298.
• Youden WJ (1950) An index for rating diagnostic tests. Cancer 3:32-35.
• Zhou XH, Obuchowski NA, McClish DK (2002) Statistical methods in diagnostic medicine. Wiley-Interscience.
• Zweig MH, Campbell G (1993) Receiver-operating characteristic (ROC) plots: a fundamental evaluation tool in clinical medicine. Clinical Chemistry 39:561-577.

Véase también

• Cálculo del tamaño de la muestra: área bajo la curva ROC
• Diagrama de puntos interactivo
• Trazar con respecto a valores de criterio
• Valores predictivos
• Razones de verosimilitud de intervalo
• Comparación de curvas ROC (curvas ROC correlacionadas, derivadas de los mismos casos)
• Comparación de curvas ROC independientes (curvas ROC de subgrupos)
• Formato gráfico
• Leyenda del gráfico
• Agregar objetos gráficos
• Líneas de referencia

Enlaces externos

• Curva ROC en Wikipedia.