WnioskowanieStatystyczne/ROC
Wnioskowanie_Statystyczne_-_wykład
Błędy I i II rodzaju
Pojęcia błędów I i II rodzaju, podobnie jak hipotezy zerowej (H0) wprowadzili do statystyki Jerzy Spława-Neyman i Egon Pearson w latach 30. XX wieku.
Przyjęcie poziomu istotności ([math]\alpha[/math]) na poziomie 5 procent oznacza, że średnio w jednym na dwadzieścia przypadków możemy odrzucić prawdziwą hipotezę, czyli popełnić błąd I rodzaju (false positive, [math]FP[/math]).
Błąd II rodzaju polega na przyjęciu hipotezy fałszywej (false negative, [math]FN[/math]).
[math]\textrm{P}(FP) = \alpha [/math]
[math]\textrm{P}(FN) = \beta[/math]
moc testu = [math]1-\beta[/math]
Konwencja nazw: wynik dodatni (pozytywny) to odrzucenie hipotezy zerowej, czyli wykrycie efektu — choroby, różnicy między grupami, sygnału. Hipoteza zerowa jest stanem ujemnym („zdrowy”, „brak efektu”). Pierwsza litera skrótu (T/F) mówi, czy decyzja była trafna, druga (P/N) — jaka była decyzja. Stąd błąd I rodzaju to wynik fałszywie dodatni (FP, prawdopodobieństwo [math]\alpha[/math]), błąd II rodzaju — fałszywie ujemny (FN, [math]\beta[/math]), a moc testu [math]1-\beta[/math] to częstość wyników prawdziwie dodatnich (TP); [math]1-\alpha[/math] odpowiada częstości wyników prawdziwie ujemnych (TN).
Kolumny tabeli sumują się do jedności, i to wprost z definicji poziomu istotności: [math]\alpha[/math] to prawdopodobieństwo odrzucenia hipotezy zerowej pod warunkiem, że jest ona prawdziwa, a odrzucenie i przyjęcie [math]H_0[/math] to jedyne dwie możliwe (i wykluczające się) decyzje, więc przyjęcie prawdziwej [math]H_0[/math] ma prawdopodobieństwo [math]1-\alpha[/math]. Tak samo w drugiej kolumnie: [math]\beta[/math] i [math]1-\beta[/math] to prawdopodobieństwa obu decyzji pod warunkiem, że [math]H_0[/math] jest fałszywa. Wszystkie cztery liczby są więc prawdopodobieństwami warunkowanymi stanem rzeczywistym, a nie naszą decyzją — i nic nie mówią o tym, jak często się mylimy, jeśli nie wiemy, jak często [math]H_0[/math] bywa prawdziwa.
Odwrócenie warunkowania (np. „jakie jest prawdopodobieństwo, że pacjent jest chory, skoro wynik wyszedł dodatni”) wymaga dodatkowo częstości występowania choroby i wynika z twierdzenia Bayesa — tam też policzony jest przykład, w którym test o czułości bliskiej 100% i swoistości 99,8% daje wynik dodatni, a mimo to szansa choroby jest mniejsza niż połowa.
| hipoteza H0 | |||
| Prawdziwa | Fałszywa | ||
|---|---|---|---|
| decyzja | Odrzuć (wynik dodatni) | błąd typu I (False Positive, [math]p=\alpha[/math]) | poprawna (True Positive — moc testu), [math]p=1-\beta[/math] |
| Przyjmij (wynik ujemny) | poprawna (True Negative), [math]p=1-\alpha[/math] | błąd typu II (False Negative), [math]p=\beta[/math] | |
| wielkość | definicja | odpowiednik w testach statystycznych | skąd to wynika |
|---|---|---|---|
| czułość (sensitivity, TPR) | [math]\frac{TP}{TP+FN}[/math] | moc testu [math]1-\beta[/math] | oba wyrażenia to prawdopodobieństwo wyniku dodatniego, gdy [math]H_0[/math] jest fałszywa (druga kolumna tabeli powyżej) |
| swoistość (specificity, TNR) | [math]\frac{TN}{TN+FP}[/math] | [math]1-\alpha[/math] | prawdopodobieństwo wyniku ujemnego, gdy [math]H_0[/math] jest prawdziwa (pierwsza kolumna) |
| FPR (odsetek fałszywych alarmów) | [math]\frac{FP}{FP+TN}=1-\textrm{swoistość}[/math] | poziom istotności [math]\alpha[/math] | FP i TN wyczerpują pierwszą kolumnę, więc oba ilorazy sumują się do jedności |
| PPV (wartość predykcyjna dodatnia) | [math]\frac{TP}{TP+FP}[/math] | — | iloraz wierszowy: warunkowany decyzją, nie stanem; wymaga twierdzenia Bayesa |
| NPV (wartość predykcyjna ujemna) | [math]\frac{TN}{TN+FN}[/math] | — | jak wyżej, dla drugiego wiersza |
| trafność (accuracy) | [math]\frac{TP+TN}{TP+FP+FN+TN}[/math] | — | zależy od częstości obu stanów, więc przy rzadkiej chorobie bywa myląca |
Krzywa ROC to zbiór punktów [math](FPR, TPR)[/math], czyli — jak widać z dwóch pierwszych wierszy tabeli — punktów [math](\alpha,\ \textrm{moc})[/math], wyznaczonych dla kolejnych progów decyzji. Klasyfikator, który nie korzysta z danych, odpowiada „dodatni” z pewnym prawdopodobieństwem [math]q[/math] niezależnie od stanu rzeczywistego, więc dla każdego progu [math]TPR=FPR=q[/math]: jego punkty leżą na przekątnej, a pole pod nią wynosi [math]AUC=0{,}5[/math].
Rozróżnienie osi warto zapamiętać: czułość i swoistość są warunkowane stanem rzeczywistym (kolumny tabeli), a PPV i NPV — naszą decyzją (wiersze). Przejście z kolumn na wiersze zawsze wymaga częstości a priori; wraca to w twierdzeniu Bayesa i przy współczynniku FDR w rozdziale o porównaniach wielokrotnych.
Krzywa ROC (receiver operating characteristic)
Terminy używane w różnych dziedzinach:
| komórka lub iloraz | statystyka | medycyna | uczenie maszynowe / wyszukiwanie | detekcja sygnału (radar, psychofizyka) |
|---|---|---|---|---|
| TP | poprawne odrzucenie [math]H_0[/math] | prawdziwie dodatni | true positive | trafienie (hit) |
| FP | błąd I rodzaju | fałszywie dodatni | false positive | fałszywy alarm |
| FN | błąd II rodzaju | fałszywie ujemny | false negative | przeoczenie (miss) |
| TN | poprawne przyjęcie [math]H_0[/math] | prawdziwie ujemny | true negative | correct rejection |
| [math]\frac{TP}{TP+FN}[/math] | moc [math]=1-\beta[/math] | czułość | recall (sensitivity, TPR) | hit rate |
| [math]\frac{TN}{TN+FP}[/math] | [math]1-\alpha[/math] | swoistość | specificity (TNR) | — |
| [math]\frac{FP}{FP+TN}[/math] | [math]\alpha[/math] (poziom istotności) | 1 − swoistość | FPR (fall-out) | false alarm rate |
| [math]\frac{TP}{TP+FP}[/math] | — | PPV | precision | — |
| [math]\frac{TN}{TN+FN}[/math] | — | NPV | — | — |
| [math]\frac{TP+TN}{\textrm{wszystkie}}[/math] | — | trafność | accuracy | percent correct |
Trzy pierwsze wiersze ilorazów to te same wielkości co w tabeli powyżej — różnią się tylko nazwą, którą nadaje im dana dziedzina. Zgodność co do znaczenia słowa „dodatni” i co do układu tabeli nie jest przypadkiem: krzywa ROC powstała w teorii detekcji sygnału radarowego[1] i trafiła do diagnostyki medycznej[2], a stamtąd do uczenia maszynowego[3]. Dziedziny różnią się natomiast tym, których ilorazów używają: statystyka klasyczna w ujęciu Neymana–Pearsona[4] posługuje się wyłącznie wielkościami warunkowanymi stanem rzeczywistym ([math]\alpha[/math], [math]\beta[/math]), medycyna używa obu osi (czułość i swoistość oraz PPV i NPV), a uczenie maszynowe bierze po jednej z każdej (recall i precision).
Opisane powyżej błędy odnoszą się do ostatecznych, binarnych decyzji systemu (np. przynależność do grupy A lub B). Jednak bardzo często system na "przedostatnim" stadium zwraca wielkość odpowiadającą prawdopodobieństwu przynależności do jednej z grup. Dopiero wybranie progu daje nam decyzję binarną. Ten próg możemy dobierać w zależności od tego, czy ważniejsze jest unikanie FP czy maksymalizowanie TP.
Kwestie doboru progu ładnie ilustruje obrazek z Wikipedii 
Na poniższych ilustracjach
z artykułu dostępnego w Internecie przedstawiono histogramy decyzji klasyfikatora, który przypisywał odcinkom EEG prawdopodobieństwo faktu, że wystąpił w nim potencjał wywołany, który związany jest z koncentracją uwagi na bodźcu wyświetlanym w danym momencie. Jako "ground truth", czyli kryterium, przyjęto deklarowane przez użytkowników intencje zwracania uwagi na dany bodziec (target) lub nie (nontarget).
AUC (inaczej AUROC, czyli Area Under ROC) to pole pod krzywą ROC, określające jakość separacji rozkładów dla różnych ustawień progu.
- ↑ Peterson, W.W., Birdsall, T.G., Fox, W.C. (1954), The theory of signal detectability, Transactions of the IRE PGIT-4: 171–212; przystępnie: Green, D.M., Swets, J.A. (1966), Signal Detection Theory and Psychophysics.
- ↑ Swets, J.A. (1988), Measuring the accuracy of diagnostic systems, Science 240: 1285–1293. Czułość i swoistość w tym znaczeniu: Yerushalmy, J. (1947), Statistical problems in assessing methods of medical diagnosis, Public Health Reports 62: 1432–1439; PPV/NPV: Vecchio, T.J. (1966), Predictive value of a single diagnostic test in unselected populations, New England Journal of Medicine 274: 1171–1173.
- ↑ Zestawienia synonimów i związków między tymi wielkościami: Fawcett, T. (2006), An introduction to ROC analysis, Pattern Recognition Letters 27(8): 861–874; Powers, D.M.W. (2011), Evaluation: from precision, recall and F-measure to ROC, informedness, markedness & correlation, Journal of Machine Learning Technologies 2(1): 37–63.
- ↑ Neyman, J., Pearson, E.S. (1933), On the problem of the most efficient tests of statistical hypotheses, Philosophical Transactions of the Royal Society A 231: 289–337.
