WnioskowanieStatystyczne/ROC
Wnioskowanie_Statystyczne_-_wykład
Błędy I i II rodzaju
Pojęcia błędów I i II rodzaju, podobnie jak hipotezy zerowej (H0) wprowadzili do statystyki Jerzy Spława-Neyman i Egon Pearson w latach 30. XX wieku.
Przyjęcie poziomu istotności ([math]\alpha[/math]) na poziomie 5 procent oznacza, że średnio w jednym na dwadzieścia przypadków możemy odrzucić prawdziwą hipotezę, czyli popełnić błąd I rodzaju (false positive, [math]FP[/math]).
Błąd II rodzaju polega na przyjęciu hipotezy fałszywej (false negative, [math]FN[/math]).
[math]\textrm{P}(FP) = \alpha [/math]
[math]\textrm{P}(FN) = \beta[/math]
moc testu = [math]1-\beta[/math]
Cztery możliwe wyniki testu — dwie decyzje w dwóch możliwych stanach rzeczywistości — i ich prawdopodobieństwa zbiera tabela:
| hipoteza H0 | |||
| Prawdziwa | Fałszywa | ||
|---|---|---|---|
| decyzja | Odrzuć (wynik dodatni) | błąd typu I (False Positive, [math]p=\alpha[/math]) | poprawna (True Positive — moc testu), [math]p=1-\beta[/math] |
| Przyjmij (wynik ujemny) | poprawna (True Negative), [math]p=1-\alpha[/math] | błąd typu II (False Negative), [math]p=\beta[/math] | |
Konwencja nazw: wynik dodatni (pozytywny) to odrzucenie hipotezy zerowej, czyli wykrycie efektu — choroby, różnicy między grupami, sygnału. Hipoteza zerowa jest stanem ujemnym („zdrowy”, „brak efektu”). Pierwsza litera skrótu (T/F) mówi, czy decyzja była trafna, druga (P/N) — jaka była decyzja. Stąd błąd I rodzaju to wynik fałszywie dodatni (FP, prawdopodobieństwo [math]\alpha[/math]), błąd II rodzaju — fałszywie ujemny (FN, [math]\beta[/math]), a moc testu [math]1-\beta[/math] to częstość wyników prawdziwie dodatnich (TP); [math]1-\alpha[/math] odpowiada częstości wyników prawdziwie ujemnych (TN).
Kolumny tabeli sumują się do jedności, i to wprost z definicji poziomu istotności: [math]\alpha[/math] to prawdopodobieństwo odrzucenia hipotezy zerowej pod warunkiem, że jest ona prawdziwa, a odrzucenie i przyjęcie [math]H_0[/math] to jedyne dwie możliwe (i wykluczające się) decyzje, więc przyjęcie prawdziwej [math]H_0[/math] ma prawdopodobieństwo [math]1-\alpha[/math]. Tak samo w drugiej kolumnie: [math]\beta[/math] i [math]1-\beta[/math] to prawdopodobieństwa obu decyzji pod warunkiem, że [math]H_0[/math] jest fałszywa. Wszystkie cztery liczby są więc prawdopodobieństwami warunkowanymi stanem rzeczywistym, a nie naszą decyzją — i nic nie mówią o tym, jak często się mylimy, jeśli nie wiemy, jak często [math]H_0[/math] bywa prawdziwa.
Odwrócenie warunkowania (np. „jakie jest prawdopodobieństwo, że pacjent jest chory, skoro wynik wyszedł dodatni”) wymaga dodatkowo częstości występowania choroby i wynika z twierdzenia Bayesa — tam też policzony jest przykład, w którym test o czułości bliskiej 100% i swoistości 99,8% daje wynik dodatni, a mimo to szansa choroby jest mniejsza niż połowa.
Krzywa ROC (receiver operating characteristic)
Z czterech komórek powyższej tabeli buduje się kilka ilorazów, które w diagnostyce medycznej i w klasyfikacji mają własne nazwy. Dwa z nich — czułość i swoistość — są osiami krzywej ROC, dlatego zbieramy je tutaj, zanim ją narysujemy; trzecia kolumna pokazuje, że to te same wielkości, które w poprzedniej sekcji nazywaliśmy mocą i poziomem istotności.
| wielkość | definicja | odpowiednik w testach statystycznych | skąd to wynika |
|---|---|---|---|
| czułość (sensitivity, TPR) | [math]\frac{TP}{TP+FN}[/math] | moc testu [math]1-\beta[/math] | oba wyrażenia to prawdopodobieństwo wyniku dodatniego, gdy [math]H_0[/math] jest fałszywa (druga kolumna tabeli powyżej) |
| swoistość (specificity, TNR) | [math]\frac{TN}{TN+FP}[/math] | [math]1-\alpha[/math] | prawdopodobieństwo wyniku ujemnego, gdy [math]H_0[/math] jest prawdziwa (pierwsza kolumna) |
| FPR (odsetek fałszywych alarmów) | [math]\frac{FP}{FP+TN}=1-\textrm{swoistość}[/math] | poziom istotności [math]\alpha[/math] | FP i TN wyczerpują pierwszą kolumnę, więc oba ilorazy sumują się do jedności |
| PPV (wartość predykcyjna dodatnia) | [math]\frac{TP}{TP+FP}[/math] | — | iloraz wierszowy: warunkowany decyzją, nie stanem; wymaga twierdzenia Bayesa |
| NPV (wartość predykcyjna ujemna) | [math]\frac{TN}{TN+FN}[/math] | — | jak wyżej, dla drugiego wiersza |
| trafność (accuracy) | [math]\frac{TP+TN}{TP+FP+FN+TN}[/math] | — | zależy od częstości obu stanów, więc przy rzadkiej chorobie bywa myląca |
Krzywa ROC to zbiór punktów [math](FPR, TPR)[/math], czyli — jak widać z dwóch pierwszych wierszy tabeli — punktów [math](\alpha,\ \textrm{moc})[/math], wyznaczonych dla kolejnych progów decyzji.
Rozróżnienie osi warto zapamiętać: czułość i swoistość są warunkowane stanem rzeczywistym (kolumny tabeli), a PPV i NPV — naszą decyzją (wiersze). Przejście z kolumn na wiersze zawsze wymaga częstości a priori; wraca to w twierdzeniu Bayesa i przy współczynniku FDR w rozdziale o porównaniach wielokrotnych.
Opisane powyżej błędy odnoszą się do ostatecznych, binarnych decyzji systemu (np. przynależność do grupy A lub B). Jednak bardzo często system na "przedostatnim" stadium zwraca wielkość odpowiadającą prawdopodobieństwu przynależności do jednej z grup. Dopiero wybranie progu daje nam decyzję binarną. Ten próg możemy dobierać w zależności od tego, czy ważniejsze jest unikanie FP czy maksymalizowanie TP.
Kwestie doboru progu ładnie ilustruje obrazek z Wikipedii 
Na poniższych ilustracjach z artykułu dostępnego w Internecie przedstawiono histogramy decyzji klasyfikatora, który przypisywał odcinkom EEG prawdopodobieństwo faktu, że wystąpił w nim potencjał wywołany, który związany jest z koncentracją uwagi na bodźcu wyświetlanym w danym momencie. Jako "ground truth", czyli kryterium, przyjęto deklarowane przez użytkowników intencje zwracania uwagi na dany bodziec (target) lub nie (nontarget).
AUC (inaczej AUROC, czyli Area Under ROC) to pole pod krzywą ROC, określające jakość separacji rozkładów dla różnych ustawień progu. Klasyfikator, który nie korzysta z danych, odpowiada „dodatni” z pewnym prawdopodobieństwem [math]q[/math] niezależnie od stanu rzeczywistego, więc dla każdego progu [math]TPR=FPR=q[/math]: jego punkty leżą na przekątnej, a pole pod nią wynosi [math]AUC=0{,}5[/math].
Te same wielkości w innych dziedzinach
Komórki tabeli decyzji i liczone z nich ilorazy noszą w statystyce, medycynie, uczeniu maszynowym i teorii detekcji sygnału różne nazwy. Poniższa tabela służy wyłącznie do przekładu między tymi słownikami — nie wprowadza żadnej nowej wielkości.
| komórka lub iloraz | statystyka | medycyna | uczenie maszynowe / wyszukiwanie | detekcja sygnału (radar, psychofizyka) |
|---|---|---|---|---|
| TP | poprawne odrzucenie [math]H_0[/math] | prawdziwie dodatni | true positive | trafienie (hit) |
| FP | błąd I rodzaju | fałszywie dodatni | false positive | fałszywy alarm |
| FN | błąd II rodzaju | fałszywie ujemny | false negative | przeoczenie (miss) |
| TN | poprawne przyjęcie [math]H_0[/math] | prawdziwie ujemny | true negative | correct rejection |
| [math]\frac{TP}{TP+FN}[/math] | moc [math]=1-\beta[/math] | czułość | recall (sensitivity, TPR) | hit rate |
| [math]\frac{TN}{TN+FP}[/math] | [math]1-\alpha[/math] | swoistość | specificity (TNR) | — |
| [math]\frac{FP}{FP+TN}[/math] | [math]\alpha[/math] (poziom istotności) | 1 − swoistość | FPR (fall-out) | false alarm rate |
| [math]\frac{TP}{TP+FP}[/math] | — | PPV | precision | — |
| [math]\frac{TN}{TN+FN}[/math] | — | NPV | — | — |
| [math]\frac{TP+TN}{\textrm{wszystkie}}[/math] | — | trafność | accuracy | percent correct |
Trzy pierwsze wiersze ilorazów to te same wielkości co w tabeli ilorazów na początku tego rozdziału — różnią się tylko nazwą, którą nadaje im dana dziedzina. Zgodność co do znaczenia słowa „dodatni” i co do układu tabeli nie jest przypadkiem: krzywa ROC powstała w teorii detekcji sygnału radarowego i trafiła do diagnostyki medycznej, a stamtąd do uczenia maszynowego. Dziedziny różnią się natomiast tym, których ilorazów używają: statystyka klasyczna w ujęciu Neymana–Pearsona posługuje się wyłącznie wielkościami warunkowanymi stanem rzeczywistym ([math]\alpha[/math], [math]\beta[/math]), medycyna używa obu osi (czułość i swoistość oraz PPV i NPV), a uczenie maszynowe bierze po jednej z każdej (recall i precision).
