WnioskowanieStatystyczne/ROC

Wnioskowanie_Statystyczne_-_wykład

Błędy I i II rodzaju

Pojęcia błędów I i II rodzaju, podobnie jak hipotezy zerowej (H₀) wprowadzili do statystyki Jerzy Spława-Neyman i Egon Pearson w latach 30. XX wieku.

Przyjęcie poziomu istotności ([math]\alpha[/math]) na poziomie 5 procent oznacza, że średnio w jednym na dwadzieścia przypadków możemy odrzucić prawdziwą hipotezę, czyli popełnić błąd I rodzaju (false positive, [math]FP[/math]).

Błąd II rodzaju polega na przyjęciu hipotezy fałszywej (false negative, [math]FN[/math]).

[math]\textrm{P}(FP) = \alpha [/math]

[math]\textrm{P}(FN) = \beta[/math]

moc testu = [math]1-\beta[/math]

Cztery możliwe wyniki testu — dwie decyzje w dwóch możliwych stanach rzeczywistości — i ich prawdopodobieństwa zbiera tabela:

		hipoteza H0
		Prawdziwa	Fałszywa
decyzja	Odrzuć (wynik dodatni)	błąd typu I (False Positive, [math]p=\alpha[/math])	poprawna (True Positive — moc testu), [math]p=1-\beta[/math]
	Przyjmij (wynik ujemny)	poprawna (True Negative), [math]p=1-\alpha[/math]	błąd typu II (False Negative), [math]p=\beta[/math]

Konwencja nazw: wynik dodatni (pozytywny) to odrzucenie hipotezy zerowej, czyli wykrycie efektu — choroby, różnicy między grupami, sygnału. Hipoteza zerowa jest stanem ujemnym („zdrowy”, „brak efektu”). Pierwsza litera skrótu (T/F) mówi, czy decyzja była trafna, druga (P/N) — jaka była decyzja. Stąd błąd I rodzaju to wynik fałszywie dodatni (FP, prawdopodobieństwo [math]\alpha[/math]), błąd II rodzaju — fałszywie ujemny (FN, [math]\beta[/math]), a moc testu [math]1-\beta[/math] to częstość wyników prawdziwie dodatnich (TP); [math]1-\alpha[/math] odpowiada częstości wyników prawdziwie ujemnych (TN).

Kolumny tabeli sumują się do jedności, i to wprost z definicji poziomu istotności: [math]\alpha[/math] to prawdopodobieństwo odrzucenia hipotezy zerowej pod warunkiem, że jest ona prawdziwa, a odrzucenie i przyjęcie [math]H_0[/math] to jedyne dwie możliwe (i wykluczające się) decyzje, więc przyjęcie prawdziwej [math]H_0[/math] ma prawdopodobieństwo [math]1-\alpha[/math]. Tak samo w drugiej kolumnie: [math]\beta[/math] i [math]1-\beta[/math] to prawdopodobieństwa obu decyzji pod warunkiem, że [math]H_0[/math] jest fałszywa. Wszystkie cztery liczby są więc prawdopodobieństwami warunkowanymi stanem rzeczywistym, a nie naszą decyzją — i nic nie mówią o tym, jak często się mylimy, jeśli nie wiemy, jak często [math]H_0[/math] bywa prawdziwa.

Odwrócenie warunkowania (np. „jakie jest prawdopodobieństwo, że pacjent jest chory, skoro wynik wyszedł dodatni”) wymaga dodatkowo częstości występowania choroby i wynika z twierdzenia Bayesa — tam też policzony jest przykład, w którym test o czułości bliskiej 100% i swoistości 99,8% daje wynik dodatni, a mimo to szansa choroby jest mniejsza niż połowa.

Linią przerywaną jest oznaczony rozkład jednej z możliwych hipotez alternatywnych. Na górnym wykresie zacieniowany obszar (o polu [math]\beta[/math]) odpowiada prawdopodobieństwu przyjęcia hipotezy zerowej, gdy prawdziwa jest ta hipoteza alternatywna (błąd II rodzaju, false negative). Na dolnym zacieniowany obszar odpowiada prawdopodobieństwu odrzucenia hipotezy zerowej, gdy prawdziwa jest ta hipoteza alternatywna, czyli mocy testu ([math]1-\beta[/math]) względem tej konkretnej hipotezy alternatywnej.

Krzywa ROC (receiver operating characteristic)

Z czterech komórek powyższej tabeli buduje się kilka ilorazów, które w diagnostyce medycznej i w klasyfikacji mają własne nazwy. Dwa z nich — czułość i swoistość — są osiami krzywej ROC, dlatego zbieramy je tutaj, zanim ją narysujemy; trzecia kolumna pokazuje, że to te same wielkości, które w poprzedniej sekcji nazywaliśmy mocą i poziomem istotności.

wielkość	definicja	odpowiednik w testach statystycznych	skąd to wynika
czułość (sensitivity, TPR)	[math]\frac{TP}{TP+FN}[/math]	moc testu [math]1-\beta[/math]	oba wyrażenia to prawdopodobieństwo wyniku dodatniego, gdy [math]H_0[/math] jest fałszywa (druga kolumna tabeli powyżej)
swoistość (specificity, TNR)	[math]\frac{TN}{TN+FP}[/math]	[math]1-\alpha[/math]	prawdopodobieństwo wyniku ujemnego, gdy [math]H_0[/math] jest prawdziwa (pierwsza kolumna)
FPR (odsetek fałszywych alarmów)	[math]\frac{FP}{FP+TN}=1-\textrm{swoistość}[/math]	poziom istotności [math]\alpha[/math]	FP i TN wyczerpują pierwszą kolumnę, więc oba ilorazy sumują się do jedności
PPV (wartość predykcyjna dodatnia)	[math]\frac{TP}{TP+FP}[/math]	—	iloraz wierszowy: warunkowany decyzją, nie stanem; wymaga twierdzenia Bayesa
NPV (wartość predykcyjna ujemna)	[math]\frac{TN}{TN+FN}[/math]	—	jak wyżej, dla drugiego wiersza
trafność (accuracy)	[math]\frac{TP+TN}{TP+FP+FN+TN}[/math]	—	zależy od częstości obu stanów, więc przy rzadkiej chorobie bywa myląca

Krzywa ROC to zbiór punktów [math](FPR, TPR)[/math], czyli — jak widać z dwóch pierwszych wierszy tabeli — punktów [math](\alpha,\ \textrm{moc})[/math], wyznaczonych dla kolejnych progów decyzji.

Rozróżnienie osi warto zapamiętać: czułość i swoistość są warunkowane stanem rzeczywistym (kolumny tabeli), a PPV i NPV — naszą decyzją (wiersze). Przejście z kolumn na wiersze zawsze wymaga częstości a priori; wraca to w twierdzeniu Bayesa i przy współczynniku FDR w rozdziale o porównaniach wielokrotnych.

Opisane powyżej błędy odnoszą się do ostatecznych, binarnych decyzji systemu (np. przynależność do grupy A lub B). Jednak bardzo często system na "przedostatnim" stadium zwraca wielkość odpowiadającą prawdopodobieństwu przynależności do jednej z grup. Dopiero wybranie progu daje nam decyzję binarną. Ten próg możemy dobierać w zależności od tego, czy ważniejsze jest unikanie FP czy maksymalizowanie TP.

Kwestie doboru progu ładnie ilustruje obrazek z Wikipedii

Na poniższych ilustracjach z artykułu dostępnego w Internecie przedstawiono histogramy decyzji klasyfikatora, który przypisywał odcinkom EEG prawdopodobieństwo faktu, że wystąpił w nim potencjał wywołany, który związany jest z koncentracją uwagi na bodźcu wyświetlanym w danym momencie. Jako "ground truth", czyli kryterium, przyjęto deklarowane przez użytkowników intencje zwracania uwagi na dany bodziec (target) lub nie (nontarget).

Histogram decyzji "dobrego" klasyfikatora.

Histogram decyzji "słabego" klasyfikatora.

Fig. 3: Przykładowe krzywe ROC dla "dobrego" i "słabego" klasyfikatora

AUC (inaczej AUROC, czyli Area Under ROC) to pole pod krzywą ROC, określające jakość separacji rozkładów dla różnych ustawień progu. Klasyfikator, który nie korzysta z danych, odpowiada „dodatni” z pewnym prawdopodobieństwem [math]q[/math] niezależnie od stanu rzeczywistego, więc dla każdego progu [math]TPR=FPR=q[/math]: jego punkty leżą na przekątnej, a pole pod nią wynosi [math]AUC=0{,}5[/math].

Te same wielkości w innych dziedzinach

Komórki tabeli decyzji i liczone z nich ilorazy noszą w statystyce, medycynie, uczeniu maszynowym i teorii detekcji sygnału różne nazwy. Poniższa tabela służy wyłącznie do przekładu między tymi słownikami — nie wprowadza żadnej nowej wielkości.

komórka lub iloraz	statystyka	medycyna	uczenie maszynowe / wyszukiwanie	detekcja sygnału (radar, psychofizyka)
TP	poprawne odrzucenie [math]H_0[/math]	prawdziwie dodatni	true positive	trafienie (hit)
FP	błąd I rodzaju	fałszywie dodatni	false positive	fałszywy alarm
FN	błąd II rodzaju	fałszywie ujemny	false negative	przeoczenie (miss)
TN	poprawne przyjęcie [math]H_0[/math]	prawdziwie ujemny	true negative	correct rejection
[math]\frac{TP}{TP+FN}[/math]	moc [math]=1-\beta[/math]	czułość	recall (sensitivity, TPR)	hit rate
[math]\frac{TN}{TN+FP}[/math]	[math]1-\alpha[/math]	swoistość	specificity (TNR)	—
[math]\frac{FP}{FP+TN}[/math]	[math]\alpha[/math] (poziom istotności)	1 − swoistość	FPR (fall-out)	false alarm rate
[math]\frac{TP}{TP+FP}[/math]	—	PPV	precision	—
[math]\frac{TN}{TN+FN}[/math]	—	NPV	—	—
[math]\frac{TP+TN}{\textrm{wszystkie}}[/math]	—	trafność	accuracy	percent correct

Trzy pierwsze wiersze ilorazów to te same wielkości co w tabeli ilorazów na początku tego rozdziału — różnią się tylko nazwą, którą nadaje im dana dziedzina. Zgodność co do znaczenia słowa „dodatni” i co do układu tabeli nie jest przypadkiem: krzywa ROC powstała w teorii detekcji sygnału radarowego i trafiła do diagnostyki medycznej, a stamtąd do uczenia maszynowego. Dziedziny różnią się natomiast tym, których ilorazów używają: statystyka klasyczna w ujęciu Neymana–Pearsona posługuje się wyłącznie wielkościami warunkowanymi stanem rzeczywistym ([math]\alpha[/math], [math]\beta[/math]), medycyna używa obu osi (czułość i swoistość oraz PPV i NPV), a uczenie maszynowe bierze po jednej z każdej (recall i precision).