WnioskowanieStatystyczne/ROC

Wnioskowanie_Statystyczne_-_wykład

Błędy I i II rodzaju

Pojęcia błędów I i II rodzaju, podobnie jak hipotezy zerowej (H₀) wprowadzili do statystyki Jerzy Spława-Neyman i Egon Pearson w latach 30. XX wieku.

Przyjęcie poziomu istotności ([math]\alpha[/math]) na poziomie 5 procent oznacza, że średnio w jednym na dwadzieścia przypadków możemy odrzucić prawdziwą hipotezę, czyli popełnić błąd I rodzaju (false positive, [math]FP[/math]).

Błąd II rodzaju polega na przyjęciu hipotezy fałszywej (false negative, [math]FN[/math]).

[math]\textrm{P}(FP) = \alpha [/math]

[math]\textrm{P}(FN) = \beta[/math]

moc testu = [math]1-\beta[/math]

		hipoteza H0
		Prawdziwa	Fałszywa
decyzja	Odrzuć	błąd typu I (False Positive, [math]p=\alpha[/math])	poprawna (True Positive), [math]p=1-\beta[/math]
	Przyjmij	poprawna (True Negative, [math]p=1-\alpha[/math])	błąd typu II (False Negative), [math]p=\beta[/math]

Linią przerywaną jest oznaczony rozkład jednej z możliwych hipotez alternatywnych. Na górnym wykresie zacieniowany obszar (o polu [math]\beta[/math]) odpowiada prawdopodobieństwu błędnej akceptacji hipotezy alternatywnej (błąd II rodzaju, false negative). Na dolnym zacieniowany obszar odpowiada prawdopodobieństwu odrzucenia hipotezy alternatywnej, czyli mocy testu ([math]1-\beta[/math]) względem tej konkretnej hipotezy alternatywnej.

Krzywa ROC (receiver operating characteristic)

[math]TPR = \dfrac{TP}{P} = \dfrac{TP}{TP+FN}[/math] — czułość (sensitivity), true positive rate

[math]TNR = \dfrac{TN}{N} = \dfrac{TN}{FP + TN}[/math] — swoistość (specificity), true negative rate

[math]FPR = \dfrac{FP}{N} = \dfrac{FP}{FP + TN} = \dfrac{FP + TN - TN}{FP + TN} = 1 - TNR[/math]

Opisane powyżej błędy odnoszą się do ostatecznych, binarnych decyzji systemu (np. przynależność do grupy A lub B). Jednak bardzo często system na "przedostatnim" stadium zwraca wielkość odpowiadającą prawdopodobieństwu przynależności do jednej z grup. Dopiero wybranie progu daje nam decyzję binarną. Ten próg możemy dobierać w zależności od tego, czy ważniejsze jest unikanie FP czy maksymalizowanie TP.

Kwestie doboru progu ładnie ilustruje obrazek z Wikipedii

Na poniższych ilustracjach z artykułu dostępnego w Internecie przedstawiono histogramy decyzji klasyfikatora, który przypisywał odcinkom EEG prawdopodobieństwo faktu, że wystąpił w nim potencjał wywołany, który związany jest z koncentracją uwagi na bodźcu wyświetlanym w danym momencie. Jako "ground truth", czyli kryterium, przyjęto deklarowane przez użytkowników intencje zwracania uwagi na dany bodziec (target) lub nie (nontarget).

Histogram decyzji "dobrego" klasyfikatora.

Histogram decyzji "słabego" klasyfikatora.

Fig. 3: Przykładowe krzywe ROC dla "dobrego" i "słabego" klasyfikatora

AUC (inaczej AUROC, czyli Area Under ROC) to pole pod krzywą ROC, określające jakość separacji rozkładów dla różnych ustawień progu.