WnioskowanieStatystyczne/Testy nieprametryczne: Różnice pomiędzy wersjami
(Utworzono nową stronę " ==Testy nieparametryczne== We wstępie mówiliśmy, że jedną z podstawowych wad klasycznych testów statystycznych jest niemal ws...") |
|||
(Nie pokazano 5 wersji utworzonych przez 2 użytkowników) | |||
Linia 1: | Linia 1: | ||
+ | |||
+ | [[Wnioskowanie_Statystyczne_-_wykład]] | ||
+ | |||
==Testy nieparametryczne== | ==Testy nieparametryczne== | ||
− | We [[WnioskowanieStatystyczne/ | + | We [[WnioskowanieStatystyczne/wstep|wstępie]] mówiliśmy, że jedną z podstawowych wad |
klasycznych testów statystycznych jest niemal wszechobecne założenie o | klasycznych testów statystycznych jest niemal wszechobecne założenie o | ||
pochodzeniu danych z populacji o rozkładzie gaussowskim. | pochodzeniu danych z populacji o rozkładzie gaussowskim. | ||
Linia 8: | Linia 11: | ||
Faktycznie, w wyprowadzeniu statystyki najczęściej stosowanego [[WnioskowanieStatystyczne/Test_t|testu <math>t</math>]] korzystamy ''explicite'' z tego założenia — jeśli nie jest ono spełnione, test da wyniki nieprawdziwe. | Faktycznie, w wyprowadzeniu statystyki najczęściej stosowanego [[WnioskowanieStatystyczne/Test_t|testu <math>t</math>]] korzystamy ''explicite'' z tego założenia — jeśli nie jest ono spełnione, test da wyniki nieprawdziwe. | ||
− | Podobnie [[WnioskowanieStatystyczne/ | + | Podobnie [[WnioskowanieStatystyczne/Test_chi2|rozkład <math>\chi^2</math>]] wprowadzamy |
jako sumę kwadratów zmiennych pochodzących z rozkładu | jako sumę kwadratów zmiennych pochodzących z rozkładu | ||
normalnego. Jednak jeśli przyjrzeć się dokładniej założeniom | normalnego. Jednak jeśli przyjrzeć się dokładniej założeniom | ||
− | [[WnioskowanieStatystyczne/ | + | [[WnioskowanieStatystyczne/Test_chi2#Test_.CF.872_Pearsona|testu <math>\chi^2</math> Pearsona]] |
okaże się, że jedynym warunkiem jest, by ilości zliczeń w | okaże się, że jedynym warunkiem jest, by ilości zliczeń w | ||
poszczególnych komórkach tabeli (bądź binach histogramu) nie były | poszczególnych komórkach tabeli (bądź binach histogramu) nie były | ||
Linia 28: | Linia 31: | ||
lub trudności z dokładnym powtórzeniem eksperymentów powodują, że | lub trudności z dokładnym powtórzeniem eksperymentów powodują, że | ||
samych danych bywa za mało do sprawdzenia hipotezy o normalności | samych danych bywa za mało do sprawdzenia hipotezy o normalności | ||
− | rozkładu (na przykład [[WnioskowanieStatystyczne/ | + | rozkładu (na przykład [[WnioskowanieStatystyczne/Test_chi2|testem <math>\chi^2</math>]]). |
<ref> Istnieją również testy statystyczne, | <ref> Istnieją również testy statystyczne, | ||
które weryfikują hipotezę o normalności rozkładu nawet dla bardzo | które weryfikują hipotezę o normalności rozkładu nawet dla bardzo | ||
Linia 42: | Linia 45: | ||
działania nie wymagają spełnienia hipotezy o normalności rozkładu | działania nie wymagają spełnienia hipotezy o normalności rozkładu | ||
danych. Osiągane jest to zwykle kosztem | danych. Osiągane jest to zwykle kosztem | ||
− | [[WnioskowanieStatystyczne/ | + | [[WnioskowanieStatystyczne/Weryfikacja hipotez#Poziom_istotno.C5.9Bci_i_moc_testu|mniejszej mocy testów]], jednak w obliczu groźby popełnienia grubego błędu metodycznego, jakim jest zastosowanie testu parametrycznego do danych |
nie spełniających jego założeń, jest to zwykle cena warta zapłacenia. | nie spełniających jego założeń, jest to zwykle cena warta zapłacenia. | ||
Pierwszym przykładem z tej grupy jest opisany już | Pierwszym przykładem z tej grupy jest opisany już | ||
− | [[WnioskowanieStatystyczne/ | + | [[WnioskowanieStatystyczne/Test_chi2#Test_.CF.872_Pearsona|test <math>\chi^2</math> Pearsona]]. |
Poniżej wprowadzimy jeszcze dwa testy nieparametryczne; | Poniżej wprowadzimy jeszcze dwa testy nieparametryczne; | ||
pierwszy z nich "wymyślimy" i opracujemy od początku do końca — | pierwszy z nich "wymyślimy" i opracujemy od początku do końca — | ||
Linia 79: | Linia 82: | ||
losowano np. tylko spośród mieszkańców miast, zamiast spośród | losowano np. tylko spośród mieszkańców miast, zamiast spośród | ||
wszystkich uprawnionych do głosowania. Natomiast dość skutecznie | wszystkich uprawnionych do głosowania. Natomiast dość skutecznie | ||
− | możemy testować niezależność kolejnych losowań; | + | możemy testować niezależność kolejnych losowań; intuicja podpowiada, |
− | że | + | że bardziej prawdopodobny<ref>formalnie oba ciągi są jednakowo prawdopodobne</ref> jest ciąg |
− | 00101101001110101001 niż 11111111110000000000, | + | 00101101001110101001 niż 11111111110000000000, choć oba zawierają te |
− | same | + | same liczby jedynek i zer — oczywiście, jeśli mówimy o wynikach |
niezależnych losowań.<ref>Jeśli pierwszych dziesięć opinii zbierzemy | niezależnych losowań.<ref>Jeśli pierwszych dziesięć opinii zbierzemy | ||
wśród młodych bezrobotnych a drugie dziesięć wśród emerytów (dwie | wśród młodych bezrobotnych a drugie dziesięć wśród emerytów (dwie |
Aktualna wersja na dzień 21:02, 20 kwi 2023
Wnioskowanie_Statystyczne_-_wykład
Testy nieparametryczne
We wstępie mówiliśmy, że jedną z podstawowych wad klasycznych testów statystycznych jest niemal wszechobecne założenie o pochodzeniu danych z populacji o rozkładzie gaussowskim.
Faktycznie, w wyprowadzeniu statystyki najczęściej stosowanego testu [math]t[/math] korzystamy explicite z tego założenia — jeśli nie jest ono spełnione, test da wyniki nieprawdziwe.
Podobnie rozkład [math]\chi^2[/math] wprowadzamy jako sumę kwadratów zmiennych pochodzących z rozkładu normalnego. Jednak jeśli przyjrzeć się dokładniej założeniom testu [math]\chi^2[/math] Pearsona okaże się, że jedynym warunkiem jest, by ilości zliczeń w poszczególnych komórkach tabeli (bądź binach histogramu) nie były nadmiernie małe. Wynika to ze specyficznej postaci danych wejściowych — statystyka [math]\chi^2[/math] Pearsona nie jest oparta bezpośrednio na danych, lecz na zliczeniach przypadków. W każdym razie jest to przykład testu, którego poprawność nie zależy od założenia o normalności rozkładów danych.
Tę pożądaną własność mają wszystkie testy opisywane w pierwszej części książki. Jednak już znacznie wcześniej, niż rozwój techniki komputerowej umożliwił ich stosowanie, powstało zapotrzebowanie na tego typu metody. W takich dziedzinach jak medycyna, psychologia czy socjologia mamy zwykle do czynienia z danymi, o których trudno powiedzieć a priori z jakiego rozkładu pochodzą, a wysoki koszt lub trudności z dokładnym powtórzeniem eksperymentów powodują, że samych danych bywa za mało do sprawdzenia hipotezy o normalności rozkładu (na przykład testem [math]\chi^2[/math]). [1]
To zapotrzebowanie doprowadziło do powstania w ramach statystyki klasycznej testów nieparametrycznych, które do poprawnego działania nie wymagają spełnienia hipotezy o normalności rozkładu danych. Osiągane jest to zwykle kosztem mniejszej mocy testów, jednak w obliczu groźby popełnienia grubego błędu metodycznego, jakim jest zastosowanie testu parametrycznego do danych nie spełniających jego założeń, jest to zwykle cena warta zapłacenia.
Pierwszym przykładem z tej grupy jest opisany już test [math]\chi^2[/math] Pearsona. Poniżej wprowadzimy jeszcze dwa testy nieparametryczne; pierwszy z nich "wymyślimy" i opracujemy od początku do końca — od analizy problemu, przez pomysł na rozwiązanie, aż do kompletnych wzorów na rozkład prawdopobieństwa wybranej statystyki.
Przykład — nieuczciwy ankieter
Zadaniem ankietera w badaniach przedwyborczych (np. przed referendum) jest pytanie losowo wybranych obywateli, czy mają zamiar głosować "za" czy "przeciw". Czy na podstawie wyników ankiet, będących wyłącznie ciągiem jedynek ("za") i zer ("przeciw"), na przykład:
1101101000101001011101101111010110010101001010100011101
można sprawdzić, czy ankietowane osoby wybierano w prawidłowy sposób? Czy można też wykryć nieuczciwego ankietera, który zamiast pracowicie przeprowadzać ankiety "wymyślił" ich wyniki?
Aby wyniki "odpytania" stosunkowo niewielkiej grupy wyborców mogły odzwierciedlać wyniki przyszłych wyborów, grupa musi być wybrana dostatecznie "przypadkowo". Na przykład, nie ma sensu przeprowadzenie ankiet wyłącznie wśród studentów i wnioskowanie na ich podstawie o wynikach wyborów ogólnonarodowych. Tylko jeśli ankietowana grupa jest przypadkowo wybranym podzbiorem populacji wszystkich wyborców, średnia opinii tej grupy będzie dobrym estymatorem średniej opinii wszystkich wyborców (populacji).
W statystyce używamy pojęcia próby prostej, będącej wynikiem niezależnych losowań z tej samej populacji (lub z tego samego rozkładu). Na podstawie samych wyników trudno wykryć, czy próbę losowano np. tylko spośród mieszkańców miast, zamiast spośród wszystkich uprawnionych do głosowania. Natomiast dość skutecznie możemy testować niezależność kolejnych losowań; intuicja podpowiada, że bardziej prawdopodobny[2] jest ciąg 00101101001110101001 niż 11111111110000000000, choć oba zawierają te same liczby jedynek i zer — oczywiście, jeśli mówimy o wynikach niezależnych losowań.[3] W drugim wyniku mamy zera i jedynki zgrupowane w dwie długie serie — to właśnie wydaje się mało prawdopodobne, w porównaniu z większą ilością serii w pierwszym ciągu. Aby dokładnie oszacować poziom istotności dla hipotezy, że dana próba jest prosta, pozostaje wyliczyć rozkład prawdopodobieństwa uzyskania różnych liczb serii w ciągach zer i jedynek będących wynikiem niezależnych losowań z tej samej populacji. Ten właśnie pomysł leży u podstaw testu serii.
<references>
- ↑ Istnieją również testy statystyczne, które weryfikują hipotezę o normalności rozkładu nawet dla bardzo małych próbek, jednak niezależnie od reguł należy zawsze pamiętać o zdrowym rozsądku. Wszak o kształcie rozkładu populacji, z której losujemy próbę, mówi histogram, a histogram kilku czy nawet kilkunastu przypadków nie niesie dość informacji, aby odpowiedzialnie móc coś powiedzieć o kształcie rozkładu. Dlatego wyniki testów normalności dla bardzo małych próbek należy traktować ostrożnie.
- ↑ formalnie oba ciągi są jednakowo prawdopodobne
- ↑ Jeśli pierwszych dziesięć opinii zbierzemy wśród młodych bezrobotnych a drugie dziesięć wśród emerytów (dwie długie serie jednakowych opinii), to wynik drugi będzie bardziej prawdopodobny, ale taki wybór ankietowanych nie jest zgodny z ideą próby prostej.