Durka: /* Scyzoryk (jacknife ) */

2016-04-06T17:22:35Z

Scyzoryk (jacknife )

Durka: /* Bootstrap */

2016-01-29T11:28:38Z

Bootstrap

Jarekz: Utworzono nową stronę " ==Bootstrap== W poprzednim rozdziale zapoznaliśmy się z efektywnymi metodami oceny złożonych prawdopodobieństw w sytuacji, gdy znamy model rządzący zjawiskiem. A..."

2015-05-22T13:26:41Z

Utworzono nową stronę " ==Bootstrap== W poprzednim rozdziale zapoznaliśmy się z efektywnymi metodami oceny złożonych prawdopodobieństw w sytuacji, gdy znamy model rządzący zjawiskiem. A..."

Nowa strona

==Bootstrap==
W poprzednim rozdziale zapoznaliśmy się z efektywnymi
metodami oceny złożonych prawdopodobieństw w sytuacji, gdy znamy model rządzący
zjawiskiem. Aby ocenić "prawdziwy" rozrzut badanej wielkości, generowaliśmy
wiele powtórzeń tego samego eksperymentu. Rozkład wyników w tym zestawie
danych (czyli próbie wylosowanej z populacji wszystkich możliwych wyników)
przybliżał rozkład prawdopodobieństwa badanej wielkości — na przykład liczby
wygranych gier. Dokładny rozkład prawdopodobieństwa uzyskalibyśmy dla
nieskończonej liczby powtórzeń eksperymentu — mówimy, że populacja wyników
tworzy zbiór nieskończony. Czasami mamy też do czynienia z próbą reprezentującą
skończoną populację wyników, jak na przykład przy przewidywaniu wyników
wyborów: kompletną populację stanowią wtedy opinie wszystkich obywateli
uprawnionych do głosowania.

Niezależnie od tego, czy populacja (czyli przestrzeń możliwych
wyników) jest skończona czy nie, nie wszystkie problemy daje się
modelować w tak prostych kategoriach. Zwykle jest wręcz odwrotnie
— dane, które mamy analizować, są ''jedyną'' dostępną
informacją o całym badanym zjawisku. Co robić w takiej sytuacji? Jak
na podstawie kilku czy kilkudziesięciu wylosowanych liczb określić
np. rozrzut wartości średniej, skoro mamy tylko jedną próbę, z
której ją (wartość średnią) wyliczamy? Oczywiście najlepiej byłoby
powtórzyć eksperyment i uzyskać więcej danych, ale może się
to okazać zbyt drogie lub wręcz niemożliwe. Co wtedy?

A może z tego jednego zestawu danych (próby) wygenerować
inne próby, które zastąpią niezależne losowania z tej samej populacji
lub powtarzanie eksperymentu? Pomysł ten przypomina opowieści barona
von Münchhausena o tym, jak "wydobył się z bagna, ciągnąc się z
całej siły za włosy" ([http://www.rytm-wydawnictwo.pl/index.php?s=karta&id=37 za Słownikiem mitów i tradycji kultury Władysława Kopalińskiego]) — stąd (pośrednio) nazwa ''bootstrap''.<ref>Bootstrap to po angielsku "pętla ze
skóry lub materiału przyszyta z boku lub od góry tylnej strony buta
dla ułatwienia jego wciągania"([http://www.houghtonmifflinbooks.com/epub/ahd4.shtml za The American Heritage Dictionary of the English Language]). Bradley Efron, który zaproponował tę technikę, pisze o nazwie: ''"The name
bootstrap, which is derived from the old saying about pulling
yourself up by your own bootstraps, reflects the fact that the one
available sample gives rise to many others"'' (w Diaconis, P. & Efron, B. (May 1983). "Computer-intensive methods in statistics". Scientific American: 116–130.). [http://books.google.pl/books?id=gLlpIUxRntoC&dq=%22An+Introduction+to+the+Bootstrap%22&printsec=frontcover&source=bn&hl=pl&ei=V3KzS4eIFcyK_Abh0bn8CA&sa=X&oi=book_result&ct=result&resnum=4&ved=0CBoQ6AEwAw#v=onepage&q=&f=false W książce] (strona 5) precyzuje explicite, że powiedzenie
to wedle ogólnego przekonania wywodzi się właśnie z opowieści barona
von Münchhausena. Jednak [http://www.rytm-wydawnictwo.pl/index.php?s=karta&id=37 Kopaliński] w
odniesieniu do opowieści barona wspomina zdecydowanie o wyciąganiu z
bagna za włosy, a nie za buty. W związku z tymi niezgodnościami, jak
również z faktem, że ten sam termin używany od dość dawna w odniesieniu
do procedur komputerowych nie doczekał się polskiego tłumaczenia,
najsensowniejszym wydaje się pozostawienie oryginalnego brzmienia.
[http://www.pwe.com.pl/13727.xml Cz. Domański i K. Pruska] podają "metody sznurowadłowe" jako odpowiednik terminu "metody bootstrapowe".</ref>
Idea tej metody jest niezmiernie prosta:

<big>'''Jeśli nie możemy wylosować więcej prób z populacji, losujemy ze zwracaniem próby z danych, którymi dysponujemy.'''</big>

Wróćmy do przykładu z poprzedniego rozdziału, czyli gry w "pięć rzutów
kostką". Dzięki dokładnemu modelowi całej gry mogliśmy tanim kosztem
symulować właściwie dowolną liczbę powtórzeń, dzięki czemu określiliśmy
nie tylko prawdopodobieństwo wygranej w pojedynczej grze, ale też
ryzyko, jaki podejmujemy decydując się na sto gier. A gdyby wewnętrzne
mechanizmy gry nie były znane, albo były tak skomplikowane, że nie
dało by się ich zamodelować nawet językiem prawdopodobieństwa?
Wyobraźmy sobie, że:

'''jedyną informacją o procesie jest 18 wygranych w stu grach.'''

Co można w tej sytuacji powiedzieć o szansach? Cóż, możemy ocenić
prawdopodobieństwo wygranej na około 18.

"'''około'''"?

Żeby oszacować rozrzut tej wielkości, trzeba by mieć wyniki
przynajmniej kilkuset takich serii. Albo... wyciągnąć się z bagna za
włosy, czyli wygenerować setki serii z tej jednej serii!

'''Jak?'''

Jeśli się nad tym zastanowimy, poznamy od razu ograniczenia metody:
otóż zakładamy, że próbka zawiera informację reprezentatywną dla całej
populacji, w tym przypadku wszystkich możliwych wyników stu gier. W
pewnym sensie jest to truizm, bo przecież i tak nie mamy dostępu do
innych informacji niż zawarte w próbie. Wynika stąd, że proporcję
wygranych w tej próbie (0,18) musimy uznać za prawdopodobieństwo
wygranej w jednej grze. Repróbkowanie będzie polegało na losowaniu ze
zwracaniem stu elementów spośród 18 jedynek i 82 zer. Każdy wylosowany
w ten sposób zestaw będziemy traktować jak niezależną próbę: obliczamy
dla tych danych interesującą nas wielkość — w tym przypadku po
prostu sumę elementów, odpowiadającą liczbie wygranych. Możemy to
zaprogramować np. wedle algorytmu z tabeli <xr id="eq:16"> %i</xr>. W pakietach
obliczeniowych coraz częściej pojawiają się gotowe funkcje realizujące
podstawowy algorytm bootstrapu — warto to sprawdzić,
zanim zabierzemy się do pisania pętli.

<equation id="eq:16"></equation>
jedynki = 0
powtarzaj 100 razy:
wylosuj x od 1 do 100
jeśli x mniejszy lub równy od 18
jedynki = jedynki + 1
wypisz jedynki



Średnia tych wyników powinna oczywiście dążyć do 18 — niestety nie
mamy szansy przybliżyć się na podstawie tej jednej próby do
"prawdziwej" średniej, którą uzyskalibyśmy przy większej liczbie
powtórzeń symulacji lub "prawdziwych" eksperymentów. Ale możemy
odzyskać inną bardzo ważną informację — ''rozrzut''
wyników. Spróbujmy powórzyć 10 tysięcy takich losowań "z próby"
według algorytmu z tabeli 16, i obejrzeć ich rozkład na rysunku <xr
id="fig:17"> %i</xr>.

[[Plik:Roz_2_rys_1.jpg|thumb|center|400px|<figure
id="fig:17"></figure> Rozkład liczby jedynek uzyskany z 10 tysięcy
repróbkowań ze zwracaniem (bootstrap) próby 18 jedynek i 82 zer.]]

Działa!!!

Otrzymany rozkład jest bardzo podobny do rozkładu dziesięciu tysięcy
"prawdziwych" symulacji (rys. <xr id="fig:17"> %i</xr>)! Szerokość (i
kształt) rozkładu są niemal identyczne, przesunięte jest tylko
maksimum — w tym przypadku wypada dla wartości 18, a nie jak w
przypadku "prawdziwych" symulacji w okolicach najbardziej
prawdopodobnej wartości (około 20). Ale na to już nie ma rady, liczba
sukcesów w próbie, na której przeprowadzaliśmy repróbkowanie, wynosiła
właśnie tyle, i dane te nie są wystarczające, aby ocenić, czy wynik
ten leży "na prawo czy na lewo" od dokładnej wartości
prawdopodobieństwa. Za to rozrzut udało się odtworzyć wręcz doskonale!

==Scyzoryk (''jacknife'' )==

Jest to metoda analogiczna do bootstrapu, w ktorej powtórzenia
generowane są przez usuwanie z próby kolejno po jednym elemencie. W
porównaniu z bootstrapem daje w niektórych przypadkach oszczędność
ilości obliczeń, ale ze względu na generowanie prób o mniejszej
liczebności niż oryginalna wymaga stosowania mniej intuicyjnych
wzorów. Jeśli chodzi o efektywność, to w przypadku liniowym jest
dokładnym przybliżeniem bootstrapu, jednak w pozostałych przypadkach
może prowadzić do większych błędów.

---------------------
<references>

← poprzednia wersja		Wersja z 11:28, 29 sty 2016
Linia 1:		Linia 1:
		+
		+	[[Wnioskowanie_Statystyczne_-_wykład]]
		+

	==Bootstrap==		==Bootstrap==

@@ Linia 134: / Linia 134: @@
 ilości obliczeń, ale ze względu na generowanie prób o mniejszej
 liczebności niż oryginalna wymaga stosowania mniej intuicyjnych
-wzorów. Jeśli chodzi o efektywność, to w przypadku liniowym jest
+wzorów.
 ---------------------
 <references>

WnioskowanieStatystyczne/Bootstrap - Historia wersji

Durka: /* Scyzoryk (jacknife ) */

Durka: /* Bootstrap */

Jarekz: Utworzono nową stronę " ==Bootstrap== W poprzednim rozdziale zapoznaliśmy się z efektywnymi metodami oceny złożonych prawdopodobieństw w sytuacji, gdy znamy model rządzący zjawiskiem. A..."