Uczenie maszynowe i sztuczne sieci neuronowe/DrzewaDecyzyjne - Historia wersji

SuperAdmin: /* Zarys algorytmu */

2017-03-03T18:07:32Z

Zarys algorytmu

2017-02-16T16:33:54Z

2016-05-17T06:25:45Z

Przykład z decyzją o spacerze

2016-05-16T07:25:57Z

Wstęp

2016-05-16T07:17:27Z

Problem przeuczenia/ nadmiernego dopasowania

2016-05-16T07:15:14Z

Problem przeuczenia/ nadmiernego dopasowania

2016-05-16T07:14:01Z

Uczenie z brakującymi wartościami

2016-05-16T07:11:08Z

Uczenie z wielowartościowymi cechami

2016-05-16T07:09:19Z

Problem parzystości

2016-05-16T07:01:16Z

Krótkie przypomnienie z teorii informacji

@@ Linia 70: / Linia 70: @@
   		wybierz najlepsze <math> x_j</math>
   		S_0 = wszystkie <math>\{x,y\} \in S</math> dla których <math>x_j = 0</math>
-  		S_1 = wszystkie <math>\{x,y\} \in S</math> dla których <math>x_j = 0</math>
+  		S_1 = wszystkie <math>\{x,y\} \in S</math> dla których <math>x_j =1 </math>
   		return nowyWęzeł(<math>x_j</math>, HodujDrzewo(<math>S_0</math>), HodujDrzewo(<math>S_1</math>))

← poprzednia wersja		Wersja z 16:33, 16 lut 2017
Linia 1:		Linia 1:
		+	[[Uczenie_maszynowe_i_sztuczne_sieci_neuronowe\|powrót]]
	=Wstęp=		=Wstęp=
	<!-- https://class.coursera.org/machlearning-001/lecture WEEK2-->		<!-- https://class.coursera.org/machlearning-001/lecture WEEK2-->

@@ Linia 20: / Linia 20: @@
 == Przykład z decyzją o spacerze ==
-Załóżmy że mamy znajomego, z którym grywamy w tenisa i czasem mu się chce z nami grać a czasem nie. Zobaczmy jak może wyglądać drzewo opisujące podejmowanie jego decyzji. Drzewo takie budujemy w oparciu o zastaw wcześniejszych obserwacji różnych parametrów (cech) i podjętych decyzji. Innymi słowy mamy zbiór uczący.
+Załóżmy, że chdzimy na spacer w zależności od pogody. Zobaczmy jak może wyglądać drzewo opisujące podejmowanie decyzji o spacerze. Drzewo takie budujemy w oparciu o zastaw wcześniejszych obserwacji różnych parametrów (cech) i podjętych decyzji. Innymi słowy mamy zbiór uczący.
 [[Plik:Drzewo1.svg ]]

@@ Linia 1: / Linia 1: @@
 =Wstęp=
+<!-- https://class.coursera.org/machlearning-001/lecture WEEK2-->
 Drzewa decyzyjne to popularne narzędzia do “data mining” nadają się szczególnie dobrze do klasyfikacji, ale można je też przystosować do problemów regresji. My skupimy się na ich zastosowaniach w klasyfikacji (podjęcia decyzji).

@@ Linia 177: / Linia 177: @@
 * diagnostyka -> musimy podzielić zbiór uczący na treningowy i testowy i patrzeć jak zachowują się miary jakości (np. dokładność ) wraz ze wzrostem skomplikowania drzewa
-* można też sprawdzać czy dołożenie podziału najlepszej cechy faktycznie zmienia rozkład klas (-> co tu znaczy rozkład klas? - w przypadku binarnym czy po podziale w podzbiorze lewym i prawym proporcja pomiędzy klasą 0 i klasą 1 jest istotnie różna do tej proporcji przed podziałem. Na skutek podziałów dążymy do tego żeby np. z lewej wytworzyć same 0 a z prawej same 1)(pre-puning)
+* można też sprawdzać czy dołożenie podziału najlepszej cechy faktycznie zmienia rozkład klas
-* tak jak w innych technikach -> wzrost skomplikowania hipotezy prowadzi do coraz lepszego dopasowania na zbiorze treningowym, ale powyżej pewnego progu na zbiorze testowym dopasowanie zaczyna się pogarszać.
+** co tu znaczy rozkład klas? - w przypadku binarnym czy po podziale w podzbiorze lewym i prawym proporcja pomiędzy klasą 0 i klasą 1 jest istotnie różna do tej proporcji przed podziałem. Na skutek podziałów dążymy do tego żeby np. z lewej wytworzyć same 0 a z prawej same 1)(pre-puning)
 ==Przycinanie drzew ==

@@ Linia 168: / Linia 168: @@
 ** dla brakującej cechy można wymusić jakąś wartość np. najbardziej prawdopodobną w całym zbiorze danych
 ** nieco lepiej jest wymusić wartość najbardziej prawdopodobną dla klasy do której należy przykład i-ty
-** w pewnym sensie przy dojściu do takiego niepewnego węzła, dla którego brakuje nam danych możemy “rozmnożyć”  ten przykład proporcjonalnie do częstości występowania różnych wartości brakującej cechy w danej klasie. Tzn. załóżmy, że A przyjmuje wartości v_i z prawdopodobieństwem p_i . w dół drzewa wysyłamy frakcje tego przykładu wynoszące p_i
+** w pewnym sensie przy dojściu do takiego niepewnego węzła, dla którego brakuje nam danych możemy “rozmnożyć”  ten przykład proporcjonalnie do częstości występowania różnych wartości brakującej cechy w danej klasie. Tzn. załóżmy, że A przyjmuje wartości <math>v_i</math> z prawdopodobieństwem <math>p_i</math> . W dół drzewa wysyłamy frakcje tego przykładu wynoszące <math>p_i</math>
 ** w czasie klasyfikacji po dojściu do liści, patrzymy jak  dużo mamy głosów na daną klasę.

@@ Linia 160: / Linia 160: @@
 === Uczenie z wielowartościowymi cechami ===
-* kiepskie są cechy o takich wartościach, że są unikalne dla pojedynczych przykładów w zbiorze uczącym -> nie ma wtedy generalizacji
+* kiepskie są cechy o takich wartościach, że są unikalne dla pojedynczych przykładów w zbiorze uczącym (np. NIP) -> nie ma wtedy generalizacji
 * Taka cecha niesie ze sobą sama w sobie bardzo dużo informacji o przykładzie, ale podział zbiory względem tej klasy niekoniecznie musi dawać wiele informacji

@@ Linia 152: / Linia 152: @@
 * rozróżnienie między tym co można reprezentować, a tym co można nauczyć konkretnym algorytmem
 * funkcja parzystości = jak wiele bitów jest 1 ? czy to jest liczba parzysta czy nie?
 ** algorytmy drzewiaste nieźle radzą sobie jeśli przestrzeń cech posiada duże obszary należące do danej klasy -> wtedy podziały kolejnymi płaszczyznami są efektywne
 ** problemem są odwzorowania wymagające bardzo dużo podziałów
 ** gdyby mieć właściwą reprezentację danych zadanie z parzystością jest trywialne

@@ Linia 125: / Linia 125: @@
 Dla zmiennej z rozkładu Bernouliego entropia wygląda tak:
-https://www.wolframalpha.com/input/?i=plot+-v*log2(v)+-+(1-v)*log2(1-v),+v+from+0+to+1
+https://www.wolframalpha.com/input/?i=plot+-p*log2(p)+-+(1-p)*log2(1-p),+p+from+0+to+1
 Ważne jest to, że kształt wykresu entropii od  P jest gładką funkcją wypukłą i ma gdzieś maksimum