Uczenie maszynowe i sztuczne sieci neuronowe/Ćwiczenia 7 - Historia wersji

Jarekz: /* Klasyfikacja */

2017-06-06T18:53:29Z

Klasyfikacja

Jarekz: /* Klasyfikacja */

2017-06-06T18:50:55Z

Klasyfikacja

Podgląd zmian

Jarekz: /* Zbiór uczący */

2017-06-06T18:36:05Z

Zbiór uczący

Jarekz: /* Wstęp */

2017-06-06T12:11:16Z

Wstęp

Jarekz: /* Zbiór uczący */

2015-05-21T18:34:27Z

Zbiór uczący

Jarekz: /* Zbiór uczący */

2015-05-21T18:33:32Z

Zbiór uczący

Jarekz o 18:32, 21 maj 2015

2015-05-21T18:32:15Z

Jarekz: /* Zbiór uczący */

2015-05-21T18:31:18Z

Zbiór uczący

Jarekz: /* Zbiór uczący */

2015-05-21T18:30:45Z

Zbiór uczący

Jarekz: /* Zbiór uczący */

2015-05-21T18:30:23Z

Zbiór uczący

@@ Linia 206: / Linia 206: @@
 py.ylim([-3,3])
 </source>
 <source lang = python>
 ticks = arange(-3.,6.,0.2)
 X, Y = meshgrid(ticks, ticks)
 </source>

@@ Linia 3: / Linia 3: @@
 Celem tych ćwiczeń jest zapoznanie się z  klasyfikacją za pomocą sieci neuronowych.
 =Zbiór uczący =
-PyBrain posiada klasę do obsługi zbiorów uczących przeznaczonych do klasyfikacji:
+Funkcja generująca zbiór uczący:
 <source lang = python>
-DS = ClassificationDataSet(inputdim, nb_classes=2, class_labels=['Fish','Chips'])
+def gen(ile):
 </source>
-print DS.calculateStatistics()
+Problem klasyfikacji jest zazwyczaj łatwiejszy do rozwiązania jeśli w warstwie wyjściowej umieścimy tyle neuronów ile jest klas i docelowe klasy są kodowane jako wysoki stan jednego z neuronów wyjściowych. Nawiązuje to trochę do rozwiązań jakie wyprowadziliśmy na wykładzie dla [[Uczenie_maszynowe_i_sztuczne_sieci_neuronowe/Wykład_6#Regresja_softmax_jako_GLM | regresji wielorakiej (softmax)]].
 </source>
-Problem klasyfikacji jest zazwyczaj łatwiejszy do rozwiązania jeśli w warstwie wyjściowej umieścimy tyle neuronów ile jest klas i docelowe klasy są kodowane jako wysoki stan jednego z neuronów wyjściowych. Nawiązuje to trochę do rozwiązań jakie wyprowadziliśmy na wykładzie dla [[Uczenie_maszynowe_i_sztuczne_sieci_neuronowe/Wykład_6#Regresja_softmax_jako_GLM | regresji wielorakiej (softmax)]].  ClassificationDataSet  posiada metodę <tt>_convertToOneOfMany</tt> pozwalającą na automatyczne przekodowanie klas z numeracji <math>{0,1,\dots,k-1}</math> na kodowanie zer i jedynek na odpowiednich wyjściach.
+Testujemy:
 <source lang = python>
-DS._convertToOneOfMany(bounds=[0, 1])
+X,Y = gen(5)
-print DS.getField('target')
+print(Y)
-[[1 0 0]
+py.scatter(X[:,0],X[:,1],c = Y,s = 10)
- [0 1 0]
+target = convert_to_target(Y)
- [0 1 0]
+print(target)
 </source>

@@ Linia 1: / Linia 1: @@
 =Wstęp=
-Celem tych ćwiczeń jest zapoznanie się z funkcjonalnością PyBrain wspierającymi klasyfikację za pomocą sieci neuronowych.
+Celem tych ćwiczeń jest zapoznanie się z  klasyfikacją za pomocą sieci neuronowych.
 =Zbiór uczący =

@@ Linia 38: / Linia 38: @@
 </source>
-Problem klasyfikacji jest zazwyczaj łatwiejszy do rozwiązania jeśli w warstwie wyjściowej umieścimy tyle neuronów ile jest klas i docelowe klasy są kodowane jako wysoki stan jednego z neuronów wyjściowych. Nawiązuje to trochę do rozwiązań jakie wyprowadziliśmy na wykładzie dla [[STAT:Uczenie_maszynowe_i_sztuczne_sieci_neuronowe/Wykład_6#Regresja_softmax_jako_GLM | regresji wielorakiej (softmax)]].  ClassificationDataSet  posiada metodę <tt>_convertToOneOfMany</tt> pozwalającą na automatyczne przekodowanie klas z numeracji <math>{0,1,\dots,k-1}</math> na kodowanie zer i jedynek na odpowiednich wyjściach.
+Problem klasyfikacji jest zazwyczaj łatwiejszy do rozwiązania jeśli w warstwie wyjściowej umieścimy tyle neuronów ile jest klas i docelowe klasy są kodowane jako wysoki stan jednego z neuronów wyjściowych. Nawiązuje to trochę do rozwiązań jakie wyprowadziliśmy na wykładzie dla [[Uczenie_maszynowe_i_sztuczne_sieci_neuronowe/Wykład_6#Regresja_softmax_jako_GLM | regresji wielorakiej (softmax)]].  ClassificationDataSet  posiada metodę <tt>_convertToOneOfMany</tt> pozwalającą na automatyczne przekodowanie klas z numeracji <math>{0,1,\dots,k-1}</math> na kodowanie zer i jedynek na odpowiednich wyjściach.
 <source lang = python>
 DS._convertToOneOfMany(bounds=[0, 1])

@@ Linia 8: / Linia 8: @@
 Podstawowa składnia to:
-<source lang ="py">
+<source lang = python>
 DS = ClassificationDataSet(inputdim, nb_classes=2, class_labels=['Fish','Chips'])
 </source>
@@ Linia 17: / Linia 17: @@
 Wymiar docelowy ma być 1. Celem są etykiety klasy zaczynające się od zera. Jeśli z jakiegoś powodu nie wiemy wcześniej, ile będzie klas, możliwe jest ustawienie tej informacji później, używając metod <tt>assignClasses()</tt> lub <tt>calculateStatistics()</tt> tak jak w poniższym przykładzie:
-<source lang = "py">
+<source lang = python>
 DS = ClassificationDataSet(2, class_labels=['sredni', 'duzy', 'maly'])
 DS.appendLinked([ 0.1, 0.5 ]   , [0])
@@ Linia 39: / Linia 39: @@
 Problem klasyfikacji jest zazwyczaj łatwiejszy do rozwiązania jeśli w warstwie wyjściowej umieścimy tyle neuronów ile jest klas i docelowe klasy są kodowane jako wysoki stan jednego z neuronów wyjściowych. Nawiązuje to trochę do rozwiązań jakie wyprowadziliśmy na wykładzie dla [[STAT:Uczenie_maszynowe_i_sztuczne_sieci_neuronowe/Wykład_6#Regresja_softmax_jako_GLM | regresji wielorakiej (softmax)]].  ClassificationDataSet  posiada metodę <tt>_convertToOneOfMany</tt> pozwalającą na automatyczne przekodowanie klas z numeracji <math>{0,1,\dots,k-1}</math> na kodowanie zer i jedynek na odpowiednich wyjściach.
-<source lang = "py">
+<source lang = python>
 DS._convertToOneOfMany(bounds=[0, 1])
 print DS.getField('target')

@@ Linia 8: / Linia 8: @@
 Podstawowa składnia to:
-<source lang = python>
+<source lang ="py">
 DS = ClassificationDataSet(inputdim, nb_classes=2, class_labels=['Fish','Chips'])
 </source>
@@ Linia 17: / Linia 17: @@
 Wymiar docelowy ma być 1. Celem są etykiety klasy zaczynające się od zera. Jeśli z jakiegoś powodu nie wiemy wcześniej, ile będzie klas, możliwe jest ustawienie tej informacji później, używając metod <tt>assignClasses()</tt> lub <tt>calculateStatistics()</tt> tak jak w poniższym przykładzie:
-<source lang = python>
+<source lang = "py">
 DS = ClassificationDataSet(2, class_labels=['sredni', 'duzy', 'maly'])
 DS.appendLinked([ 0.1, 0.5 ]   , [0])
@@ Linia 59: / Linia 59: @@
 Najpierw przygotowyjemy grafikę do pracy w trybie interaktywnym
-<source lang = 'py'>
+<source lang = python>
 # -*- coding: utf-8 -*-
 import matplotlib
@@ Linia 66: / Linia 66: @@
 Następnie musimy zaimportować z bibliotek potrzebne klasy i definicje:
-<source lang = 'py'>
+<source lang = python>
 from pybrain.datasets            import ClassificationDataSet
 from pybrain.utilities           import percentError
@@ Linia 79: / Linia 79: @@
 Teraz przygotujemy zestawy danych. Tablica mu zawiera wektory średnich dla każdego z trzech rozkładów, tablica cov zawiera macierze kowariancji dla tych rozkładów:
-<source lang = 'py'>
+<source lang = python>
 mu = [(-1,0),(2,4),(3,1)]
 cov = [diag([1,1]), diag([0.5,1.2]), diag([1.5,0.7])]
@@ Linia 91: / Linia 91: @@
 Teraz dzielimy ten zbiór danych uczących na część treningową i testową. Podzielimy go w proporcji 3/4 danych uczących i 1/4 testowych. Można oczywiście od razu wygenerować dwa osobne zbiory tak jak to robiliśmy na poprzednich zajęciach. Tu jednak zaprezentujemy narzędzie wspomagające ten proces dostępne w PyBrain.
-<source lang = 'py'>
+<source lang = python>
 tstdata, trndata = alldata.splitWithProportion( 0.25 )
 </source>
 Warto przekodować te dane tak aby jedna klasa była reprezentowana przez jeden neuron wyjściowy (porównaj: regresja softmax).
-<source lang = 'py'>
+<source lang = python>
 trndata._convertToOneOfMany( )
 tstdata._convertToOneOfMany( )
@@ Linia 102: / Linia 102: @@
 Możemy wypisać trochę informacji o naszym zbiorze danych:
-<source lang = 'py'>
+<source lang = python>
 print "Ilość przykładów treningowych: ", len(trndata)
 print "Rozmiary wejścia i wyjścia: ", trndata.indim, trndata.outdim
@@ Linia 112: / Linia 112: @@
 Proszę poeksperymentować z ilością i typem neuronów w warstwie ukrytej. Również ilość warstw ukrytych można zmieniać podając dodatkowe liczby pomiędzy parametrami określającymi rozmiar wejścia i wyjścia.  Jako punkt startu zastosujemy 5 domyślnych (sigmoidalnych) neuronów w warstwie  ukrytej:
-<source lang = 'py'>
+<source lang = python>
 fnn = buildNetwork( trndata.indim, 5, trndata.outdim, outclass=SoftmaxLayer )
 </source>
 Przygotowujemy trenera w standardowy sposób:
-<source lang = 'py'>
+<source lang = python>
 trainer = BackpropTrainer( fnn, dataset=trndata, momentum=0.1, verbose=True, weightdecay=0.01)
 </source>
@@ Linia 123: / Linia 123: @@
 Tu przygotowujemy siatkę punktów, które będziemy stosować do zilustrowania podziału przestrzeni wejściowej na obszary należące do poszczególnych klas. Funkcja <tt>meshgrid</tt> pobiera na wejście wektor dla x i y, a zwraca tablicę dwuwymiarową reprezentującą siatkę  o brzegach x i y.
 Punkty siatki pakujemy do obiektu typu <tt>ClassificationDataSet</tt>, aby było je łatwo przepuszczać przez sieć. Ponieważ musimy dodawać do tego obiektu pojedyncze punkty a nie całe tablice to trzeba tablcę ''spłaszczyć'' metodą <tt>ravel</tt> (równoważnie można by zaimplementować tworzenie tego obiektu w dwóch pętlach przebiegających odpowiednio x i y ).  Pomimo, że nie interesuje nas teraz klasa tych punktów coś musimy wpisać (np. 0) i przekodować ten zestaw danych na typ <tt>OneOfMany</tt>, żeby można było łatwo skorzystać z funkcji przepuszczających zbiory danych przez sieć.
-<source lang = 'py'>
+<source lang = python>
 ticks = arange(-3.,6.,0.2)
 X, Y = meshgrid(ticks, ticks)
@@ Linia 133: / Linia 133: @@
 </source>
 Teraz przystępujemy do uczenia sieci (zapuścimy uczenie na 20 epok), przy czym po każdym kroku będziemy podglądać aktualny stan sieci, więc w metodzie <tt>trainEpochs</tt> podajemy 1 krok.
-<source lang = 'py'>
+<source lang = python>
 for i in range(20):
      trainer.trainEpochs( 1 )
@@ Linia 139: / Linia 139: @@
 Sprawdzamy działanie sieci na zbiorze uczącym i na testowym. Skorzystamy z metody trenera <tt>testOnClassData()</tt> do policzenia aktualnej klasyfikacji dla zbioru uczącego (domyślnie) i dla danych testowych. Funkcja <tt>percentError</tt> oblicza procentową rozbieżność pomiędzy swoimi argumentami.   Wyniki wypisujemy na konsoli.
-<source lang = 'py'>
+<source lang = python>
      trnresult = percentError( trainer.testOnClassData(), trndata['class'] )
      tstresult = percentError( trainer.testOnClassData(dataset=tstdata ), tstdata['class'] )
@@ Linia 149: / Linia 149: @@
 Teraz przygotujemy się do ilustrowania działania sieci graficznie. Przepuścimy przez sieć zbiór danych zawierających siatkę punktów. Dla każdego punktu otrzymamy w zmiennej <tt>out</tt> aktywność neuronów warstwy wyjściowej.
-<source lang = 'py'>
+<source lang = python>
      out = fnn.activateOnDataset(griddata)
 </source>
 Za pomocą metody <tt>argmax()</tt> pobieramy indeks neuronu, który miał największą aktywność.
-<source lang = 'py'>
+<source lang = python>
      out = out.argmax(axis=1)  # the highest output activation gives the class
 </source>
 Dopasowujemy kształt wyjścia do kształtu wejść.
-<source lang = 'py'>
+<source lang = python>
      out = out.reshape(X.shape)
 </source>
 Teraz możemy wykonać rysunek.
-<source lang = 'py'>
+<source lang = python>
      figure(1)
      ioff()  # wyłączamy tryb interaktywny grafiki
@@ Linia 178: / Linia 178: @@
 Po zakończeniu uczenia czekamy aż użytkownik zamknie ostatni obrazek.
-<source lang = 'py'>
+<source lang = python>
 ioff()
 show()