Uczenie maszynowe i sztuczne sieci neuronowe/Ćwiczenia 12 - Historia wersji

Jarekz: /* Wstęp */

2016-01-04T12:30:04Z

Wstęp

Jarekz: /* Przygotowanie zbioru uczącego i nauka */

2015-05-21T18:52:33Z

Przygotowanie zbioru uczącego i nauka

Jarekz: Utworzono nową stronę "=Wstęp= Celem dzisiejszych ćwiczeń jest zapoznanie się z klasyfikacją obrazów. Jako przykład rozważymy klasyfikacje ręcznie pisanych cyfr. Pierwszą rzeczą z j..."

2015-05-21T18:52:13Z

Utworzono nową stronę "=Wstęp= Celem dzisiejszych ćwiczeń jest zapoznanie się z klasyfikacją obrazów. Jako przykład rozważymy klasyfikacje ręcznie pisanych cyfr. Pierwszą rzeczą z j..."

Nowa strona

=Wstęp=
Celem dzisiejszych ćwiczeń jest zapoznanie się z klasyfikacją obrazów. Jako przykład rozważymy klasyfikacje ręcznie pisanych cyfr. Pierwszą rzeczą z jaką musimy sobie poradzic to reprezentacja cyfr tak aby dało sie z nich zbudować ciag uczący.

W surowej postaci dostalibyśmy obrazek, tzn. macierz pikseli <math> n \times m</math>. W naszym przypadku pierwotne obrazki były skanowane i rozdzielane na poszczególne cyfry przez otaczanie każdej cyfry pudełkiem centrowanym na środku masy piksli, a nastepnie znormalizowane do rozmiarów <math>20 \times 20 </math>.

Dane z których będziemy korzystać stanowią obrazek przetworzony do formatu jednowymiarowego przez ułżenie kolejnych wierszy. Dane te pochodzą z bazy danych ręcznie pisanych cyfr MNIST (http://yann.lecun.com/exdb/mnist/).

= Wczytywanie danych=
Proszę ściągnąć do katalogu roboczego plik: [https://brain.fuw.edu.pl/edu-wiki/images/8/84/Cyfry.mat Cyfry.mat]

Przydatne w dalszej części importy to:
<source lang = python>
# -*- coding: utf-8 -*-
from pybrain.datasets import ClassificationDataSet
from pybrain.utilities import percentError
from pybrain.tools.shortcuts import buildNetwork
from pybrain.supervised.trainers import BackpropTrainer
from pybrain.structure.modules import SoftmaxLayer
from pylab import ion, ioff, figure, draw, contourf, clf, show, hold, plot, imshow, subplot, title,cm,axis
from scipy import diag, arange, meshgrid, where
from numpy.random import multivariate_normal
</source>

Plik ten można wczytać do pythona następującym kodem:
<source lang = python>
from scipy.io import loadmat
# wczytywanie danych
dane = loadmat('cyfry.mat')
#przepisanie danych do osobnych tablic:
X = dane['X']
y = dane['y']
</source>
Tablica <tt>X</tt> zawiera 5000 wierszy po 400 kolumn. Jeden wiersz to "spłaszczony" obraz jednej cyfry.
Tablica <tt>y</tt> zawiera jedną kolumnę o 5000 wierszy. W każdym wierszu zapisany jest kod cyfry w odpowiadającym wierszu macierzy <tt>X</tt>. Cyfra zero kodowana jest jako "10", aby było potem wygodniej pracować z tymi kodami w pybrainie zamieńmy ją na kod "0":
<source lang = python>
y[where(y==10)]=0
</source>

Przykładowo wyświetlmy co 50-tą cyfrę:
<source lang = python>
for n in range(100):
subplot(10,10,n+1)
# wycinamy cyfrę:
C = X[50*n,:].reshape(20,20) # nadajemy tabliczce kształt pierotnego obrazka
# aby było wygodniej patrzeć obrazek transponujemy
imshow(C.T,cmap=cm.gray)
axis('off')
title(str(y[50*n]))
show()
</source>

=Przygotowanie zbioru uczącego i nauka=

Do klasyfikacji będziemy chcieli zastosować sieć neuronową implementowaną w PyBrain. Analogicznie [[STAT:Uczenie_maszynowe_i_sztuczne_sieci_neuronowe/Ćwiczenia_7#Klasyfikacja| jak tu]] proszę:
# stworzyć zbiór uczący i testowy z tablic <tt>X</tt> i <tt>y</tt>. Uwaga: bezpośrednie zastosowanie metody <tt>splitWithProportion </tt> w przypadku naszego zbioru nie jest najlepsze bo przykłady w tablicy X ułożone są po kolei, a wspomniana metoda powoduje podział w zadanej proporcji przykładów "po kolei".
# przekodować te dane tak aby jedna klasa była reprezentowana przez jeden neuron wyjściowy
# zbudować sieć o odpowiedniej ilości wejść i wyjść, ilość jednostek ukrytych na początek proszę przyjąć jako 20, typ jednostek wyjściowych: SoftmaxLayer.
# parametry uczenia ustawić tak: learningrate =0.001, momentum=0.5, verbose=True, weightdecay=0.005
# uczyć sieć przez 30 epok, po każdej epoce wypisać procentowy błąd na zbiorze uczącym i testowym.

=Ilustracja działania=
Proszę napisać kod ilustrujący działanie nauczonej sieci bazując na poniższym kodzie:
<source lang = python>
klasy_testowe = trainer.testOnClassData(dataset=tstdata)
for j in range(10):
ioff()
clf()
ion()
for i in range(100):
subplot(10,10,i+1)
# pobierz przykład i-ty ze zbioru testowego i zapisz go w tablicy C

imshow(C.T,cmap=cm.gray)
axis('off')
title(str(klasy_testowe[i]))
draw()
raw_input('Naciśnij enter: ')
show()
</source>

@@ Linia 1: / Linia 1: @@
 =Wstęp=
-Celem dzisiejszych ćwiczeń jest zapoznanie się z klasyfikacją obrazów. Jako przykład rozważymy klasyfikacje ręcznie pisanych cyfr. Pierwszą rzeczą z jaką musimy sobie poradzic to reprezentacja cyfr tak aby dało sie z nich zbudować ciag uczący.
+Celem dzisiejszych ćwiczeń jest zapoznanie się z klasyfikacją obrazów. Jako przykład rozważymy klasyfikacje ręcznie pisanych cyfr. Pierwszą rzeczą z jaką musimy sobie poradzić to reprezentacja cyfr tak aby dało się z nich zbudować ciąg uczący.
 W surowej postaci dostalibyśmy obrazek, tzn. macierz pikseli <math> n \times m</math>. W naszym przypadku pierwotne obrazki były skanowane i rozdzielane na poszczególne cyfry przez otaczanie każdej cyfry pudełkiem centrowanym na środku masy piksli, a nastepnie znormalizowane do rozmiarów <math>20 \times 20 </math>.

@@ Linia 52: / Linia 52: @@
 =Przygotowanie zbioru uczącego  i nauka=
-Do klasyfikacji będziemy chcieli zastosować sieć neuronową implementowaną w PyBrain. Analogicznie [[STAT:Uczenie_maszynowe_i_sztuczne_sieci_neuronowe/Ćwiczenia_7#Klasyfikacja| jak tu]] proszę:
+Do klasyfikacji będziemy chcieli zastosować sieć neuronową implementowaną w PyBrain. Analogicznie [[Uczenie_maszynowe_i_sztuczne_sieci_neuronowe/Ćwiczenia_7#Klasyfikacja| jak tu]] proszę:
 # stworzyć zbiór uczący i testowy z tablic <tt>X</tt> i <tt>y</tt>. Uwaga: bezpośrednie zastosowanie metody <tt>splitWithProportion </tt> w przypadku naszego zbioru nie jest najlepsze bo przykłady w tablicy X  ułożone są po kolei, a wspomniana metoda powoduje podział w zadanej proporcji przykładów "po kolei".
 # przekodować te dane tak aby jedna klasa była reprezentowana przez jeden neuron wyjściowy