__NOTOC__
=Laboratorium EEG - grupa 2 - ćwiczenia=
<br/>

== Ogłoszenia bieżące ==

Terminy prezentacji wyników pracy:
* 12 kwietnia ERDS
* 26 kwietnia CSP P300
* 24 maja ASSR
* 7 czerwca DTF

Propozycje ocen:
* 14 czerwca
<br/>

== Termin zajęć ==
Zajęcia odbywają się dwa razy w tygodniu, we wtorki w godzinach 12:15 - 14:45 oraz w piątki, w godzinach 09:30 - 12:00. Sala <b>4.59</b>, ul. Pasteura 5 - <b>"nowy"</b> budynek dydaktyczny Wydziału Fizyki UW.

== Kontakt z prowadzącym ==
Zajęcia prowadzi Jarosław Żygierewicz, pokój 4.70 oraz Anita Gardias p. 3.49, ul. Pasteura 5

Preferowany sposób kontaktu - w czasie zajęć lub dyżuru

== Wyniki kartkówek ==

<div style="text-align:center; clear:both;">

{| class="wikitable" style="text-align:center;"
! colspan="12" style="text-align: center;" |
|-
!Lp
!Numer indeksu
!Zadanie 1
!Zadanie 2
!Zadanie 3
!Zadanie 4
!Zadanie 5
!Zadanie 6
!Zadanie 7
!Zadanie 8
!Zadanie 9
!Zadanie 10
!Wynik łączny
|-
|1
|307362
|
|
|-
|2
|341887
|
|
|-
|3
|335477
|
|
|-
|4
|295632
|
|0
|-
|5
|307428
|1
|1
|-
|6
|347461
|
|0
|-
|7
|335254
|0.5
|0
|-
|8
|290829
|1
|0
|-
|9
|245323
|
|1
|-
|}
</div>

<div style="margin:10px 10px 10px 10px; padding:10px;">
{| class="wikitable" style="text-align:left;"
|-
!#
!Zagadnienia sprawdzane na kartkówkach
|-
| 1
| Manipulacja wierszami i kolumnami macierzy (zmiana kolejności elementów).
|-
| 2
| Instrukcje warunkowe oraz pętle
|-
| 3
| Proste zagadnienia numeryczne (losowanie liczb spełniających warunek, przeszukiwanie macierzy).
| Operatory macierzowe i działające na elementach
|-
| 4
| Tworzenie i odwoływanie się do struktury (konwersja zapisu czasu).
|-
| 5
| Posługiwanie się komórkami (cell)
|-
| 6
| Wczytywanie danych z plików tekstowych do struktur.
|-
| 7
| Wczytywanie zapisów EEG (pliki .raw) do struktur.
|-
|}
</div>

== Wyniki prezentacji==

<div style="text-align:center; clear:both">

{| class="wikitable" style="text-align:center; float: left;"
! colspan="11" style="text-align: center;" |
|-
!Numer indeksu
!Prezentacja 1
!Prezentacja 2
!Projekt
|-
|-
|}
</div>

Laboratorium EEG/Konwerter plików Svarog–Matlab

2016-03-03T15:55:13Z

SuperAdmin: /* Konwerter plików Svarog-Matlab */

[[Laboratorium_EEG]]/Konwerter
=Konwerter plików Svarog-Matlab=

Do zbierania danych podczas eksperymentów używamy na pracowniach programu Svarog. Zapisuje on pliki z danymi w postaci binarnej, natomiast cała informacja o strukturze takiego pliku danych (tzw. metadane) przechowywana jest w osobnym pliku typu XML. Aby móc analizować nasze pliki danych w Matlabie musimy umieć wczytać i odpowiednio interpretować informacje w nich zawarte. Niestety nie mamy gotowej funkcji dla wczytywania plików zapisywanych przez Svaroga, a także dostępne domyślnie funkcje do obróbki zbiorów typu XML nie nadają się do tego celu.

Jak łatwo się domyśleć, pierwszym krokiem musi być „wyciągnięcie” z pliku XML podstawowych informacji o zapisanych danych. Plik XML ma format tekstowy, możemy więc go otworzyć w edytorze tekstu (na przykład matlabowym), ale ta metoda nie jest szczególnie użyteczna, jako bardzo pracochłonna. Wczytajmy więc ten plik do Matlaba i postarajmy się automatycznie znaleźć wszystkie potrzebne informacje. Będą to:
* nazwa pliku z danymi;
* liczba zapisanych kanałów;
* częstość próbkowania danych;
* format użyty do zapisu liczb;
* liczba zapisanych próbek;
* nazwy kanałów;
* wzmocnienie (''gain'') i poziom (''offset'') w każdym kanale;
*czas rozpoczęcia rejestracji.

Jak wczytać plik tekstowy do Maltaba? Wskazówką niech będzie przykład ze zliczaniem liter w poprzednim rozdziale. Różnica jest tylko taka, że tam traktowaliśmy litery tekstu jako liczby, a teraz potrzebujemy znaków tekstowych. Musimy zastosować inny typ wczytywanych danych: <tt>*char</tt>.

Jeśli udało nam się wczytać plik XML i mamy go w postaci wektora znaków w Matlabie, następnym krokiem będzie wyszukanie w tym tekście potrzebnych nam informacji. Czego będziemy szukać w naszym pliku XML? Jak łatwo zauważyć potrzebne nam informacje „opakowane” są specjalnymi znacznikami. Na przykład nazwa „właściwego” pliku danych zawarta jest pomiędzy znacznikiem <tt><rs:exportFileName></tt> a znacznikiem <tt></rs:exportFileName></tt>. Wystarczy więc znaleźć początek i koniec każdego znacznika, a następnie „pobrać” informację spomiędzy tych pozycji.

Do przeszukiwania tekstów mamy dostępnych kilka różnych funkcji. Funkcje <tt>findstr</tt> i <tt>strfind</tt> mają w naszym przypadku mniejsze zastosowanie, gdyż operują na tekstach jednowierszowych (bez znaków nowego wiersza), a nasz tekst jest wielowierszowy. Na szczęście jest do dyspozycji funkcja <tt>regexp</tt>, która poszukuje wyrażeń znakowych w wektorach znaków. Na dodatek zwraca indeksy początków i końców każdego znalezionego fragmentu!

Wskazówki:
* Transpozycję macierzy uzyskujemy dopisując apostrof <tt>'</tt> na końcu transponowanego wyrażenia.
* Aby z tekstu (zawierającego cyfry) zrobić liczbę stosujemy funkcję <tt>str2double</tt>.

Jeśli już wszystko wiemy na temat naszych danych, możemy je odczytać. Dane są zapisane w formacie binarnym, a jego struktura jest następująca (przy założeniu ''k'' kanałów i długości danych ''N'' próbek):

{| border="1"
| style="width:35px; text-align:center;" | ''x''<sub>1</sub>(''t''<sub>1</sub>)
| style="width:35px; text-align:center;" | ''x''<sub>2</sub>(''t''<sub>1</sub>)
| style="width:35px; text-align:center;" | ...
| style="width:35px; text-align:center;" | ''x''<sub>''k''</sub>(''t''<sub>1</sub>)
| style="width:35px; text-align:center;" | ''x''<sub>1</sub>(''t''<sub>2</sub>)
| style="width:35px; text-align:center;" | ''x''<sub>2</sub>(''t''<sub>2</sub>)
| style="width:35px; text-align:center;" | ...
| style="width:35px; text-align:center;" | ''x''<sub>''k''</sub>(''t''<sub>2</sub>)
| style="width:35px; text-align:center;" | ...
| style="width:35px; text-align:center;" | ...
| style="width:35px; text-align:center;" | ''x''<sub>''k''</sub>(''t''<sub>''N''</sub>)
|}

Kolejne kratki oznaczają tu kolejne liczby w pliku. Format taki nazywamy przeplatanym lub multipleksowanym.

Jeśli plik nie jest bardzo duży możemy go w całości wczytać do Matlaba. Operacja jest w zasadzie analogiczna do wczytania pliku XML, z taką różnicą, że teraz format wczytywanych danych jest <tt>double</tt> (lub inny, w zależności od informacji z pliku XML), czyli dane są binarne (nie da się ich przeczytać w edytorze tekstu). Po udanym wczytaniu danych, w pamięci mamy zmienną zawierającą dane z pliku o postaci jednowymiarowego wektora jak na przedstawionym powyżej rysunku. Należy go przekształcić do postaci macierzy o właściwych rozmiarach komendą <tt>reshape(dane,(liczba_kanalow, liczba_probek))</tt> albo <tt>dane.reshape((liczba_kanalow, liczba_probek))</tt>.

Ostatnim etapem przygotowywania danych będzie zastosowanie odpowiedniego montażu — oczywiście jako procedury w Matlabie.

Plik zawierający przykłądowe dane do wczytania: [[Plik:Sygnal_p300_kalib.tar.gz]]. proszę go pobrać i wypakować do osobnego katalogu. Po wypakowaniu powinny się tam pojawić 3 pliki:
* sygnał binarny: p_6301423_calibration_p300.obci.raw
* opis xml: p_6301423_calibration_p300.obci.xml
* plik ze znacznikami: p_6301423_calibration_p300.obci.tag - tym plikiem na dzisiejszych zajęciach nie będziemy się zajmować

Proszę wczytać ten sygnał do SVAROGA żeby przekonać się jak te dane wyglądają, a następnie napisać funkcję wczytującą te dane do Matlaba.

[[Laboratorium_EEG]]/Konwerter

Plik:Sygnal p300 kalib.tar.gz

2016-03-03T15:48:37Z

SuperAdmin:

Uczenie maszynowe i sztuczne sieci neuronowe/Ćwiczenia 1

2016-03-01T16:20:01Z

SuperAdmin: /* Zapoznanie się z regresją liniową */

=Powtórka podstawowych rachunków wektorowych i macierzowych w ptyhonie=
==Wektor wierszowy i kolumnowy ==
Natywnym typem zmiennych w numpy są tablice czyli <tt>array</tt>. Aczkolwiek są one wielowymiarowe i przy pomocy indeksowania i pobierania wycinków można się nimi sprawnie posługiwać to nie są one domyślnie macierzami w sensie matematycznym. Aby uprawiać przy ich pomocy algebrę musimy nadać im kształt :-). Służy do tego metoda <tt>reshape</tt>.
Aby zbadać własności tych obiektów proszę wykonać następujący kod:
<source lang =python>
import numpy as np
x = np.array([1,2,3,4])
print len(x), x.shape
print 'x: ',x
print 'transponowany x: ',x.T
</source>
Czy tablica x i transponowana tablica x się różnią?

A teraz proszę wykonać następujący kod:
<source lang =python>
import numpy as np
x = np.array([1,2,3,4]).reshape(4,1)
print len(x), x.shape
print 'x: ',x
print 'transponowany x: ',x.T
</source>
Proszę sprawdzić kształt i transpozycję macierzy 2x2, np.
::<math>A =
\left[
\begin{array}{cc}
1 & 2 \\
3 & 4
\end{array}
\right]
</math>

<source lang =python>
A = np.array([[1,2],[3,4]])
</source>

Operator <tt>*</tt> służy do mnożenia macierzy element po elemencie, albo do mnożenia macierzy przez skalar:
<source lang =python>
print A*A
print 2*A
v = np.array([3])
print v*A
</source>

Do wykonywania mnożenia w sensie macierzowym służy funkcja <tt>np.dot</tt>:
<source lang =python>
print np.dot(A,A)
</source>
Co robią następujące polecenia:
<source lang =python>
import numpy as np
x = np.array([1,2,3,4]).reshape(4,1)
print np.dot(x.T,x)
print np.dot(x,x.T)
</source>

=Zapoznanie się z regresją liniową=
W poniższych ćwiczeniach korzystać będziemy z następującej funkcji generującej dane. Proszę ją wykonać i obejrzeć dane. <tt>(X,Y)</tt> to ciąg uczący.
<source lang = python>
# -*- coding: utf-8 -*-
import scipy.stats as st
import pylab as py
import numpy as np

def symuluj_dane(theta, ile=30, odch_std = 3):
# symuowana zalezność ma nastepującą postać y = theta[0] + theta[1]*x
# wartości parametrów
X = np.ones((ile,2)).reshape(ile,2) # X ma być macierzą, w której wierszach zapisane są kolejne wejścia ciągu
X[:,1] = np.linspace(0, 10,ile)
#błąd
epsilon = st.norm.rvs(size = ile, loc=0, scale = odch_std).reshape(ile,1)
#epsilon = (st.uniform.rvs(size = ile, loc=-0.5, scale = odch_std)**3).reshape(ile,1)

Y = np.dot(X,theta) + epsilon
return (X,Y)

theta = np.array([1.,3.]).reshape(2,1) # theta ma być wektorem kolumnowym
(X,Y) = symuluj_dane(theta, ile = 7, odch_std = 3) #symulujemy dane
py.plot(X[:,1], Y,'bo') # przedstawiamy nasze dane na wykresie
py.show()
</source>

==Algorytm równań normalnych ==
Proszę napisać funkcję, która:
* na wejściu przyjmuje ciąg uczący, implementuje wzór na parametry optymalne na podstawie [[Uczenie_maszynowe_i_sztuczne_sieci_neuronowe/Wyk%C5%82ad_1#Minimalizacja_funkcji_kosztu|równań normalnych]].
* Funkcja powinna zwracać estymowane parametry theta.
* Proszę dorysować prostą reprezentującą hipotezę do wykresu punktów ciągu uczącego.
* dla przypomnienia: odwrotność macierzy można obliczyć w numpy funkcją: <tt>numpy.linalg.inv</tt>

==Algorytm gradientowy stochastyczny ==
Proszę napisać funkcję, która znajduje optymalne parametry theta wg. algorytmu gradientowego stochastycznego. Funkcja jako argumenty przyjmuje ciąg uczący, wartości początkowe theta i parametr szybkości zbiegania alpha.
Na wyjściu funkcja powinna zwracać wyestymowane wartości parametrów.

W ramach ilustracji po każdej iteracji proszę dorysować prostą parametryzowaną przez aktualne wartości parametrów. Prostą animację można wykonać [[TI/Matplotlib#Prosta_animacja| analogicznie jak tu]].

==Algortym gradientowy zbiorczy ==
Proszę napisać funkcję, która znajduje optymalne parametry theta wg. algorytmy gradientowego zbiorczego. Funkcja jako argumenty przyjmuje ciąg uczący, wartości początkowe theta i parametr szybkości zbiegania alpha.
Na wyjściu funkcja powinna zwracać wyestymowane wartości parametrów.

W ramach ilustracji po każdej iteracji proszę dorysować prostą parametryzowaną przez aktualne wartości parametrów. Prostą animację można wykonać [[TI/Matplotlib#Prosta_animacja| analogicznie jak tu]].

==Porównanie algorytmów==
* Proszę sprawdzić zbieżność algorytmów w zależności od parametrów szybkości zbiegania.
* Proszę sprawdzić czy algorytmy optymalizacyjne działają poprawnie dla danych gdzie błąd podlega innym rozkładom prawdopodobieństwa niż normalny. np. rozkład jednorodny lub t o 3 st. swobody.
*

Uczenie maszynowe i sztuczne sieci neuronowe/Wykład 1

2016-03-01T16:18:30Z

SuperAdmin: /* Algorytm najmniejszych kwadratów */

==Uczenie maszynowe==

Na tych zajęciach zapoznamy się z koncepcjami "uczenia maszynowego". Podejście to jest nieco odmienne od standardowego programowania. Algorytmy, które będziemy omawiać bardziej stanowią "metodologię uczenia" niż sposoby kodowania rozwiązań konkretnych problemów. Zobaczymy jak łącza się pojęcia ze statystyki, algebry z inspiracjami biologicznymi.



Na wstępie warto może wspomnieć, że uczenie może przebiegać z nadzorem lub bez nadzoru. Uczenie z nadzorem przypomina typowe uczenie w szkole, gdzie nauczyciel podaje przykłady dla których znane są prawidłowe odpowiedzi i potrafi uczniowi wskazać błędy. Uczenie bez nadzoru przypomina nieco uczenie się postrzegania świata przez małe dziecko. Bazuje ono głównie na obserwowaniu związków przyczynowo skutkowych - korelacji - pomiędzy różnymi bodźcami.

===Uczenie z nadzorem===

Zaczniemy od najprostszej wersji uczenia z nadzorem jaką jest regresja liniowa. Aby było nam łatwiej ją sobie wyobrażać weźmy konkretny przykład: chcielibyśmy przewidywać zużycie paliwa przez samochody. Załóżmy, że znamy odległość jaką samochód może pokonać i jego masę. Możemy narysować te dane.

[[Plik:reg1.png|350px|thumb|<figure id="uid2" />Przykładowe dane]]

Jak na podstawie tych danych można przewidzieć zasięg innych samochodów?

Można potraktować te dane jako punkty reprezentujące pewne odwzorowanie, funkcję.
Najprostszą funkcję jaką moglibyśmy zaproponować to odwzorowanie liniowe.

W tym miejscu wprowadzimy kilka ważnych pojęć i notację, z której będziemy korzystać w trakcie dalszych wykładów.

; wejście: w naszym przykładzie daną wejściową jest masa samochodu. Oznaczmy ją <math>x</math>. W kontekście uczenia maszynowego dane wejściowe często nazywane są <i>cechami</i> (ang. features).
; przestrzeń wejść: przestrzeń, z której pochodzą dane wejściowe, oznaczymy ją <math>X</math>
; wyjście: w naszym przykładzie zasięg. Oznaczymy go <math>y</math>.
; przestrzeń wyjść: przestrzeń, z której pochodzą dane wyjściowe, oznaczymy ją <math>Y</math>
; przykład: para wejścia i odpowiadającego mu wyjścia: <math>(x,y)</math> stanowi pojedynczy przykład.
; ciąg uczący: zbiór przykładów <math>\lbrace (x^{(i)}, y^{(i)}), \quad i = 1, \dots ,m\rbrace </math>.
; hipoteza: <math>h</math>: odwzorowanie <math>h: X\rightarrow Y</math>, które "dobrze" pasuje do przykładów ciągu uczącego.

Formalnie proces uczenia z nadzorem polega na tym, żeby mając dany ciąg uczący znaleźć funkcję <math>h</math> taką, że jest ona dobrym predyktorem <math>y</math> mając dany <math>x</math>.

Gdy zmiana <math>y</math> jest ciągła problem nazywamy <i>regresją</i>, gdy zmienna <math>y</math> jest dyskretna problem nazywamy <i>klasyfikacją</i>.

===Regresja liniowa===

Aby nasz przykład uczynić bardziej interesującym załóżmy, że oprócz masy pojazdu znamy także jego moc. Aby przeprowadzić uczenie z nadzorem musimy zdecydować się jak będziemy reprezentować funkcję <math>h</math> w komputerze. Na początek załóżmy, że będzie to funkcja liniowa:

::<math>h_{\theta }(x) = \theta_0 + \theta_1 x_1 + \theta_2 x_2 </math>

Parametry <math>\theta _i</math> (zwane także wagami) parametryzują przestrzeń funkcji liniowych <math>X \rightarrow Y</math>. Tam gdzie nie będzie to powodować niejednoznaczności zamiast <math>h_\theta (x)</math> będziemy pisać <math>h(x)</math>. Dla uproszczenia notacji wprowadzimy też "sztuczne" wejście <math>x_0 =1 </math>, zaś parametr <math>\theta _0</math> nazywać będziemy obciążeniem.
Stosując powyższą konwencję możemy napisać:

::<math>h(x) = \sum _{i=0}^n \theta _i x_i </math>

(u nas n = 2).
Niektóre rachunki uproszczą się nam jeśli zastosujemy notację wektorową. Oznaczmy:
<math>\mathbf {\theta } = [\theta _0, \dots , \theta _n]^T</math> , <math>\mathbf {x} = [x_0, \dots ,x_n]^T</math> (zapisaliśmy oba wektory jako transponowane bo <math>\mathbf {\theta }</math> i <math>\mathbf {x}</math> są wektorami kolumnowymi). Wówczas:

::<math>h(x) = \sum _{i=0}^n \theta _i x_i = \mathbf {\theta }^T \mathbf {x}</math>

Problem uczenia maszynowego polega na tym: jak mając zbiór uczący znaleźć "dobre" parametry? Aby sformalizować ten problem wyprowadzimy <i>funkcję kosztu</i>.

::<math>J(\mathbf {\theta }) = \frac{1}{2} \sum _{i=1}^{m} \left( h_\theta (x^{(i)}) - y^{(i)} \right)^2 </math>

(Uwaga: <math>^{(i)}</math> to indeks przykładu a nie potęga. )
Teraz możemy powiedzieć, że "dobre" parametry to takie, które minimalizują funkcję kosztu.

===Algorytm najmniejszych kwadratów===

Chcemy znaleźć takie parametry aby zminimalizować funkcję kosztów. Zobaczmy czy zadziała następujący pomysł:

<i>Zacznijmy od pewniej "odgadniętej" wartości początkowej. Następnie zmieniamy ją zgodnie z kierunkiem przeciwnym do gradientu funkcji kosztu.</i>

Warto tu przypomnieć, że gradient funkcji to wektor, którego kierunek pokrywa się z kierunkiem, w którym funkcja zmienia się najszybciej, a zwrot wskazuje kierunek, w którym funkcja rośnie. Zatem jeśli wyobrazimy sobie funkcję jako pofałdowany teren, to poruszając się w kierunku przeciwnym do gradientu powinniśmy dotrzeć do niżej położonych partii terenu.
Formalnie jeden krok algorytmu <i>minimalizacji gradientowej</i> możemy zapisać:

dla każdego <math>j</math>: <math>\theta _{j} := \theta _j - \alpha \frac{\partial }{\partial \theta _j } J(\theta ) </math>

gdzie parametr <math>\alpha </math> to szybkość uczenia.

Przyjrzyjmy się pochodnej cząstkowej <math>\frac{\partial }{\partial \theta _j } J(\theta ) </math>:

::<math>
\begin{matrix}
\frac{\partial }{\partial \theta _j } J(\theta ) &=&\frac{\partial }{\partial \theta _j } \frac{1}{2} \sum _{i=1}^{m} \left( h_\theta (x^{(i)}) - y^{(i)} \right)^2 \\
&=&\frac{1}{2} \sum _{i=1}^{m} \frac{\partial }{\partial \theta _j } \left( h_\theta (x^{(i)}) - y^{(i)} \right)^2\\
&=&\frac{1}{2} \sum _{i=1}^{m} 2 \left( h_\theta (x^{(i)}) - y^{(i)} \right)\frac{\partial }{\partial \theta _j }h_\theta (x^{(i)})\\
&=& \sum _{i=1}^{m} \left( h_\theta (x^{(i)}) - y^{(i)} \right)\frac{\partial }{\partial \theta _j } \sum _{j=0}^n \theta _j x_j^{(i)}\\
&=& \sum _{i=1}^{m} \left( h_\theta (x^{(i)}) - y^{(i)} \right) \sum _{j=0}^n \frac{\partial }{\partial \theta _j }\theta _j x_j^{(i)}
\end{matrix}
</math>
::<math>
\frac{\partial }{\partial \theta _j } J(\theta ) = \sum _{i=1}^{m} \left( h_\theta (x^{(i)}) - y^{(i)} \right) x_j^{(i)}
</math>

Czyli zbierając te wyniki otrzymujemy algorytm:
* Zainicjuj <math>\theta _{j}</math>
* powtarzaj, aż zbiegniesz:
::dla każdego <math>j</math>: <math>\theta _{j} := \theta _j - \alpha \sum _{i=1}^{m} \left( h_\theta (x^{(i)}) - y^{(i)} \right) x_j^{(i)}</math>

Algorytm najmniejszych kwadratów ma kilka cech, które są intuicyjne i naturalne.
Wartość zmiany jest proporcjonalna do błędu. Gdy mamy przykład uczący, dla którego przewidywanie prawie zgadza się z <math>y</math> to wprowadzane zmiany parametrów są małe. Większa zmiana parametrów będzie dla przykładu, który generuje większy błąd.

Powyższe obliczenia dotyczą sytuacji gdy ciąg uczący zawierają wiele przykładów i poprawki obliczamy biorąc pod uwagę wszystkie przykłady. Jest to tak zwany algorytm gradientowy zbiorczy (ang. batch gradient descent).

Uaktualnianie parametrów funkcji kosztu można też prowadzić po każdej prezentacji elementu ciągu uczącego. Zauważmy, że w pierwszej linijce naszych przekształceń występuje suma po przyczynkach pochodzących od pojedynczych przykładów. Każdy przykład daje przyczynek dodatni. Zatem minimalizując każdy z przyczynków niezależnie również zminimalizujemy funkcję kosztu. Wersja algorytmu, w której zmiany parametrów obliczane są i dla pojedynczych przykładów z ciągu uczącego podawanych w losowej kolejności nosi nazwę <i>stochastycznego</i> algorytmu minimalizacji gradientowej. Ta wersja algorytmu jest zwykle bardziej wydajna obliczeniowo.

tem otrzymujemy algorytm:
* Zainicjuj <math>\theta _{j}</math>
* powtarzaj, aż zbiegniesz:
::wylosuj przykład <math>i</math>
::dla każdego <math>j</math>: <math>\theta _{j} := \theta _j - \alpha \left( h_\theta (x^{(i)}) - y^{(i)} \right) x_j^{(i)}</math>

Warto w tym miejscu zauważyć, że algorytm gradientowy jest wrażliwy na minima lokalne, tzn. że z danego punktu w przestrzeni parametrów prowadzi do najbliższego minimum lokalnego. Na szczęście w przypadku regresji linowej istnieje tylko jedno minimum i jest to minimum globalne.

===Równania normalne===

Iteracyjna wersja minimalizacji funkcji kosztu przyda nam się jeszcze przy omawianiu algorytmów uczenia sztucznych sieci neuronowych. W pewnych sytuacjach można wykorzystać nieco bardziej narzędzia algebry i analizy matematycznej i znaleźć optymalne parametry analitycznie. W tym celu trzeba znaleźć pochodna funkcji kosztu po parametrach i przyrównać ją do zera.

Aby rachunki poszły nam sprawniej przypomnijmy kilka wzorów z algebry.

====Rachunki macierzowe====

Dla danej funkcji <math>f: \mathcal {R}^{n \times m} \rightarrow \mathcal {R}</math> mapującej macierze <math>n \times m</math> na liczby rzeczywiste definiujemy pochodną <math>f</math> względem <math>A</math> jako:

::<math>
\nabla _A f(A) = \left[
\begin{array}{ccc}
\frac{\partial f}{\partial A_{1,1}} & \dots & \frac{\partial f }{\partial A_{1,n}} \\
\vdots & & \vdots \\
\frac{\partial f}{\partial A_{n,1}}& \dots &\frac{\partial f}{\partial A_{n,n}}
\end{array}
\right]
</math>

Zatem gradient <math>\nabla _A f(A) </math> jest macierzą <math>n \times m</math>, której element <math>(i,j)</math> to pochodna cząstkowa <math> \frac{\partial f}{\partial A_{i,j}}</math>.

Jako przykład weźmy macierz

::<math>A =
\left[
\begin{array}{cc}
A_{1,1} & A_{1,2} \\
A_{2,1} & A_{2,2}
\end{array}
\right]
</math>

i funkcję <math>f: \mathcal {R}^{n \times m} \rightarrow \mathcal {R}</math> :

::<math>
f(A) = \frac{3}{2} A_{1,1} + 5 A_{1,2}^2 + A_{2,1} A_{2,2}
</math>

W tym przypadku otrzymujemy:

::<math>
\nabla _A f(A) = \left[
\begin{array}{ccc}
\frac{3}{2} & 10 A_{1,2} \\
A_{2,2} & A_{2,1}
\end{array}
\right]
</math>

Dla przypomnienia operator śladu macierzy kwadratowej <math>A</math> to suma elementów diagonalnych:

::<math> \textrm {tr}A = \sum _{i=1}^{n}A_{i,i}</math>

Operator śladu jest przemienny, tzn.

::<math> \textrm {tr}AB = \textrm {tr}BA</math>

Zachodzi również:

::<math>\textrm {tr}A =\textrm {tr}A^T</math>

::<math>\textrm {tr}(A+B) =\textrm {tr}A + \textrm {tr}B</math>

::<math>\textrm {tr}(aA) = a\textrm {tr}A</math>

Dla pochodnych macierzowych zachodzi:

<equation id="uid14">
<math>
\nabla _A \textrm {tr}AB = B^T

</math>
</equation>

<equation id="uid15">
<math>
\nabla _{A^T} f(A) = (\nabla _A f(A))^T

</math>
</equation>

<equation id="uid16">
<math>
\nabla _A \textrm {tr} ABA^TC = CAB +C^TAB^T

</math>
</equation>

<equation id="uid17">
<math>
\nabla _A |A| = |A| (A^{-1})^T

</math>
</equation>

gdzie <math>|A|</math> to wyznacznik macierzy A.

====Minimalizacja funkcji kosztu====

Uzbrojeni w powyższe wzory możemy powrócić do minimalizacji funkcji kosztu.
Zbudujmy macierz wejść <math>X</math> w taki sposób, że wejścia z poszczególnych przykładów są jej wierszami.

::<math>X =
\left[
\begin{array}{ccc}
-& ( x^{(1)})^T&- \\
& \vdots & \\
- &(x^{(m)})^T &-
\end{array}
\right]
</math>

Z wartości wyjściowych zbudujemy wektor kolumnowy

::<math>\mathbf {y} = \left[
\begin{array}{c}
y^{(1) }\\
\vdots \\
y^{(m)}
\end{array}
\right]
</math>

Ponieważ <math>h_\theta (x^{(i)} ) = (x^{(i)})^T \theta </math> możemy zapisać:

::<math>
X \theta - \mathbf {y} =
\left[
\begin{array}{c}
( x^{(1)})^T \theta \\
\vdots \\
(x^{(m)})^T \theta \end{array}
\right]
-
\left[
\begin{array}{c}
y^{(1) }\\
\vdots \\
y^{(m)}
\end{array}
\right]
=
\left[
\begin{array}{c}
h_\theta (x^{(1)}) - y^{(1) }\\
\vdots \\
h_\theta (x^{(m)}) - y^{(m)}
\end{array}
\right]
</math>

Korzystając z faktu, że dla wektora <math>\mathbf {z}</math> mamy <math>\mathbf {z}^T\mathbf {z}=\sum _i z_i^2</math> możemy zapisać funkcję kosztu w następujący sposób:

::<math>J(\theta ) = \frac{1}{2} \sum _{i=1}^m \left( h_\theta (x^{(i)} ) - y^{(i)}\right)^2 = \frac{1}{2} (X \theta - \mathbf {y})^T (X \theta - \mathbf {y}) </math>

Teraz aby zminimalizować funkcję kosztu <math>J</math> znajdzmy jej pochodną względem <math>\theta </math>. Korzystając z równań (<xr id="uid15"> %i</xr>) i (<xr id="uid16"> %i</xr>) widzimy, że:

<equation id="uid19">
<math>
\nabla _{A^T} \textrm {tr}ABA^TC = B^T A^T C^T + B A^T C

</math>
</equation>

Tak więc:

::<math>\begin{matrix}
\nabla _\theta J(\theta ) &=& \nabla _\theta \frac{1}{2} (X \theta - \mathbf {y})^T (X \theta - \mathbf {y}) \\
&=& \frac{1}{2} \nabla _\theta ( \theta ^T X ^T X \theta -\theta ^T X^T \mathbf {y} - \mathbf {y}^T X \theta + \mathbf {y}^T \mathbf {y}) \\
&=& \frac{1}{2} \nabla _\theta \textrm {tr}( \theta ^T X ^T X \theta -\theta ^T X^T \mathbf {y} - \mathbf {y}^T X \theta + \mathbf {y}^T \mathbf {y}) \\
&=& \frac{1}{2} \nabla _\theta (\textrm {tr} \theta ^T X ^T X \theta - 2 \textrm {tr} \mathbf {y}^T X \theta ) \\
&=& \frac{1}{2} ( X ^T X \theta +X^T X \theta - 2 X^T \mathbf {y}) \\
&=& X^T X \theta - X^T \mathbf {y}
\end{matrix}</math>

Użyte tricki:

<ol>

<li>
w trzecim kroku skorzystaliśmy z tego, że ślad liczby jest tą samą liczbą

<li>
w czwartym kroku skorzystaliśmy z tego, że <math>\textrm {tr}A = \textrm {tr}A^T</math>

<li>
w piątym kroku skorzystaliśmy z równania (<xr id="uid19"> %i</xr>), podstawiając <math>A^T = \theta </math>, <math>B = B^T = X^TX</math> i <math>C = I</math> oraz równanie (<xr id="uid14"> %i</xr>)

</ol>

Aby zminimalizować funkcję kosztu kładziemy jej pochodną równą 0 i otrzymujemy <i>równanie normalne</i>:

::<math> X^T X \theta = X^T \mathbf {y}</math>

Z niego możemy obliczyć parametry minimalizujące funkcję kosztu:

<math> \theta = (X^T X )^{-1} X^T \mathbf {y}</math>

===Interpretacja probabilistyczna===

Dlaczego funkcja kosztu <math>J</math> w postaci sumy kwadratów błędów dla problemu regresji jest sensowna? W tej sekcji zaprezentuje zestaw założeń probabilistycznych, dla których kwadratowa funkcja błędu jest naturalną konsekwencją.

Załóżmy, że zmienne wejściowe i wyjściowe powiązane są zależnością:

::<math> y^{(i)} = \theta ^T x^{(i)} + \epsilon ^{(i)}</math>

gdzie <math>\epsilon ^{(i)}</math> jest błędem, który albo pochodzi od pewnych nieuwzględnionych w modelu regresji czynników lub czynnikiem losowym. Załóżmy, że <math>\epsilon ^{(i)}</math> to zmienne <i>niezależne</i> i podlegające <i>temu samemu rozkładowi</i> (ang. IID - independent and identically distributed) normalnemu o średniej zero i wariancji <math>\sigma ^2</math>. To założenie zapisujemy krótko: <math> \epsilon ^{(i)} \sim \mathcal {N}(0, \sigma ^2)</math> . Zatem funkcja gęstości prawdopodobieństwa <math>\epsilon ^{(i)}</math> dana jest wzorem:

::<math>
p(\epsilon ^{(i)}) = \frac{1}{\sqrt{2 \pi} \sigma } \exp \left( - \frac{ \left(\epsilon ^{(i)} \right)^2}{2 \sigma ^2} \right)
</math>

Z tego wynika, że:

::<math> p(y^{(i)}| x^{(i)}; \theta ) = \frac{1}{\sqrt{2 \pi} \sigma } \exp \left( - \frac{ \left(y^{(i)} - \theta ^Tx^{(i)} \right)^2}{2 \sigma ^2} \right) </math>

Notacja <math>p(y^{(i)}| x^{(i)}; \theta )</math> oznacza funkcję gęstości prawdopodobieństwa zmiennej <math>y^{(i)}</math> mając daną zmienną <math>x^{(i)}</math> sparametryzowaną przez <math>\theta </math>. Nie mówimy "mając dane <math>\theta </math>" bo <math>\theta </math> nie jest zmienną losową. Prawdopodobieństwo danych (całego ciągu uczącego) określone jest przez rozkład <math>p(\mathbf {y}|X;\theta )</math>. Ten rozkład zazwyczaj rozumiany jest jako funkcja <math>\mathbf {y}</math> i <math>X</math> przy ustalonym <math>\theta </math>. Możemy jednak spojrzeć na niego inaczej, tzn. jako funkcję <math>\theta </math> przy ustalonych <math>X</math> i <math>\mathbf {y}</math>. Funkcję tą nazywamy <i>funkcją wiarygodności</i>:

::<math>L(\theta ) = L(\theta ;X,\mathbf {y}) = p(\mathbf {y}|X;\theta )</math>

Zauważmy, że dzięki założeniu o niezależności <math>\epsilon ^{(i)}</math> możemy tą funkcję zapisać jako:

::<math>\begin{matrix}
L(\theta ) &=& \prod _{i=1}^m p(y^{(i)} | x^{(i)};\theta )\\
&=& \prod _{i=1}^m \frac{1}{\sqrt{2 \pi} \sigma } \exp \left( - \frac{ \left(y^{(i)} - \theta ^Tx^{(i)} \right)^2}{2 \sigma ^2} \right)
\end{matrix}</math>

Teraz, mając nasz model probabilistyczny możemy się zapytać: jakie <math>\theta </math> są sensowne? Chcielibyśmy, aby były to takie parametry, dla których zaobserwowanie naszego ciągu uczącego jest najbardziej prawdopodobne. Jest to zasada <i>największej wiarygodności</i>. A zatem w myśl tej zasady trzeba znaleźć <math>\theta </math>, które maksymalizuje funkcję wiarygodności <math>L(\theta )</math>. Tak naprawdę wystarczy jeśli zmaksymalizujemy dowolną ściśle rosnącą funkcję funkcji wiarygodności. Rachunki znacznie się uproszczą jeśli jako tą funkcję wybierzemy <math>\log </math> (wówczas iloczyn przejdzie w sumę). Ostatecznie chcemy zmaksymalizować:

::<math>\begin{matrix}
l(\theta ) &=& \log (L(\theta )) \\
&=& \log \prod _{i=1}^m \frac{1}{\sqrt{2 \pi} \sigma } \exp \left( - \frac{ \left(y^{(i)} - \theta ^Tx^{(i)} \right)^2}{2 \sigma ^2} \right)\\
&=& \sum _{i=1}^m \log \frac{1}{\sqrt{2 \pi} \sigma } \exp \left( - \frac{ \left(y^{(i)} - \theta ^Tx^{(i)} \right)^2}{2 \sigma ^2} \right) \\
&=& m \log \frac{1}{\sqrt{2 \pi }\sigma } - \frac{1}{\sigma ^2} \cdot \frac{1}{2} \sum _{i=1}^m \left( y^{(i)} - \theta ^Tx^{(i)} \right)^2
\end{matrix}</math>

Zauważmy, że aby zmaksymalizować funkcję wiarygodności musimy zminimalizować wyrażenie <math> \frac{1}{2} \sum _{i=1}^m \left( y^{(i)} - \theta ^Tx^{(i)} \right)^2 </math>, czyli wprowadzoną w poprzednim rozdziale funkcję kosztu <math>J(\theta )</math>.

Podsumowując: zakładając konkretny model probabilistyczny ciągu uczącego udało nam się pokazać, że minimalizacja funkcji kosztu jest konsekwencją zastosowania zasady największej wiarygodności. Warto jednak pamiętać, że procedura minimalizacji średniego błędu kwadratowego daje sensowne wyniki dla znacznie szerszej klasy modeli danych.

Uczenie maszynowe i sztuczne sieci neuronowe/Wykład 1

2016-03-01T16:11:23Z

SuperAdmin: /* Algorytm najmniejszych kwadratów */

==Uczenie maszynowe==

Na tych zajęciach zapoznamy się z koncepcjami "uczenia maszynowego". Podejście to jest nieco odmienne od standardowego programowania. Algorytmy, które będziemy omawiać bardziej stanowią "metodologię uczenia" niż sposoby kodowania rozwiązań konkretnych problemów. Zobaczymy jak łącza się pojęcia ze statystyki, algebry z inspiracjami biologicznymi.



Na wstępie warto może wspomnieć, że uczenie może przebiegać z nadzorem lub bez nadzoru. Uczenie z nadzorem przypomina typowe uczenie w szkole, gdzie nauczyciel podaje przykłady dla których znane są prawidłowe odpowiedzi i potrafi uczniowi wskazać błędy. Uczenie bez nadzoru przypomina nieco uczenie się postrzegania świata przez małe dziecko. Bazuje ono głównie na obserwowaniu związków przyczynowo skutkowych - korelacji - pomiędzy różnymi bodźcami.

===Uczenie z nadzorem===

Zaczniemy od najprostszej wersji uczenia z nadzorem jaką jest regresja liniowa. Aby było nam łatwiej ją sobie wyobrażać weźmy konkretny przykład: chcielibyśmy przewidywać zużycie paliwa przez samochody. Załóżmy, że znamy odległość jaką samochód może pokonać i jego masę. Możemy narysować te dane.

[[Plik:reg1.png|350px|thumb|<figure id="uid2" />Przykładowe dane]]

Jak na podstawie tych danych można przewidzieć zasięg innych samochodów?

Można potraktować te dane jako punkty reprezentujące pewne odwzorowanie, funkcję.
Najprostszą funkcję jaką moglibyśmy zaproponować to odwzorowanie liniowe.

W tym miejscu wprowadzimy kilka ważnych pojęć i notację, z której będziemy korzystać w trakcie dalszych wykładów.

; wejście: w naszym przykładzie daną wejściową jest masa samochodu. Oznaczmy ją <math>x</math>. W kontekście uczenia maszynowego dane wejściowe często nazywane są <i>cechami</i> (ang. features).
; przestrzeń wejść: przestrzeń, z której pochodzą dane wejściowe, oznaczymy ją <math>X</math>
; wyjście: w naszym przykładzie zasięg. Oznaczymy go <math>y</math>.
; przestrzeń wyjść: przestrzeń, z której pochodzą dane wyjściowe, oznaczymy ją <math>Y</math>
; przykład: para wejścia i odpowiadającego mu wyjścia: <math>(x,y)</math> stanowi pojedynczy przykład.
; ciąg uczący: zbiór przykładów <math>\lbrace (x^{(i)}, y^{(i)}), \quad i = 1, \dots ,m\rbrace </math>.
; hipoteza: <math>h</math>: odwzorowanie <math>h: X\rightarrow Y</math>, które "dobrze" pasuje do przykładów ciągu uczącego.

Formalnie proces uczenia z nadzorem polega na tym, żeby mając dany ciąg uczący znaleźć funkcję <math>h</math> taką, że jest ona dobrym predyktorem <math>y</math> mając dany <math>x</math>.

Gdy zmiana <math>y</math> jest ciągła problem nazywamy <i>regresją</i>, gdy zmienna <math>y</math> jest dyskretna problem nazywamy <i>klasyfikacją</i>.

===Regresja liniowa===

Aby nasz przykład uczynić bardziej interesującym załóżmy, że oprócz masy pojazdu znamy także jego moc. Aby przeprowadzić uczenie z nadzorem musimy zdecydować się jak będziemy reprezentować funkcję <math>h</math> w komputerze. Na początek załóżmy, że będzie to funkcja liniowa:

::<math>h_{\theta }(x) = \theta_0 + \theta_1 x_1 + \theta_2 x_2 </math>

Parametry <math>\theta _i</math> (zwane także wagami) parametryzują przestrzeń funkcji liniowych <math>X \rightarrow Y</math>. Tam gdzie nie będzie to powodować niejednoznaczności zamiast <math>h_\theta (x)</math> będziemy pisać <math>h(x)</math>. Dla uproszczenia notacji wprowadzimy też "sztuczne" wejście <math>x_0 =1 </math>, zaś parametr <math>\theta _0</math> nazywać będziemy obciążeniem.
Stosując powyższą konwencję możemy napisać:

::<math>h(x) = \sum _{i=0}^n \theta _i x_i </math>

(u nas n = 2).
Niektóre rachunki uproszczą się nam jeśli zastosujemy notację wektorową. Oznaczmy:
<math>\mathbf {\theta } = [\theta _0, \dots , \theta _n]^T</math> , <math>\mathbf {x} = [x_0, \dots ,x_n]^T</math> (zapisaliśmy oba wektory jako transponowane bo <math>\mathbf {\theta }</math> i <math>\mathbf {x}</math> są wektorami kolumnowymi). Wówczas:

::<math>h(x) = \sum _{i=0}^n \theta _i x_i = \mathbf {\theta }^T \mathbf {x}</math>

Problem uczenia maszynowego polega na tym: jak mając zbiór uczący znaleźć "dobre" parametry? Aby sformalizować ten problem wyprowadzimy <i>funkcję kosztu</i>.

::<math>J(\mathbf {\theta }) = \frac{1}{2} \sum _{i=1}^{m} \left( h_\theta (x^{(i)}) - y^{(i)} \right)^2 </math>

(Uwaga: <math>^{(i)}</math> to indeks przykładu a nie potęga. )
Teraz możemy powiedzieć, że "dobre" parametry to takie, które minimalizują funkcję kosztu.

===Algorytm najmniejszych kwadratów===

Chcemy znaleźć takie parametry aby zminimalizować funkcję kosztów. Zobaczmy czy zadziała następujący pomysł:

<i>Zacznijmy od pewniej "odgadniętej" wartości początkowej. Następnie zmieniamy ją zgodnie z kierunkiem przeciwnym do gradientu funkcji kosztu.</i>

Warto tu przypomnieć, że gradient funkcji to wektor, którego kierunek pokrywa się z kierunkiem, w którym funkcja zmienia się najszybciej, a zwrot wskazuje kierunek, w którym funkcja rośnie. Zatem jeśli wyobrazimy sobie funkcję jako pofałdowany teren, to poruszając się w kierunku przeciwnym do gradientu powinniśmy dotrzeć do niżej położonych partii terenu.
Formalnie jeden krok algorytmu <i>minimalizacji gradientowej</i> możemy zapisać:

dla każdego <math>j</math>: <math>\theta _{j} := \theta _j - \alpha \frac{\partial }{\partial \theta _j } J(\theta ) </math>

gdzie parametr <math>\alpha </math> to szybkość uczenia.

Przyjrzyjmy się pochodnej cząstkowej <math>\frac{\partial }{\partial \theta _j } J(\theta ) </math>:

::<math>
\begin{matrix}
\frac{\partial }{\partial \theta _j } J(\theta ) &=&\frac{\partial }{\partial \theta _j } \frac{1}{2} \sum _{i=1}^{m} \left( h_\theta (x^{(i)}) - y^{(i)} \right)^2 \\
&=&\frac{1}{2} \sum _{i=1}^{m} \frac{\partial }{\partial \theta _j } \left( h_\theta (x^{(i)}) - y^{(i)} \right)^2\\
&=&\frac{1}{2} \sum _{i=1}^{m} 2 \left( h_\theta (x^{(i)}) - y^{(i)} \right)\frac{\partial }{\partial \theta _j }h_\theta (x^{(i)})\\
&=& \sum _{i=1}^{m} \left( h_\theta (x^{(i)}) - y^{(i)} \right)\frac{\partial }{\partial \theta _j } \sum _{j=0}^n \theta _j x_j^{(i)}\\
&=& \sum _{i=1}^{m} \left( h_\theta (x^{(i)}) - y^{(i)} \right) \sum _{j=0}^n \frac{\partial }{\partial \theta _j }\theta _j x_j^{(i)}
\end{matrix}
</math>
::<math>
\frac{\partial }{\partial \theta _j } J(\theta ) = \sum _{i=1}^{m} \left( h_\theta (x^{(i)}) - y^{(i)} \right) x_j^{(i)}
</math>

Czyli zbierając te wyniki otrzymujemy algorytm:
* Zainicjuj <math>\theta _{j}</math>
* powtarzaj, aż zbiegniesz:
::dla każdego <math>j</math>: <math>\theta _{j} := \theta _j - \alpha \sum _{i=1}^{m} \left( h_\theta (x^{(i)}) - y^{(i)} \right) x_j^{(i)}</math>

Algorytm najmniejszych kwadratów ma kilka cech, które są intuicyjne i naturalne.
Wartość zmiany jest proporcjonalna do błędu. Gdy mamy przykład uczący, dla którego przewidywanie prawie zgadza się z <math>y</math> to wprowadzane zmiany parametrów są małe. Większa zmiana parametrów będzie dla przykładu, który generuje większy błąd.

Powyższe obliczenia dotyczą sytuacji gdy ciąg uczący zawierają wiele przykładów i poprawki obliczamy biorąc pod uwagę wszystkie przykłady. Jest to tak zwany algorytm gradientowy zbiorczy (ang. batch gradient descent).

Uaktualnianie parametrów funkcji kosztu można też prowadzić po każdej prezentacji elementu ciągu uczącego. Zauważmy, że w pierwszej linijce naszych przekształceń występuje suma po przyczynkach pochodzących od pojedynczych przykładów. Każdy przykład daje przyczynek dodatni. Zatem minimalizując każdy z przyczynków niezależnie również zminimalizujemy funkcję kosztu. Wersja algorytmu, w której zmiany parametrów obliczane są i dla pojedynczych przykładów z ciągu uczącego podawanych w losowej kolejności nosi nazwę <i>stochastycznego</i> algorytmu minimalizacji gradientowej. Ta wersja algorytmu jest zwykle bardziej wydajna obliczeniowo.

Warto w tym miejscu zauważyć, że algorytm gradientowy jest wrażliwy na minima lokalne, tzn. że z danego punktu w przestrzeni parametrów prowadzi do najbliższego minimum lokalnego. Na szczęście w przypadku regresji linowej istnieje tylko jedno minimum i jest to minimum globalne.

===Równania normalne===

Iteracyjna wersja minimalizacji funkcji kosztu przyda nam się jeszcze przy omawianiu algorytmów uczenia sztucznych sieci neuronowych. W pewnych sytuacjach można wykorzystać nieco bardziej narzędzia algebry i analizy matematycznej i znaleźć optymalne parametry analitycznie. W tym celu trzeba znaleźć pochodna funkcji kosztu po parametrach i przyrównać ją do zera.

Aby rachunki poszły nam sprawniej przypomnijmy kilka wzorów z algebry.

====Rachunki macierzowe====

Dla danej funkcji <math>f: \mathcal {R}^{n \times m} \rightarrow \mathcal {R}</math> mapującej macierze <math>n \times m</math> na liczby rzeczywiste definiujemy pochodną <math>f</math> względem <math>A</math> jako:

::<math>
\nabla _A f(A) = \left[
\begin{array}{ccc}
\frac{\partial f}{\partial A_{1,1}} & \dots & \frac{\partial f }{\partial A_{1,n}} \\
\vdots & & \vdots \\
\frac{\partial f}{\partial A_{n,1}}& \dots &\frac{\partial f}{\partial A_{n,n}}
\end{array}
\right]
</math>

Zatem gradient <math>\nabla _A f(A) </math> jest macierzą <math>n \times m</math>, której element <math>(i,j)</math> to pochodna cząstkowa <math> \frac{\partial f}{\partial A_{i,j}}</math>.

Jako przykład weźmy macierz

::<math>A =
\left[
\begin{array}{cc}
A_{1,1} & A_{1,2} \\
A_{2,1} & A_{2,2}
\end{array}
\right]
</math>

i funkcję <math>f: \mathcal {R}^{n \times m} \rightarrow \mathcal {R}</math> :

::<math>
f(A) = \frac{3}{2} A_{1,1} + 5 A_{1,2}^2 + A_{2,1} A_{2,2}
</math>

W tym przypadku otrzymujemy:

::<math>
\nabla _A f(A) = \left[
\begin{array}{ccc}
\frac{3}{2} & 10 A_{1,2} \\
A_{2,2} & A_{2,1}
\end{array}
\right]
</math>

Dla przypomnienia operator śladu macierzy kwadratowej <math>A</math> to suma elementów diagonalnych:

::<math> \textrm {tr}A = \sum _{i=1}^{n}A_{i,i}</math>

Operator śladu jest przemienny, tzn.

::<math> \textrm {tr}AB = \textrm {tr}BA</math>

Zachodzi również:

::<math>\textrm {tr}A =\textrm {tr}A^T</math>

::<math>\textrm {tr}(A+B) =\textrm {tr}A + \textrm {tr}B</math>

::<math>\textrm {tr}(aA) = a\textrm {tr}A</math>

Dla pochodnych macierzowych zachodzi:

<equation id="uid14">
<math>
\nabla _A \textrm {tr}AB = B^T

</math>
</equation>

<equation id="uid15">
<math>
\nabla _{A^T} f(A) = (\nabla _A f(A))^T

</math>
</equation>

<equation id="uid16">
<math>
\nabla _A \textrm {tr} ABA^TC = CAB +C^TAB^T

</math>
</equation>

<equation id="uid17">
<math>
\nabla _A |A| = |A| (A^{-1})^T

</math>
</equation>

gdzie <math>|A|</math> to wyznacznik macierzy A.

====Minimalizacja funkcji kosztu====

Uzbrojeni w powyższe wzory możemy powrócić do minimalizacji funkcji kosztu.
Zbudujmy macierz wejść <math>X</math> w taki sposób, że wejścia z poszczególnych przykładów są jej wierszami.

::<math>X =
\left[
\begin{array}{ccc}
-& ( x^{(1)})^T&- \\
& \vdots & \\
- &(x^{(m)})^T &-
\end{array}
\right]
</math>

Z wartości wyjściowych zbudujemy wektor kolumnowy

::<math>\mathbf {y} = \left[
\begin{array}{c}
y^{(1) }\\
\vdots \\
y^{(m)}
\end{array}
\right]
</math>

Ponieważ <math>h_\theta (x^{(i)} ) = (x^{(i)})^T \theta </math> możemy zapisać:

::<math>
X \theta - \mathbf {y} =
\left[
\begin{array}{c}
( x^{(1)})^T \theta \\
\vdots \\
(x^{(m)})^T \theta \end{array}
\right]
-
\left[
\begin{array}{c}
y^{(1) }\\
\vdots \\
y^{(m)}
\end{array}
\right]
=
\left[
\begin{array}{c}
h_\theta (x^{(1)}) - y^{(1) }\\
\vdots \\
h_\theta (x^{(m)}) - y^{(m)}
\end{array}
\right]
</math>

Korzystając z faktu, że dla wektora <math>\mathbf {z}</math> mamy <math>\mathbf {z}^T\mathbf {z}=\sum _i z_i^2</math> możemy zapisać funkcję kosztu w następujący sposób:

::<math>J(\theta ) = \frac{1}{2} \sum _{i=1}^m \left( h_\theta (x^{(i)} ) - y^{(i)}\right)^2 = \frac{1}{2} (X \theta - \mathbf {y})^T (X \theta - \mathbf {y}) </math>

Teraz aby zminimalizować funkcję kosztu <math>J</math> znajdzmy jej pochodną względem <math>\theta </math>. Korzystając z równań (<xr id="uid15"> %i</xr>) i (<xr id="uid16"> %i</xr>) widzimy, że:

<equation id="uid19">
<math>
\nabla _{A^T} \textrm {tr}ABA^TC = B^T A^T C^T + B A^T C

</math>
</equation>

Tak więc:

::<math>\begin{matrix}
\nabla _\theta J(\theta ) &=& \nabla _\theta \frac{1}{2} (X \theta - \mathbf {y})^T (X \theta - \mathbf {y}) \\
&=& \frac{1}{2} \nabla _\theta ( \theta ^T X ^T X \theta -\theta ^T X^T \mathbf {y} - \mathbf {y}^T X \theta + \mathbf {y}^T \mathbf {y}) \\
&=& \frac{1}{2} \nabla _\theta \textrm {tr}( \theta ^T X ^T X \theta -\theta ^T X^T \mathbf {y} - \mathbf {y}^T X \theta + \mathbf {y}^T \mathbf {y}) \\
&=& \frac{1}{2} \nabla _\theta (\textrm {tr} \theta ^T X ^T X \theta - 2 \textrm {tr} \mathbf {y}^T X \theta ) \\
&=& \frac{1}{2} ( X ^T X \theta +X^T X \theta - 2 X^T \mathbf {y}) \\
&=& X^T X \theta - X^T \mathbf {y}
\end{matrix}</math>

Użyte tricki:

<ol>

<li>
w trzecim kroku skorzystaliśmy z tego, że ślad liczby jest tą samą liczbą

<li>
w czwartym kroku skorzystaliśmy z tego, że <math>\textrm {tr}A = \textrm {tr}A^T</math>

<li>
w piątym kroku skorzystaliśmy z równania (<xr id="uid19"> %i</xr>), podstawiając <math>A^T = \theta </math>, <math>B = B^T = X^TX</math> i <math>C = I</math> oraz równanie (<xr id="uid14"> %i</xr>)

</ol>

Aby zminimalizować funkcję kosztu kładziemy jej pochodną równą 0 i otrzymujemy <i>równanie normalne</i>:

::<math> X^T X \theta = X^T \mathbf {y}</math>

Z niego możemy obliczyć parametry minimalizujące funkcję kosztu:

<math> \theta = (X^T X )^{-1} X^T \mathbf {y}</math>

===Interpretacja probabilistyczna===

Dlaczego funkcja kosztu <math>J</math> w postaci sumy kwadratów błędów dla problemu regresji jest sensowna? W tej sekcji zaprezentuje zestaw założeń probabilistycznych, dla których kwadratowa funkcja błędu jest naturalną konsekwencją.

Załóżmy, że zmienne wejściowe i wyjściowe powiązane są zależnością:

::<math> y^{(i)} = \theta ^T x^{(i)} + \epsilon ^{(i)}</math>

gdzie <math>\epsilon ^{(i)}</math> jest błędem, który albo pochodzi od pewnych nieuwzględnionych w modelu regresji czynników lub czynnikiem losowym. Załóżmy, że <math>\epsilon ^{(i)}</math> to zmienne <i>niezależne</i> i podlegające <i>temu samemu rozkładowi</i> (ang. IID - independent and identically distributed) normalnemu o średniej zero i wariancji <math>\sigma ^2</math>. To założenie zapisujemy krótko: <math> \epsilon ^{(i)} \sim \mathcal {N}(0, \sigma ^2)</math> . Zatem funkcja gęstości prawdopodobieństwa <math>\epsilon ^{(i)}</math> dana jest wzorem:

::<math>
p(\epsilon ^{(i)}) = \frac{1}{\sqrt{2 \pi} \sigma } \exp \left( - \frac{ \left(\epsilon ^{(i)} \right)^2}{2 \sigma ^2} \right)
</math>

Z tego wynika, że:

::<math> p(y^{(i)}| x^{(i)}; \theta ) = \frac{1}{\sqrt{2 \pi} \sigma } \exp \left( - \frac{ \left(y^{(i)} - \theta ^Tx^{(i)} \right)^2}{2 \sigma ^2} \right) </math>

Notacja <math>p(y^{(i)}| x^{(i)}; \theta )</math> oznacza funkcję gęstości prawdopodobieństwa zmiennej <math>y^{(i)}</math> mając daną zmienną <math>x^{(i)}</math> sparametryzowaną przez <math>\theta </math>. Nie mówimy "mając dane <math>\theta </math>" bo <math>\theta </math> nie jest zmienną losową. Prawdopodobieństwo danych (całego ciągu uczącego) określone jest przez rozkład <math>p(\mathbf {y}|X;\theta )</math>. Ten rozkład zazwyczaj rozumiany jest jako funkcja <math>\mathbf {y}</math> i <math>X</math> przy ustalonym <math>\theta </math>. Możemy jednak spojrzeć na niego inaczej, tzn. jako funkcję <math>\theta </math> przy ustalonych <math>X</math> i <math>\mathbf {y}</math>. Funkcję tą nazywamy <i>funkcją wiarygodności</i>:

::<math>L(\theta ) = L(\theta ;X,\mathbf {y}) = p(\mathbf {y}|X;\theta )</math>

Zauważmy, że dzięki założeniu o niezależności <math>\epsilon ^{(i)}</math> możemy tą funkcję zapisać jako:

::<math>\begin{matrix}
L(\theta ) &=& \prod _{i=1}^m p(y^{(i)} | x^{(i)};\theta )\\
&=& \prod _{i=1}^m \frac{1}{\sqrt{2 \pi} \sigma } \exp \left( - \frac{ \left(y^{(i)} - \theta ^Tx^{(i)} \right)^2}{2 \sigma ^2} \right)
\end{matrix}</math>

Teraz, mając nasz model probabilistyczny możemy się zapytać: jakie <math>\theta </math> są sensowne? Chcielibyśmy, aby były to takie parametry, dla których zaobserwowanie naszego ciągu uczącego jest najbardziej prawdopodobne. Jest to zasada <i>największej wiarygodności</i>. A zatem w myśl tej zasady trzeba znaleźć <math>\theta </math>, które maksymalizuje funkcję wiarygodności <math>L(\theta )</math>. Tak naprawdę wystarczy jeśli zmaksymalizujemy dowolną ściśle rosnącą funkcję funkcji wiarygodności. Rachunki znacznie się uproszczą jeśli jako tą funkcję wybierzemy <math>\log </math> (wówczas iloczyn przejdzie w sumę). Ostatecznie chcemy zmaksymalizować:

::<math>\begin{matrix}
l(\theta ) &=& \log (L(\theta )) \\
&=& \log \prod _{i=1}^m \frac{1}{\sqrt{2 \pi} \sigma } \exp \left( - \frac{ \left(y^{(i)} - \theta ^Tx^{(i)} \right)^2}{2 \sigma ^2} \right)\\
&=& \sum _{i=1}^m \log \frac{1}{\sqrt{2 \pi} \sigma } \exp \left( - \frac{ \left(y^{(i)} - \theta ^Tx^{(i)} \right)^2}{2 \sigma ^2} \right) \\
&=& m \log \frac{1}{\sqrt{2 \pi }\sigma } - \frac{1}{\sigma ^2} \cdot \frac{1}{2} \sum _{i=1}^m \left( y^{(i)} - \theta ^Tx^{(i)} \right)^2
\end{matrix}</math>

Zauważmy, że aby zmaksymalizować funkcję wiarygodności musimy zminimalizować wyrażenie <math> \frac{1}{2} \sum _{i=1}^m \left( y^{(i)} - \theta ^Tx^{(i)} \right)^2 </math>, czyli wprowadzoną w poprzednim rozdziale funkcję kosztu <math>J(\theta )</math>.

Podsumowując: zakładając konkretny model probabilistyczny ciągu uczącego udało nam się pokazać, że minimalizacja funkcji kosztu jest konsekwencją zastosowania zasady największej wiarygodności. Warto jednak pamiętać, że procedura minimalizacji średniego błędu kwadratowego daje sensowne wyniki dla znacznie szerszej klasy modeli danych.

2015-06-07T13:10:47Z

SuperAdmin: /* Wyniki kartkówek */

__NOTOC__
=Laboratorium EEG - grupa 2 - ćwiczenia=
<br/>

== Ogłoszenia bieżące ==

We wtorek (09.06.15.) studenci będą mieli możliwość poprawienia jednej kartkówki.

Terminy prezentacji wyników pracy:
* 15.05.2015, sala 4.59, w godzinach 12:00 - 15:00,
* 12.06.2015, sala 4.59, w godzinach 09:00 - 12:00.

Propozycje ocen:
* 16.06.2015, sala 4.59, godzina 12:00.
<br/>

== Termin zajęć ==
Zajęcia odbywają się dwa razy w tygodniu, we wtorki w godzinach 12:15 - 14:45 oraz w piątki, w godzinach 09:30 - 12:00. Sala <b>4.59</b>, ul. Pasteura 5 - <b>"nowy"</b> budynek dydaktyczny Wydziału Fizyki UW.

== Kontakt z prowadzącym ==
Zajęcia prowadzi mgr Tomasz Spustek, pokój 4.66, ul. Pasteura 5 - nowy, główny budynek dydaktyczny Wydziału Fizyki UW

Preferowany sposób kontaktu - e-mail: tspus@fuw.edu.pl

Możliwe jest zorganizowanie konsultacji z prowadzącym ćwiczenia, po uprzednim kontakcie e-mailowym.

== Warunki zaliczenia ==
Ćwiczenia zostaną zaliczone osobom, które spełnią dwa niezwykle proste warunki:
* Posiadanie maksymalnie dwóch nieusprawiedliwionych nieobecności na ćwiczeniach,
* Posiadanie sumy punktów z dwóch prezentacji oraz ze wszystkich kartkówek nie mniejszej niż połowa punktów możliwych do zdobycia,
* Punkty będą przyznawane w sposób uwzględniający nie tylko stan wiedzy, ale także czynione postępy.

* Osobom spełniającym powyższe warunki zaproponowana zostanie pozytywna ocena końcowa z Laboratorium.
* Osoby nie mające tego szczęścia, otrzymają ocenę negatywną.

* Możliwe będzie poprawienie zaproponowanej oceny na wyższą poprzez zrealizowanie dodatkowego projektu. Jego cel zostanie ustalony indywidualnie.

== Wyniki kartkówek ==

<div style="text-align:center; clear:both;">

{| class="wikitable" style="text-align:center;"
! colspan="11" style="text-align: center;" |
|-
!Numer indeksu
!Zadanie 1
!Zadanie 2
!Zadanie 3
!Zadanie 4
!Zadanie 5
!Zadanie 6
!Zadanie 7
!Zadanie 8
!Zadanie 9
!Zadanie 10
|-
| 317905
| 0,33
| 0,00
| 0,33
| 0,33
| 0,66
| 0,33
| 1,00
| 0,66
| 1,00
| 1,00
|-
| 335252
| 0,00
| 0,00
| 0,00
| 0,00
| 0,33
| 0,33
| 1,00
| 0,33
| 1,00
| 1,33
|-
| 322929
| 0,33
| 0,66
| 0,66
| 0,33
| 1,33
| 0,33
| 1,00
| 0,66
| 1,00
| 1,33
|-
| 306766
| 0,00
| 0,00
| 0,00
| 0,33
| 0,66
| 0,33
| 1,00
| 0,66
| 0,66
| 1,00
|-
| 264493
| 0,66
| 0,00
| 0,33
| 0,00
| 1,00
| 0,66
| 1,00
| 1,00
| 0,66
| 1,00
|-
| 320367
| 1,00
| 0,00
| 0,33
| 0,33
| 0,00
| 0,00
| 1,00
| 0,66
| 1,00
| 1,00
|-
| 334134
| 1,00
| 1,00
| 0,33
| 0,66
| 0,33
| 0,33
| 1,00
| 0,00
| 0,66
| 1,33
|-
| 335240
| 0,00
| 1,00
| 0,66
| 1,00
| 0,66
| 0,00
| 1,00
| 1,00
| 0,66
| 1,00
|-
| 290829
| 1,00
| 0,66
| 0,00
| 0,00
| 0,66
| 0,00
| 1,00
| 0,66
| 0,33
| 0,66
|-
|}
</div>

<div style="margin:10px 10px 10px 10px; padding:10px;">
{| class="wikitable" style="text-align:left;"
|-
!#
!Zagadnienia sprawdzane na kartkówkach
|-
| 1
| Manipulacja wierszami i kolumnami macierzy (zmiana kolejności elementów).
|-
| 2
| Instrukcje warunkowe oraz rekurencja (silnia).
|-
| 3
| Manipulacja łańcuchami znaków oraz tworzenie prostej struktury (konwersja zapisu czasu).
|-
| 4
| Zaawansowane przekształcenia macierzowe (macierz zawierająca elementy większe od średniej).
|-
| 5
| Proste zagadnienia numeryczne (losowanie liczb spełniających warunek, przeszukiwanie macierzy).
|-
| 6
| Wczytywanie danych z plików tekstowych do struktur.
|-
| 7
| Operacje macierzowe (elementy zawierające się w dwóch macierzach).
|-
| 8
| Wczytywanie danych z plików tekstowych do struktur (ponownie).
|-
| 9
| ???
|-
| 10
| Operacje macierzowe (iloczyn zewnętrzny).
|-
|}
</div>

== Wyniki prezentacji==

<div style="text-align:center; clear:both">

{| class="wikitable" style="text-align:center; float: left;"
! colspan="11" style="text-align: center;" |
|-
!Numer indeksu
!Prezentacja 1
!Prezentacja 2
!Projekt
|-
| 317905
| 1,00
|
|-
| 335252
| 1,00
|
|-
| 322929
| 1,0
|
|-
| 306766
| 1,00
|
|-
| 264493
| 1,00
|
|-
| 320367
| 1,00
|
|-
| 334134
| 1,00
|
|-
| 335240
| 1,00
|
|-
| 290829
| 0,50
|
|-
|}
</div>

Laboratorium EEG/Info 2

2015-06-07T13:10:09Z

SuperAdmin: /* Wyniki kartkówek */

__NOTOC__
=Laboratorium EEG - grupa 2 - ćwiczenia=
<br/>

== Ogłoszenia bieżące ==

We wtorek (09.06.15.) studenci będą mieli możliwość poprawienia jednej kartkówki.

Terminy prezentacji wyników pracy:
* 15.05.2015, sala 4.59, w godzinach 12:00 - 15:00,
* 12.06.2015, sala 4.59, w godzinach 09:00 - 12:00.

Propozycje ocen:
* 16.06.2015, sala 4.59, godzina 12:00.
<br/>

== Termin zajęć ==
Zajęcia odbywają się dwa razy w tygodniu, we wtorki w godzinach 12:15 - 14:45 oraz w piątki, w godzinach 09:30 - 12:00. Sala <b>4.59</b>, ul. Pasteura 5 - <b>"nowy"</b> budynek dydaktyczny Wydziału Fizyki UW.

== Kontakt z prowadzącym ==
Zajęcia prowadzi mgr Tomasz Spustek, pokój 4.66, ul. Pasteura 5 - nowy, główny budynek dydaktyczny Wydziału Fizyki UW

Preferowany sposób kontaktu - e-mail: tspus@fuw.edu.pl

Możliwe jest zorganizowanie konsultacji z prowadzącym ćwiczenia, po uprzednim kontakcie e-mailowym.

== Warunki zaliczenia ==
Ćwiczenia zostaną zaliczone osobom, które spełnią dwa niezwykle proste warunki:
* Posiadanie maksymalnie dwóch nieusprawiedliwionych nieobecności na ćwiczeniach,
* Posiadanie sumy punktów z dwóch prezentacji oraz ze wszystkich kartkówek nie mniejszej niż połowa punktów możliwych do zdobycia,
* Punkty będą przyznawane w sposób uwzględniający nie tylko stan wiedzy, ale także czynione postępy.

* Osobom spełniającym powyższe warunki zaproponowana zostanie pozytywna ocena końcowa z Laboratorium.
* Osoby nie mające tego szczęścia, otrzymają ocenę negatywną.

* Możliwe będzie poprawienie zaproponowanej oceny na wyższą poprzez zrealizowanie dodatkowego projektu. Jego cel zostanie ustalony indywidualnie.

== Wyniki kartkówek ==

<div style="text-align:center; clear:both;">

{| class="wikitable" style="text-align:center;"
! colspan="11" style="text-align: center;" |
|-
!Numer indeksu
!Zadanie 1
!Zadanie 2
!Zadanie 3
!Zadanie 4
!Zadanie 5
!Zadanie 6
!Zadanie 7
!Zadanie 8
!Zadanie 9
!Zadanie 10
|-
| 317905
| 0,33
| 0,00
| 0,33
| 0,33
| 0,66
| 0,33
| 1,00
| 0,66
| 1,00
| 1,00
|-
| 335252
| 0,00
| 0,00
| 0,00
| 0,00
| 0,33
| 0,33
| 1,00
| 0,33
| 1,00
| 1,33
|-
| 322929
| 0,33
| 0,66
| 0,66
| 0,33
| 1,33
| 0,33
| 1,00
| 0,66
| 1,00
| 1,33
|-
| 306766
| 0,00
| 0,00
| 0,00
| 0,33
| 0,66
| 0,33
| 1,00
| 0,66
| 0,66
| 1,00
|-
| 264493
| 0,66
| 0,00
| 0,33
| 0,00
| 1,00
| 0,66
| 1,00
| 1,00
| 0,66
| 1,00
|-
| 320367
| 1,00
| 0,00
| 0,33
| 0,33
| 0,00
| 0,00
| 1,00
| 0,66
| 1,00
| 1,00
|-
| 334134
| 1,00
| 1,00
| 0,33
| 0,66
| 0,33
| 0,33
| 1,00
| 0,00
| 0,66
| 1,33
|-
| 335240
| 0,00
| 1,00
| 0,66
| 1,00
| 0,66
| 0,00
| 1,00
| 1,00
| 0,66
| 1,00
|-
| 290829
| 1,00
| 0,66
| 0,00
| 0,00
| 0,66
| 0,00
| 1,00
| 0,66
| 0,33
| 0,66
|-
|}
</div>

<div style="margin:10px 10px 10px 10px; padding:10px;">
{| class="wikitable" style="text-align:center;"
! colspan="2" style="text-align: center;" |
|-
!#
!Zagadnienia sprawdzane na kartkówkach
|-
| 1
| Manipulacja wierszami i kolumnami macierzy (zmiana kolejności elementów).
|-
| 2
| Instrukcje warunkowe oraz rekurencja (silnia).
|-
| 3
| Manipulacja łańcuchami znaków oraz tworzenie prostej struktury (konwersja zapisu czasu).
|-
| 4
| Zaawansowane przekształcenia macierzowe (macierz zawierająca elementy większe od średniej).
|-
| 5
| Proste zagadnienia numeryczne (losowanie liczb spełniających warunek, przeszukiwanie macierzy).
|-
| 6
| Wczytywanie danych z plików tekstowych do struktur.
|-
| 7
| Operacje macierzowe (elementy zawierające się w dwóch macierzach).
|-
| 8
| Wczytywanie danych z plików tekstowych do struktur (ponownie).
|-
| 9
| ???
|-
| 10
| Operacje macierzowe (iloczyn zewnętrzny).
|-
|}
</div>

== Wyniki prezentacji==

<div style="text-align:center; clear:both">

{| class="wikitable" style="text-align:center; float: left;"
! colspan="11" style="text-align: center;" |
|-
!Numer indeksu
!Prezentacja 1
!Prezentacja 2
!Projekt
|-
| 317905
| 1,00
|
|-
| 335252
| 1,00
|
|-
| 322929
| 1,0
|
|-
| 306766
| 1,00
|
|-
| 264493
| 1,00
|
|-
| 320367
| 1,00
|
|-
| 334134
| 1,00
|
|-
| 335240
| 1,00
|
|-
| 290829
| 0,50
|
|-
|}
</div>

Laboratorium EEG/Info 2

2015-06-07T13:09:52Z

SuperAdmin: /* Wyniki kartkówek */

__NOTOC__
=Laboratorium EEG - grupa 2 - ćwiczenia=
<br/>

== Ogłoszenia bieżące ==

We wtorek (09.06.15.) studenci będą mieli możliwość poprawienia jednej kartkówki.

Terminy prezentacji wyników pracy:
* 15.05.2015, sala 4.59, w godzinach 12:00 - 15:00,
* 12.06.2015, sala 4.59, w godzinach 09:00 - 12:00.

Propozycje ocen:
* 16.06.2015, sala 4.59, godzina 12:00.
<br/>

== Termin zajęć ==
Zajęcia odbywają się dwa razy w tygodniu, we wtorki w godzinach 12:15 - 14:45 oraz w piątki, w godzinach 09:30 - 12:00. Sala <b>4.59</b>, ul. Pasteura 5 - <b>"nowy"</b> budynek dydaktyczny Wydziału Fizyki UW.

== Kontakt z prowadzącym ==
Zajęcia prowadzi mgr Tomasz Spustek, pokój 4.66, ul. Pasteura 5 - nowy, główny budynek dydaktyczny Wydziału Fizyki UW

Preferowany sposób kontaktu - e-mail: tspus@fuw.edu.pl

Możliwe jest zorganizowanie konsultacji z prowadzącym ćwiczenia, po uprzednim kontakcie e-mailowym.

== Warunki zaliczenia ==
Ćwiczenia zostaną zaliczone osobom, które spełnią dwa niezwykle proste warunki:
* Posiadanie maksymalnie dwóch nieusprawiedliwionych nieobecności na ćwiczeniach,
* Posiadanie sumy punktów z dwóch prezentacji oraz ze wszystkich kartkówek nie mniejszej niż połowa punktów możliwych do zdobycia,
* Punkty będą przyznawane w sposób uwzględniający nie tylko stan wiedzy, ale także czynione postępy.

* Osobom spełniającym powyższe warunki zaproponowana zostanie pozytywna ocena końcowa z Laboratorium.
* Osoby nie mające tego szczęścia, otrzymają ocenę negatywną.

* Możliwe będzie poprawienie zaproponowanej oceny na wyższą poprzez zrealizowanie dodatkowego projektu. Jego cel zostanie ustalony indywidualnie.

== Wyniki kartkówek ==

<div style="text-align:center; clear:right; float:left">

{| class="wikitable" style="text-align:center;"
! colspan="11" style="text-align: center;" |
|-
!Numer indeksu
!Zadanie 1
!Zadanie 2
!Zadanie 3
!Zadanie 4
!Zadanie 5
!Zadanie 6
!Zadanie 7
!Zadanie 8
!Zadanie 9
!Zadanie 10
|-
| 317905
| 0,33
| 0,00
| 0,33
| 0,33
| 0,66
| 0,33
| 1,00
| 0,66
| 1,00
| 1,00
|-
| 335252
| 0,00
| 0,00
| 0,00
| 0,00
| 0,33
| 0,33
| 1,00
| 0,33
| 1,00
| 1,33
|-
| 322929
| 0,33
| 0,66
| 0,66
| 0,33
| 1,33
| 0,33
| 1,00
| 0,66
| 1,00
| 1,33
|-
| 306766
| 0,00
| 0,00
| 0,00
| 0,33
| 0,66
| 0,33
| 1,00
| 0,66
| 0,66
| 1,00
|-
| 264493
| 0,66
| 0,00
| 0,33
| 0,00
| 1,00
| 0,66
| 1,00
| 1,00
| 0,66
| 1,00
|-
| 320367
| 1,00
| 0,00
| 0,33
| 0,33
| 0,00
| 0,00
| 1,00
| 0,66
| 1,00
| 1,00
|-
| 334134
| 1,00
| 1,00
| 0,33
| 0,66
| 0,33
| 0,33
| 1,00
| 0,00
| 0,66
| 1,33
|-
| 335240
| 0,00
| 1,00
| 0,66
| 1,00
| 0,66
| 0,00
| 1,00
| 1,00
| 0,66
| 1,00
|-
| 290829
| 1,00
| 0,66
| 0,00
| 0,00
| 0,66
| 0,00
| 1,00
| 0,66
| 0,33
| 0,66
|-
|}
</div>

<div style="margin:10px 10px 10px 10px; padding:10px;">
{| class="wikitable" style="text-align:center;"
! colspan="2" style="text-align: center;" |
|-
!#
!Zagadnienia sprawdzane na kartkówkach
|-
| 1
| Manipulacja wierszami i kolumnami macierzy (zmiana kolejności elementów).
|-
| 2
| Instrukcje warunkowe oraz rekurencja (silnia).
|-
| 3
| Manipulacja łańcuchami znaków oraz tworzenie prostej struktury (konwersja zapisu czasu).
|-
| 4
| Zaawansowane przekształcenia macierzowe (macierz zawierająca elementy większe od średniej).
|-
| 5
| Proste zagadnienia numeryczne (losowanie liczb spełniających warunek, przeszukiwanie macierzy).
|-
| 6
| Wczytywanie danych z plików tekstowych do struktur.
|-
| 7
| Operacje macierzowe (elementy zawierające się w dwóch macierzach).
|-
| 8
| Wczytywanie danych z plików tekstowych do struktur (ponownie).
|-
| 9
| ???
|-
| 10
| Operacje macierzowe (iloczyn zewnętrzny).
|-
|}
</div>

== Wyniki prezentacji==

<div style="text-align:center; clear:both">

{| class="wikitable" style="text-align:center; float: left;"
! colspan="11" style="text-align: center;" |
|-
!Numer indeksu
!Prezentacja 1
!Prezentacja 2
!Projekt
|-
| 317905
| 1,00
|
|-
| 335252
| 1,00
|
|-
| 322929
| 1,0
|
|-
| 306766
| 1,00
|
|-
| 264493
| 1,00
|
|-
| 320367
| 1,00
|
|-
| 334134
| 1,00
|
|-
| 335240
| 1,00
|
|-
| 290829
| 0,50
|
|-
|}
</div>