Uczenie maszynowe i sztuczne sieci neuronowe/Ćwiczenia 9 - Historia wersji

Jarekz o 12:14, 29 mar 2016

2016-03-29T12:14:39Z

Jarekz: /* Naiwny klasyfikator Bayesa */

2016-03-29T12:13:55Z

Naiwny klasyfikator Bayesa

Jarekz: /* Klasyfikacja tekstów */

2015-12-30T18:05:09Z

Klasyfikacja tekstów

Jarekz: /* Klasyfikacja tekstów */

2015-12-30T16:50:52Z

Klasyfikacja tekstów

Jarekz: /* Klasyfikacja tekstów */

2015-12-30T16:13:06Z

Klasyfikacja tekstów

Jarekz: /* Klasyfikacja tekstów */

2015-12-30T15:08:32Z

Klasyfikacja tekstów

Jarekz: /* Naiwny kalsyfikator Bayesa */

2015-12-30T15:03:45Z

Naiwny kalsyfikator Bayesa

Jarekz: /* Naiwny kalsyfikator Bayesa */

2015-12-30T15:02:48Z

Naiwny kalsyfikator Bayesa

Jarekz: /* Naiwny kalsyfikator Bayesa */

2015-12-30T14:54:15Z

Naiwny kalsyfikator Bayesa

Jarekz: Utworzono nową stronę "=Naiwny kalsyfikator Bayesa= Z klasyfikatorem tym zapoznamy się próbując klasyfikować gatunki irysów. Jest to klasyczny już problem, często wykorzystywany przy po..."

2015-12-30T13:49:57Z

Utworzono nową stronę "=Naiwny kalsyfikator Bayesa= Z klasyfikatorem tym zapoznamy się próbując klasyfikować gatunki irysów. Jest to klasyczny już problem, często wykorzystywany przy po..."

Nowa strona

=Naiwny kalsyfikator Bayesa=
Z klasyfikatorem tym zapoznamy się próbując klasyfikować gatunki irysów. Jest to klasyczny już problem, często wykorzystywany przy porównywaniu różnych technik klasyfikacji. Więcej o pochodzeniu tych danych i problemie można przeczytać tu [https://en.wikipedia.org/wiki/Iris_flower_data_set]

Kod napiszemy w oparciu o implementacje klasyfikatora Bayesa z biblioteki <tt>scikit-learn</tt> [http://scikit-learn.org/stable/about.html#citing-scikit-learn]

Zaczerpniemy stamtąd:
* obiekt klasyfikatora <tt>GaussianNB</tt>
* zbiór danych
* funkcje do oceny jakości

Zatem importujemy:

<source lang = python>
# -*- coding: utf-8 -*-
from sklearn import datasets
from sklearn.naive_bayes import GaussianNB
import matplotlib.pyplot as plt
import numpy as np
from sklearn.metrics import accuracy_score, classification_report, confusion_matrix
</source>

Przyda nam się potem funkcja rysująca dwuwymiarowe rozkłady Gaussa

<source lang = python>
def plot_gauss(mu,sigma,xx,yy):
''' Funkcja rysująca kontury funkcji gęstości prawdopodobieństwa
dwuwymiarowego rozkładu Gaussa'''

XX = np.c_[xx.ravel(), yy.ravel()]
R = XX - mu
invS = np.linalg.inv(np.diag(sigma))
z = np.zeros(len(R))
for i in range(len(R)):
z[i] = np.exp(-0.5*np.dot( R[i,:].T,np.dot(invS,R[i,:])))
z.shape = xx.shape
plt.contourf(xx,yy,z,alpha = 0.5)
plt.plot(mu[0],mu[1],'o')
</source>

Zapoznajemy się z danymi i wybieramy ich podzbiór do dalszej zabawy:
<source lang = python>

#ładujemy dane
iris = datasets.load_iris() #https://en.wikipedia.org/wiki/Iris_flower_data_set

# zapoznajemy się z tymi danymi
print iris['DESCR']
# rysujemy zależniści między cechami
# przygotowujemy własną mapę kolorów
color_map = {-1: (1, 1, 1), 0: (0, 0, .9), 1: (1, 0, 0), 2: (.5, .5, 0)}
# wytwarzamy wektor, który każdemu wierszowi w tabeli danych przypisze kolor odpowiadający gatunkowi irysa
colors = [color_map[y] for y in iris.target]
plt.figure(1)
plt.title(u'rozkłady cech w klasach')
for i, name in enumerate(iris['feature_names']):
for j, name in enumerate(iris['feature_names']):
plt.subplot(4,4,i*4+j+1)
plt.scatter(iris.data[:,i],iris.data[:,j],c = colors)

# wybieramy cechy 2 i 3 i normalizujemy je
X = np.zeros((iris.data.shape[0],2))
X[:,0] = (iris.data[:,2] - np.mean(iris.data[:,2]))/np.std(iris.data[:,2])
X[:,1] = (iris.data[:,3] - np.mean(iris.data[:,3]))/np.std(iris.data[:,3])
plt.figure(2)
plt.scatter(X[:,0],X[:,1],c = colors)
plt.title('Wybrane cechy po normalizacji')
plt.show()

</source>

Poniżej znajduje się kod służący klasyfikacji. Proszę go uzupełnić zgodnie z komentarzami i dokumentacją [http://scikit-learn.org/stable/user_guide.html]

<source lang = python>

#########################################################

gnb =... # stwórz instancję klasyfikatora Gaussian Naive Bayes
... # dofituj parametry klasyfikatora

# przedstaw rozkłady Gaussa, które zostały dopasowane do danych, skorzystaj z funkcji plot_gauss()
# średnie tych rozkładów są w gnb.theta_
# standardowe odchylenia są w gnb.sigma_
# przygotowanie siatki na której będą rysowane kontury Gaussów
x_min, x_max = -3,3
y_min, y_max = -3,3
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.1),
np.arange(y_min, y_max, 0.1))
plt.figure(4)
for i in range(3):
plot_gauss(...,...,xx,yy)
# dorzućmy do rysunku jeszcze oryginalne dane
plt.scatter(...,...,c = colors)
plt.title(u'Rozkłady Gaussa dopasowane do danych')
plt.show()

# rysowanie wyników klasyfikacji
# przekształcamy siatkę w macierz dwukolumnową - kolumny odpowiadają cechom
XX = np.c_[xx.ravel(), yy.ravel()]
Z = gnb.predict(XX)

plt.figure(3)
Z = Z.reshape(xx.shape)
plt.contourf(xx, yy, Z, cmap=plt.cm.Paired)
plt.scatter(X[:,0],X[:,1],c = colors)
plt.title(u'Podział przestrzeni cech na klasy')
plt.show()

# http://scikit-learn.org/stable/modules/model_evaluation.html
print("classification report:")
print(classification_report(iris.target, y_pred, target_names=iris['target_names']))

print("confusion matrix:")
print(confusion_matrix(iris.target, y_pred))
</source>

@@ Linia 1: / Linia 1: @@
-[Uczenie_maszynowe_i_sztuczne_sieci_neuronowe_cw]/Bayes
+[[Uczenie_maszynowe_i_sztuczne_sieci_neuronowe_cw]]/Bayes
 =Naiwny klasyfikator Bayesa=
 Z klasyfikatorem tym zapoznamy się próbując klasyfikować gatunki irysów. Jest to klasyczny już problem, często wykorzystywany przy porównywaniu różnych technik klasyfikacji. Więcej o pochodzeniu tych danych i problemie można przeczytać tu [https://en.wikipedia.org/wiki/Iris_flower_data_set]
@@ Linia 240: / Linia 240: @@
 </source>

← poprzednia wersja		Wersja z 12:13, 29 mar 2016
Linia 1:		Linia 1:
		+	[Uczenie_maszynowe_i_sztuczne_sieci_neuronowe_cw]/Bayes
	=Naiwny klasyfikator Bayesa=		=Naiwny klasyfikator Bayesa=
	Z klasyfikatorem tym zapoznamy się próbując klasyfikować gatunki irysów. Jest to klasyczny już problem, często wykorzystywany przy porównywaniu różnych technik klasyfikacji. Więcej o pochodzeniu tych danych i problemie można przeczytać tu [https://en.wikipedia.org/wiki/Iris_flower_data_set]		Z klasyfikatorem tym zapoznamy się próbując klasyfikować gatunki irysów. Jest to klasyczny już problem, często wykorzystywany przy porównywaniu różnych technik klasyfikacji. Więcej o pochodzeniu tych danych i problemie można przeczytać tu [https://en.wikipedia.org/wiki/Iris_flower_data_set]

@@ Linia 122: / Linia 122: @@
 =Klasyfikacja tekstów=
-Ten przykład demonstruje jak można poradzić sobie z klasyfiakcją tematyczną dokumentów stosując technikę "worek ze słowami". Dane pochodzą z 20 list dyskusyjnych.
+Ten przykład demonstruje jak można poradzić sobie z klasyfikacją tematyczną dokumentów stosując technikę "worek ze słowami".
 <source lang = python>

@@ Linia 122: / Linia 122: @@
 =Klasyfikacja tekstów=
-Ten przykład demonstruje jak można poradzić sobie z klasyfiakcją tematyczną dokumentów stosując technikę "worek ze słowami".Dane pochodzą z 20 list dyskusyjnych.
+Ten przykład demonstruje jak można poradzić sobie z klasyfiakcją tematyczną dokumentów stosując technikę "worek ze słowami". Dane pochodzą z 20 list dyskusyjnych.
 <source lang = python>
 # -*- coding: utf-8 -*-
@@ Linia 141: / Linia 142: @@
 from sklearn.metrics import accuracy_score, classification_report, confusion_matrix
 # kategorie dla których zbudujemy klasyfikator
 categories = [
@@ Linia 164: / Linia 166: @@
 # zobaczmy jak wyglądają przykładowe dane
 id =57
-print data_train.data[id]
+print data_train.data[id]          # lista wiadomości
-print data_train.target[id]
+print data_train.target[id]       # lista kodów tematycznych
-print categories[data_train.target[id]]
+print categories[data_train.target[id]] # nazwy kategorii odpowiadających kodom
 # upraszczamy nazewnictwo
 y_train, y_test = data_train.target, data_test.target
 # przekodowujemy wiadomości na wekotry cech
 # korzystamy z funkcji: sklearn.feature_extraction.text.TfidfVectorizer
 # http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html#sklearn.feature_extraction.text.TfidfVectorizer
-vectorizer = TfidfVectorizer(sublinear_tf=True, max_df=0.75, stop_words='english')
-X_train = vectorizer.fit_transform(data_train.data)
+vectorizer = ....# stwórz instancje obiektu TfidfVectorizer
 print("Dane treningowe: n_samples: %d, n_features: %d" % X_train.shape)
-print
+# Dane uczące są przechowywane w macierzy rzadkiej (sparse matrix)
-X_test = vectorizer.transform(data_test.data)
+X_test = ... # wektoryzujemy też dane testowe
 print("Dane testowe: n_samples: %d, n_features: %d" % X_test.shape)
 print
@@ Linia 187: / Linia 195: @@
 feature_names = np.asarray(feature_names)
-# tworzymy instancję i uczymy klasyfikator
+# tworzymy instancję i uczymy klasyfikator MultinomialNB
-clf = MultinomialNB(alpha=.01)
+clf = ...
-clf.fit(X_train, y_train)
+clf....
-# Benchmark
+# wypiszemy teraz po 10 najbardziej znaczących słów w każdej klasie
 print("top 10 keywords per class:")
 for i, category in enumerate(categories):
@@ Linia 201: / Linia 218: @@
 print
 </source>

@@ Linia 122: / Linia 122: @@
 =Klasyfikacja tekstów=
-Ten przykład demonstruje jak można poradzić sobie z klasyfiakcją tematyczną dokumentów stosując technikę "worek ze słowami"
+Ten przykład demonstruje jak można poradzić sobie z klasyfiakcją tematyczną dokumentów stosując technikę "worek ze słowami".Dane pochodzą z 20 list dyskusyjnych.
-'''This is an example showing how scikit-learn can be used to classify documents by topics using a bag-of-words approach. This example uses a scipy.sparse matrix to store the features and demonstrates various classifiers that can efficiently handle sparse matrices.
+<source lang = python>
 # -*- coding: utf-8 -*-
 # Przykład oparty na kodzie z:
@@ Linia 208: / Linia 206: @@
 print("confusion matrix:")
 print(confusion_matrix(y_test, pred))

← poprzednia wersja		Wersja z 15:08, 30 gru 2015
Linia 122:		Linia 122:

	=Klasyfikacja tekstów=		=Klasyfikacja tekstów=
		+	Ten przykład demonstruje jak można poradzić sobie z klasyfiakcją tematyczną dokumentów stosując technikę "worek ze słowami"
		+	'''This is an example showing how scikit-learn can be used to classify documents by topics using a bag-of-words approach. This example uses a scipy.sparse matrix to store the features and demonstrates various classifiers that can efficiently handle sparse matrices.
		+	The dataset used in this example is the 20 newsgroups dataset. It will be automatically downloaded, then cached.'''
		+
		+	# -- coding: utf-8 --
		+	# Przykład oparty na kodzie z:
		+	# http://scikit-learn.org/stable/auto_examples/text/document_classification_20newsgroups.html
		+	# Authors: Peter Prettenhofer <peter.prettenhofer@gmail.com>
		+	# Olivier Grisel <olivier.grisel@ensta.org>
		+	# Mathieu Blondel <mathieu@mblondel.org>
		+	# Lars Buitinck <L.J.Buitinck@uva.nl>
		+	# License: BSD 3 clause
		+	# adaptacja: Jarosław Żygierewicz
		+
		+
		+	import numpy as np
		+	from sklearn.datasets import fetch_20newsgroups
		+	from sklearn.feature_extraction.text import TfidfVectorizer
		+	from sklearn.naive_bayes import MultinomialNB
		+	from sklearn.metrics import accuracy_score, classification_report, confusion_matrix
		+
		+	# kategorie dla których zbudujemy klasyfikator
		+	categories = [
		+	'alt.atheism',
		+	'talk.religion.misc',
		+	'comp.graphics',
		+	'sci.space' ]
		+
		+
		+	# Ładujemy dane z newsgroups dataset dla wybranch kategorii
		+	# korzystamy z funkcji sklearn.datasets.fetch_20newsgroups
		+	# http://scikit-learn.org/stable/modules/generated/sklearn.datasets.fetch_20newsgroups.html#sklearn.datasets.fetch_20newsgroups
		+	data_train = fetch_20newsgroups(subset='train', categories=categories,
		+	shuffle=True, random_state=42,
		+	remove=('headers', 'footers', 'quotes'))
		+
		+	data_test = fetch_20newsgroups(subset='test', categories=categories,
		+	shuffle=True, random_state=42,
		+	remove=('headers', 'footers', 'quotes'))
		+
		+	categories = data_train.target_names
		+
		+	# zobaczmy jak wyglądają przykładowe dane
		+	id =57
		+	print data_train.data[id]
		+	print data_train.target[id]
		+	print categories[data_train.target[id]]
		+
		+	# upraszczamy nazewnictwo
		+	y_train, y_test = data_train.target, data_test.target
		+
		+	# przekodowujemy wiadomości na wekotry cech
		+	# korzystamy z funkcji: sklearn.feature_extraction.text.TfidfVectorizer
		+	# http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html#sklearn.feature_extraction.text.TfidfVectorizer
		+	vectorizer = TfidfVectorizer(sublinear_tf=True, max_df=0.75, stop_words='english')
		+	X_train = vectorizer.fit_transform(data_train.data)
		+	print("Dane treningowe: n_samples: %d, n_features: %d" % X_train.shape)
		+	print
		+
		+	X_test = vectorizer.transform(data_test.data)
		+	print("Dane testowe: n_samples: %d, n_features: %d" % X_test.shape)
		+	print
		+
		+	# odwrotne mapowanie z cech na słowa
		+	feature_names = vectorizer.get_feature_names()
		+	feature_names = np.asarray(feature_names)
		+
		+	# tworzymy instancję i uczymy klasyfikator
		+	clf = MultinomialNB(alpha=.01)
		+	clf.fit(X_train, y_train)
		+
		+	# Benchmark
		+	pred = clf.predict(X_test)
		+	score = accuracy_score(y_test, pred)
		+	print("accuracy: %0.3f" % score)
		+	print("top 10 keywords per class:")
		+	for i, category in enumerate(categories):
		+	top10 = np.argsort(clf.coef_[i])[-10:]
		+	print("%s: %s" % (category, " ".join(feature_names[top10])))
		+	print
		+
		+	print("classification report:")
		+	print(classification_report(y_test, pred, target_names=categories))
		+
		+	print("confusion matrix:")
		+	print(confusion_matrix(y_test, pred))

@@ Linia 112: / Linia 112: @@
 # Teraz zajmiemy się ewaluacją dopasowanego modelu. Skorzystamy z
 # http://scikit-learn.org/stable/modules/model_evaluation.html
 print("classification report:")
 print(classification_report...)

@@ Linia 96: / Linia 96: @@
 # rysowanie wyników klasyfikacji
 # przekształcamy siatkę w macierz dwukolumnową - kolumny odpowiadają cechom
 XX = np.c_[xx.ravel(), yy.ravel()]
-Z = gnb.predict(XX)
+# dla każdego punktu siatki oblicz predykcję klasyfikatora
 plt.figure(3)
 Z = Z.reshape(xx.shape)
-plt.contourf(xx, yy, Z, cmap=plt.cm.Paired)
+plt.contourf(..., ..., ..., cmap=plt.cm.Paired)
-plt.scatter(X[:,0],X[:,1],c = colors)
+# i dorzucamy oryginalne punkty
 plt.title(u'Podział przestrzeni cech na klasy')
 plt.show()
+# Teraz zajmiemy się ewaluacją dopasowanego modelu. Skorzystamy z
 # http://scikit-learn.org/stable/modules/model_evaluation.html
 print("classification report:")
-print(classification_report(iris.target, y_pred, target_names=iris['target_names']))
+print(classification_report...)
 print("confusion matrix:")
-print(confusion_matrix(iris.target, y_pred))
+print(confusion_matrix...)
 </source>