sklearn:クラスタリング

クラスタリング

正解データが欠落してる状態を想像してください。

データたちをクラスター（かたまり）として自動的に分類していく作業です。

正解データがないので「教師なし学習」に分類されます。

サンプルデータを用意します

# k-means クラスタリング
from sklearn.datasets import load_iris

iris = load_iris()
iris.keys()

#dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# １００データ ２次元（１列目と３列目）を使用する
X=iris.data[:100,[0,2]]

# 可視化
import matplotlib.pyplot as plt
fig, ax = plt.subplots()
ax.scatter(X[:,0], X[:,1])

# k-means クラスタリング

from sklearn.datasets import load_iris

iris = load_iris()

iris.keys()

#dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# １００データ２次元（１列目と３列目）を使用する

X=iris.data[:100,[0,2]]

# 可視化

import matplotlib.pyplot as plt

fig, ax = plt.subplots()

ax.scatter(X[:,0], X[:,1])

k-means クラスタリングをします

# クラスタリングする
from sklearn.cluster import KMeans

# K-means のインスタンスを作成する クラスタ数＝３
km = KMeans(n_clusters=3, init='random', n_init=10, random_state=0)

#訓練と予測をする
y_km = km.fit_predict(X)
y_km
'''
array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 2, 2, 2, 1, 2, 1, 2, 1, 2, 1, 1, 1, 1, 2, 1, 2,
       1, 1, 2, 1, 2, 1, 2, 2, 2, 2, 2, 2, 2, 1, 1, 1, 1, 2, 1, 2, 2, 2,
       1, 1, 1, 2, 1, 1, 1, 1, 1, 2, 1, 1])
'''

# クラスタリングする

from sklearn.cluster import KMeans

# K-means のインスタンスを作成するクラスタ数＝３

km = KMeans(n_clusters=3, init='random', n_init=10, random_state=0)

#訓練と予測をする

y_km = km.fit_predict(X)

y_km

'''

array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,

0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,

0, 0, 0, 0, 0, 0, 2, 2, 2, 1, 2, 1, 2, 1, 2, 1, 1, 1, 1, 2, 1, 2,

1, 1, 2, 1, 2, 1, 2, 2, 2, 2, 2, 2, 2, 1, 1, 1, 1, 2, 1, 2, 2, 2,

1, 1, 1, 2, 1, 1, 1, 1, 1, 2, 1, 1])

'''

プロットします

というふうにやります。

sklearn:ハイパーパラメータの最適化

hyper_params_optimise

ハイパーパラメータを学習と評価を自動的に繰り返すことによって、最適値にする方法があります

ハイパーパラメータとは

ユーザーが手動で設定するパラメータのこと。（訓練によって決まらない）
決定木の層の深さ、ランダムフォレストの決定木カバレッジなど。

最適化の方法

グリッドサーチ：ハイパーパラメーターを自動で色々振った機械学習モデルを作成するします。（ランダムサーチというやり方もありますがマイナーなので割愛）

グリッドサーチと交差検証を行うのが一般的です。

ではやってみましょう

# 決定木のハイパーパラメータである層深さの最適化
from sklearn.datasets import load_iris
from sklearn.model_selection import GridSearchCV # グリッドサーチ
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split

# Irisデータをセットする
iris = load_iris()
iris.keys() # dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

X = iris.data
y = iris.target

# 訓練用データ　と　検証用データに分割する
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# 決定木モデルを作成す
tree = DecisionTreeClassifier()
'''
DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=None,
            max_features=None, max_leaf_nodes=None,
            min_impurity_decrease=0.0, min_impurity_split=None,
            min_samples_leaf=1, min_samples_split=2,
            min_weight_fraction_leaf=0.0, presort=False, random_state=None,
            splitter='best')
'''
# グリッドサーチ用のハイパーパラメータのリストをディクショナリで定義する
param_grid = {'max_depth': [3,4,5]}

# 層化 10分割　交差検証を行う 
#（引数としてインスタンス化された決定木モデルをここで入れる）
cv = GridSearchCV(tree, param_grid=param_grid, cv=10)
cv.fit(X_train, y_train)

'''
GridSearchCV(cv=10, error_score='raise-deprecating',
       estimator=DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=None,
            max_features=None, max_leaf_nodes=None,
            min_impurity_decrease=0.0, min_impurity_split=None,
            min_samples_leaf=1, min_samples_split=2,
            min_weight_fraction_leaf=0.0, presort=False, random_state=None,
            splitter='best'),
       fit_params=None, iid='warn', n_jobs=None,
       param_grid={'max_depth': [3, 4, 5]}, pre_dispatch='2*n_jobs',
       refit=True, return_train_score='warn', scoring=None, verbose=0)
'''
# 最適なパラメータを出力する
cv.best_params_ # {'max_depth': 3}
'''
param_gridを層深さに指定したので、best_prams_も層深さで出力される
'''

# 最適なモデルを確認する 
cv.best_estimator_ 
'''
DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=5,
            max_features=None, max_leaf_nodes=None,
            min_impurity_decrease=0.0, min_impurity_split=None,
            min_samples_leaf=1, min_samples_split=2,
            min_weight_fraction_leaf=0.0, presort=False, random_state=None,
            splitter='best')
'''

# 最適なモデルで予測する
y_predicted = cv.predict(X_test)
y_predicted
'''
array([2, 1, 0, 2, 0, 2, 0, 1, 1, 1, 2, 1, 1, 1, 1, 0, 1, 1, 0, 0, 2, 1,
       0, 0, 2, 0, 0, 1, 1, 0, 2, 1, 0, 2, 2, 1, 0, 2, 1, 1, 2, 0, 2, 0,
       0])
'''
y_true = y_predicted == y_test
y_true
'''
array([ True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True, False,  True,  True,  True,  True,  True,  True,  True])
'''

# 決定木のハイパーパラメータである層深さの最適化

from sklearn.datasets import load_iris

from sklearn.model_selection import GridSearchCV # グリッドサーチ

from sklearn.tree import DecisionTreeClassifier

from sklearn.model_selection import train_test_split

# Irisデータをセットする

iris = load_iris()

iris.keys() # dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

X = iris.data

y = iris.target

# 訓練用データ　と　検証用データに分割する

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# 決定木モデルを作成す

tree = DecisionTreeClassifier()

'''

DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=None,

max_features=None, max_leaf_nodes=None,

min_impurity_decrease=0.0, min_impurity_split=None,

min_samples_leaf=1, min_samples_split=2,

min_weight_fraction_leaf=0.0, presort=False, random_state=None,

splitter='best')

'''

# グリッドサーチ用のハイパーパラメータのリストをディクショナリで定義する

param_grid = {'max_depth': [3,4,5]}

# 層化 10分割　交差検証を行う

#（引数としてインスタンス化された決定木モデルをここで入れる）

cv = GridSearchCV(tree, param_grid=param_grid, cv=10)

cv.fit(X_train, y_train)

'''

GridSearchCV(cv=10, error_score='raise-deprecating',

estimator=DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=None,

max_features=None, max_leaf_nodes=None,

min_impurity_decrease=0.0, min_impurity_split=None,

min_samples_leaf=1, min_samples_split=2,

min_weight_fraction_leaf=0.0, presort=False, random_state=None,

splitter='best'),

fit_params=None, iid='warn', n_jobs=None,

param_grid={'max_depth': [3, 4, 5]}, pre_dispatch='2*n_jobs',

refit=True, return_train_score='warn', scoring=None, verbose=0)

'''

# 最適なパラメータを出力する

cv.best_params_ # {'max_depth': 3}

'''

param_gridを層深さに指定したので、best_prams_も層深さで出力される

'''

# 最適なモデルを確認する

cv.best_estimator_

'''

DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=5,

max_features=None, max_leaf_nodes=None,

min_impurity_decrease=0.0, min_impurity_split=None,

min_samples_leaf=1, min_samples_split=2,

min_weight_fraction_leaf=0.0, presort=False, random_state=None,

splitter='best')

'''

# 最適なモデルで予測する

y_predicted = cv.predict(X_test)

y_predicted

'''

array([2, 1, 0, 2, 0, 2, 0, 1, 1, 1, 2, 1, 1, 1, 1, 0, 1, 1, 0, 0, 2, 1,

0, 0, 2, 0, 0, 1, 1, 0, 2, 1, 0, 2, 2, 1, 0, 2, 1, 1, 2, 0, 2, 0,

0])

'''

y_true = y_predicted == y_test

y_true

'''

array([ True, True, True, True, True, True, True, True, True,

True, True, True, True, True, True, True, True, True,

True, False, True, True, True, True, True, True, True])

'''

特に細かい説明は必要ないですよね。利用していきましょう。

ああ

sklearn:機械学習モデルを評価　混同行列・交差検証・ROC・AUC

model_evalation

今日は機械学習モデルの評価について考えてみます。

機械学習モデルの評価

訓練したモデルに対して、新しいデータが入ってきたときに、データのカテゴリをどれだけ正確に当てられたかが、その訓練済みモデルの性能になりますよね。

カテゴリの分類精として、下記４つの確率的な指標があります。

度適合率 Precision = tp / (tp + fp) :予測するクラスをなるべく間違えないようにする指標
再現率 Recall = tp / (tp +fn )
F値　 F-Value = 2/((1/適合率)+(1/再現率)) ：適合率と再現率の調和平均
正解率 (tp+tn)/(tp+fp+fn+tn) :予測と実績が一致したデータの割合

で、これを一つの行列にまとめたのが、
混同行列 Confusion matrix

というものです。

各変数になっていのは

tp : True-Positive 正例Positiveと予測して、正解Trueだった
fp : False-Positive 正例Positiveと予測して、不正解Falseだった
fn : True-Negative 負例Negativeと予測して、正解Trueだった
tn : False-Negative 負例Negativeと予測して、不正解Falseだった

という結果の数が入ります。

統計用語が入っていますが、

正例：興味のある事柄のクラスに属するデータ
負例：興味のない事柄のクラスに属するデータ

ということです。

アイリスデータをSVMで分類する

混同行列を見ていきたいので、まずはサンプルデータとしてアイリスデータをSVM分類し、予測結果まで実行してみます。

# Irisデータの class0 と class1だけを使って SVMし、混同行列を作ってみる

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC

iris = load_iris()
iris.keys()
# dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# １００データを使用する
X, y = iris.data[:100, :], iris.target[:100]

# 訓練用データと検証用データに分割する
X_train, X_test, y_train, y_test = train_test_split(X, y)

# 機械学習モデル（SVC）のインスタンスを作成する
svc = SVC()
'''
SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
  decision_function_shape='ovr', degree=3, gamma='auto_deprecated',
  kernel='rbf', max_iter=-1, probability=False, random_state=None,
  shrinking=True, tol=0.001, verbose=False)
'''
# 訓練する
svc.fit(X_train, y_train)

# 予測する
y_predicted = svc.predict(X_test)
y_predicted

y_true = y_test == y_predicted
score = sum(y_true) / len(y_true)
print('score : ', score)

# Irisデータの class0 と class1だけを使って SVMし、混同行列を作ってみる

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split

from sklearn.svm import SVC

iris = load_iris()

iris.keys()

# dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# １００データを使用する

X, y = iris.data[:100, :], iris.target[:100]

# 訓練用データと検証用データに分割する

X_train, X_test, y_train, y_test = train_test_split(X, y)

# 機械学習モデル（SVC）のインスタンスを作成する

svc = SVC()

'''

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,

decision_function_shape='ovr', degree=3, gamma='auto_deprecated',

kernel='rbf', max_iter=-1, probability=False, random_state=None,

shrinking=True, tol=0.001, verbose=False)

'''

# 訓練する

svc.fit(X_train, y_train)

# 予測する

y_predicted = svc.predict(X_test)

y_predicted

y_true = y_test == y_predicted

score = sum(y_true) / len(y_true)

print('score : ', score)

混同行列を算出する

基本的には適合率が高いものが優秀と考えています。

再現率も考慮して　適合率と再現率の間を取るのがF１という値です。

# 混同行列の算出 (分類レポート)
from sklearn.metrics import classification_report

# 適合率precision 再現率recall F値f1-score　
print(classification_report(y_test, y_predicted))

# 混同行列の算出 (分類レポート)

from sklearn.metrics import classification_report

# 適合率precision 再現率recall F値f1-score　

print(classification_report(y_test, y_predicted))

              precision    recall  f1-score   support

           0       1.00      1.00      1.00         9
           1       1.00      1.00      1.00        16

   micro avg       1.00      1.00      1.00        25
   macro avg       1.00      1.00      1.00        25
weighted avg       1.00      1.00      1.00        25

precision recall f1-score support

0 1.00 1.00 1.00 9

1 1.00 1.00 1.00 16

micro avg 1.00 1.00 1.00 25

macro avg 1.00 1.00 1.00 25

weighted avg 1.00 1.00 1.00 25

こんな形のマトリクスで出力されます。

層化ｋ分割交差検証

もともとのデータをk個の塊に等分して、訓練用データと検証用データの組み合わせをkパターン用意して、kパターンすべてについて一気に交差検証をする方法です。

# 交差検証           Cross Validation
# 層化ｋ分割交差検証 Stratified k-fold Cross Validation

from sklearn.svm import SVC
from sklearn.model_selection import cross_val_score

# 機械学習モデル（SVC）のインスタンスを作成する
svc = SVC()なので１０個

# 層化10分割交差検証を実施する
cvs = cross_val_score(svc, X, y, cv=10, scoring='precision')

# 適合率（Precision）の結果　１０パターンの交差検証なので１０個ある
print(cvs) # [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]

# 交差検証 Cross Validation

# 層化ｋ分割交差検証 Stratified k-fold Cross Validation

from sklearn.svm import SVC

from sklearn.model_selection import cross_val_score

# 機械学習モデル（SVC）のインスタンスを作成する

svc = SVC()なので１０個

# 層化10分割交差検証を実施する

cvs = cross_val_score(svc, X, y, cv=10, scoring='precision')

# 適合率（Precision）の結果　１０パターンの交差検証なので１０個ある

print(cvs) # [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]

ROCとAUC

予測確率の正確さを見ていく方法です。

ROC曲線：Receiver Operating Characteristic
AUC : Area Under the Curve

確率の高い順にデータを並べる
確率以上のデータはすべて正例と予測する

実際に正例だったデータの割合（真陽性率）
実際は負例にも関わらず正例と予測されたデータの割合（偽陽性率）

正例と予測する確率のしきい値を変えていったときに真陽性率を横軸、
偽陽性率を縦軸にとったものがROC曲線

# ROC曲線
import numpy as np
import matplotlib.pyplot as plt

#偽陽性率fpr と 真陽性率tpr を計算する
fpr = np.array([0,0,0,1,1,2,3,3,3,4,5,5,6,7,8,8,8,9,10,10,11,12,12,13,14])/14

tpr = np.array([1,2,2,3,3,3,4,5,6,6,6,7,7,7,7,8,9,9,9,10,10,10,11,11,11])/11

# ROC曲線を可視化する
fig, ax = plt.subplots()
ax.step(fpr, tpr)
ax.set_xlabel('False Positive rate')
ax.set_ylabel('True Positive rate')
plt.show()

# ROC曲線

import numpy as np

import matplotlib.pyplot as plt

#偽陽性率fpr と真陽性率tpr を計算する

fpr = np.array([0,0,0,1,1,2,3,3,3,4,5,5,6,7,8,8,8,9,10,10,11,12,12,13,14])/14

tpr = np.array([1,2,2,3,3,3,4,5,6,6,6,7,7,7,7,8,9,9,9,10,10,10,11,11,11])/11

# ROC曲線を可視化する

fig, ax = plt.subplots()

ax.step(fpr, tpr)

ax.set_xlabel('False Positive rate')

ax.set_ylabel('True Positive rate')

plt.show()

次に AUC曲線 Area Under the Curveですが、要するにROC曲線の面積のことです。1に近いほど正例、0.5に近づくほど正例と負例が混在していて分類できなくなるという意味があります。

ROC曲線と　AUCを素早く求めて見ましょう

# ROC曲線と　AUC曲線を素早く求める
from sklearn.metrics import roc_curve # ROC曲線を求めるモジュール

# ラベル：各ユーザーが退会したら１　していなかったら０
labels = np.array([1,1,0,1,0,0,1,1,1,0,0,1,0,0,0,1,1,0,0,1,0,0,1,0,0])

# 各ユーザーの予測退会率
probablies = np.array([0.98, 0.95, 0.90, 0.87, 0.85,
                       0.80, 0.75, 0.71, 0.63, 0.55,
                       0.51, 0.47, 0.43, 0.38, 0.35,
                       0.31, 0.28, 0.24, 0.22, 0.19,
                       0.15, 0.12, 0.08, 0.04, 0.01])

# 偽陽性率fpr 真陽性率tpr しきい値thresholdを算出する
fpr, tpr, threshold = roc_curve(labels, probablies)
print('fpr : ', fpr)
print('tpr : ', tpr)

# ROC曲線を可視化する
fig, ax = plt.subplots()
ax.step(fpr, tpr)
ax.set_xlabel('False Positive rate')
ax.set_ylabel('True Positive rate')
plt.show()

# AUCを算出する
from sklearn.metrics import roc_auc_score
roc_auc_score(labels, probablies) # 0.6558441558441558

# ROC曲線と　AUC曲線を素早く求める

from sklearn.metrics import roc_curve # ROC曲線を求めるモジュール

# ラベル：各ユーザーが退会したら１　していなかったら０

labels = np.array([1,1,0,1,0,0,1,1,1,0,0,1,0,0,0,1,1,0,0,1,0,0,1,0,0])

# 各ユーザーの予測退会率

probablies = np.array([0.98, 0.95, 0.90, 0.87, 0.85,

0.80, 0.75, 0.71, 0.63, 0.55,

0.51, 0.47, 0.43, 0.38, 0.35,

0.31, 0.28, 0.24, 0.22, 0.19,

0.15, 0.12, 0.08, 0.04, 0.01])

# 偽陽性率fpr 真陽性率tpr しきい値thresholdを算出する

fpr, tpr, threshold = roc_curve(labels, probablies)

print('fpr : ', fpr)

print('tpr : ', tpr)

# ROC曲線を可視化する

fig, ax = plt.subplots()

ax.step(fpr, tpr)

ax.set_xlabel('False Positive rate')

ax.set_ylabel('True Positive rate')

plt.show()

# AUCを算出する

from sklearn.metrics import roc_auc_score

roc_auc_score(labels, probablies) # 0.6558441558441558

参考

機械学習の評価指標 – ROC曲線とAUC

sklearn:主成分分析をやってみる

principal_component_analysis

主成分分析です。

高次元データに対して、ばらつきが大きくなる方向を見極め、次元を落とす方法です。

まずはサンプルデータを作ってプロットしてみます

%matplotlib inline

# 主成分分析　principal component analysis,PCA
import numpy as np
import matplotlib.pyplot as plt

# サンプルデータの作成
np.random.seed(0)
X = np.random.random(size=50) 
Y = 2 * X + 0.5 * np.random.rand(50)

# サンプルデータの可視化
fig, ax = plt.subplots()
ax.scatter(X,Y)
plt.show()

%matplotlib inline

# 主成分分析　principal component analysis,PCA

import numpy as np

import matplotlib.pyplot as plt

# サンプルデータの作成

np.random.seed(0)

X = np.random.random(size=50)

Y = 2 * X + 0.5 * np.random.rand(50)

# サンプルデータの可視化

fig, ax = plt.subplots()

ax.scatter(X,Y)

plt.show()

で、これを主成分分析すると

# 主成分分析（PCA）のインスタンスを作成する
from sklearn.decomposition import PCA
pca = PCA(n_components=2)
'''
PCA(copy=True, iterated_power='auto', n_components=2, random_state=None,
  svd_solver='auto', tol=0.0, whiten=False)
'''
# 主成分分析を実行
X_pca = pca.fit_transform(np.hstack((X[:,np.newaxis], Y[:, np.newaxis])))

# 主成分分析結果を可視化する
fig, ax =plt.subplots()
ax.scatter(X_pca[:, 0], X_pca[:, 1])
ax.set_xlabel('PC1')
ax.set_ylabel('PC2')
ax.set_xlim(-1.1, 1.1)
ax.set_ylim(-1.1, 1.1)
plt.show()

# 主成分分析（PCA）のインスタンスを作成する

from sklearn.decomposition import PCA

pca = PCA(n_components=2)

'''

PCA(copy=True, iterated_power='auto', n_components=2, random_state=None,

svd_solver='auto', tol=0.0, whiten=False)

'''

# 主成分分析を実行

X_pca = pca.fit_transform(np.hstack((X[:,np.newaxis], Y[:, np.newaxis])))

# 主成分分析結果を可視化する

fig, ax =plt.subplots()

ax.scatter(X_pca[:, 0], X_pca[:, 1])

ax.set_xlabel('PC1')

ax.set_ylabel('PC2')

ax.set_xlim(-1.1, 1.1)

ax.set_ylim(-1.1, 1.1)

plt.show()

となり、軸PC1方向にデータは散らばっているが軸PC2にはあまり散らばっていないことがわかるわけです。って、可視化すると当たり前ですよね・・・。

いずれ必要になったときに、次元削減関係は深堀りしていきますので、今日はただのメモ書きになりました。

sklern:ボストンデータを重回帰分析　

今日は　ボストンの不動産データを使って重回帰分析をしてみましょう。

一気にいきます。

データ読み込み　訓練検証データに分割　機械学習モデル定義　訓練　予測

# 重回帰分析

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

# データ読み込み
boston = load_boston()
boston.keys()
'''
dict_keys(['data', 'target', 'feature_names', 'DESCR', 'filename'])
'''

boston['feature_names']
'''
array(['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD',
       'TAX', 'PTRATIO', 'B', 'LSTAT'], dtype='<U7')
'''

# 訓練・検証データに分轄
X_train, X_test, y_train, y_test =train_test_split(boston.data, boston.target, test_size=0.3, random_state=0)

# 数学モデルのインスタンスを作成する
lr = LinearRegression()

# 訓練する
lr.fit(X_train, y_train)

'''
LinearRegression(copy_X=True, fit_intercept=True, n_jobs=None,
         normalize=False)
'''

# 予測する
y_predicted = lr.predict(X_test)
y_predicted

# 重回帰分析

from sklearn.datasets import load_boston

from sklearn.model_selection import train_test_split

from sklearn.linear_model import LinearRegression

# データ読み込み

boston = load_boston()

boston.keys()

'''

dict_keys(['data', 'target', 'feature_names', 'DESCR', 'filename'])

'''

boston['feature_names']

'''

array(['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD',

'TAX', 'PTRATIO', 'B', 'LSTAT'], dtype='<U7')

'''

# 訓練・検証データに分轄

X_train, X_test, y_train, y_test =train_test_split(boston.data, boston.target, test_size=0.3, random_state=0)

# 数学モデルのインスタンスを作成する

lr = LinearRegression()

# 訓練する

lr.fit(X_train, y_train)

'''

LinearRegression(copy_X=True, fit_intercept=True, n_jobs=None,

normalize=False)

'''

# 予測する

y_predicted = lr.predict(X_test)

y_predicted

相関グラフ

# 可視化する：正解データと予測データを比較する
%matplotlib inline
import matplotlib.pyplot as plt

fig, ax = plt.subplots()
ax.scatter(y_predicted, y_test)
ax.plot((0,50), (0,50), linestyle='dashed', color='red')
ax.set_xlabel('predicted value')
ax.set_ylabel('actual value')
plt.show()

'''
結果：正解データと予測データで
　　　正の相関を確認できた
'''

# 可視化する：正解データと予測データを比較する

%matplotlib inline

import matplotlib.pyplot as plt

fig, ax = plt.subplots()

ax.scatter(y_predicted, y_test)

ax.plot((0,50), (0,50), linestyle='dashed', color='red')

ax.set_xlabel('predicted value')

ax.set_ylabel('actual value')

plt.show()

'''

結果：正解データと予測データで

　　　正の相関を確認できた

'''

横軸に予測結果　縦軸に実際のデータをプロットしています。右肩上がりのまあまあな相関が取れていますが、外れ値を除いても0.5～1.5倍のばらつきがあるようです。

以上

sklern:ランダムフォレストでアイリスデータを分類してみる

random_forest

前回は決定木一本でアイリスデータを分類してみましたが、決定木のハイパーパラメータ次第では性能が異なってきます。

このハイパーパラメータ自体の決定も自動化する方法がランダムフォレストです。

データセット読み込みからデータ分割まで

ここはいつもどおりです。

# Random forest

# モジュール：サンプルデータ＞訓練検証分割＞モデル　
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

# データのインスタンスを作成
iris = load_iris()

# キーを確認
iris.keys()
#dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# input dataとtarget data として抽出する
X, y = iris.data, iris.target

# 訓練・検証データに分割する
X_train, X_test, y_train, y_test = train_test_split(X, y ,test_size=0.3, random_state=0)

# Random forest

# モジュール：サンプルデータ＞訓練検証分割＞モデル　

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split

from sklearn.ensemble import RandomForestClassifier

# データのインスタンスを作成

iris = load_iris()

# キーを確認

iris.keys()

#dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# input dataとtarget data として抽出する

X, y = iris.data, iris.target

# 訓練・検証データに分割する

X_train, X_test, y_train, y_test = train_test_split(X, y ,test_size=0.3, random_state=0)

ランダムフォレストで決定木を１００本作成して訓練する

# ランダムフォレストをインスタンス化する 100個の決定木
forest = RandomForestClassifier(n_estimators=100,random_state=0)
forest

'''
RandomForestClassifier(bootstrap=True, class_weight=None, criterion='gini',
            max_depth=None, max_features='auto', max_leaf_nodes=None,
            min_impurity_decrease=0.0, min_impurity_split=None,
            min_samples_leaf=1, min_samples_split=2,
            min_weight_fraction_leaf=0.0, n_estimators=100, n_jobs=None,
            oob_score=False, random_state=0, verbose=0, warm_start=False)
'''

# 訓練する
forest.fit(X_train, y_train)

# ランダムフォレストをインスタンス化する 100個の決定木

forest = RandomForestClassifier(n_estimators=100,random_state=0)

forest

'''

RandomForestClassifier(bootstrap=True, class_weight=None, criterion='gini',

max_depth=None, max_features='auto', max_leaf_nodes=None,

min_impurity_decrease=0.0, min_impurity_split=None,

min_samples_leaf=1, min_samples_split=2,

min_weight_fraction_leaf=0.0, n_estimators=100, n_jobs=None,

oob_score=False, random_state=0, verbose=0, warm_start=False)

'''

# 訓練する

forest.fit(X_train, y_train)

さあ予測して性能を確認しましょう。

変数resultは

array([ True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True, False,  True,  True,  True,  True,  True,  True,  True])

array([ True, True, True, True, True, True, True, True, True,

True, True, True, True, True, True, True, True, True,

True, False, True, True, True, True, True, True, True])

になりました。97%あってますね。

# 予測する
y_predicted = forest.predict(X_test)
y_predicted

# 正解率を算出する
import pandas as pd
df = pd.DataFrame(y_test,y_predicted)#, y_test, y_predicted)

result = df.index == df[0]


score = sum(result)/len(result)
'''
0.9777777777777777
'''

# 予測する

y_predicted = forest.predict(X_test)

y_predicted

# 正解率を算出する

import pandas as pd

df = pd.DataFrame(y_test,y_predicted)#, y_test, y_predicted)

result = df.index == df[0]

score = sum(result)/len(result)

'''

0.9777777777777777

'''

ということで、１００本分の決定木を一気に評価できたわけです。

sklern:決定木でアイリスデータを分類してみる

decision_tree decision_tree.ipynb

決定木を使ってアイリスデータを分類してみます。

基本手順

基本手順はsklearnや他の機械学習モジュールであるtensor flowなども全く一緒です。

データの読み込み
訓練用データと検証用データに分割
機械学習モデルの定義とハイパーパラメータの設定
訓練
予測
性能評価

必要なモジュール

インストールしておきましょう。

$ pip install pydotplus

graphvizもインストールしておきましょう。

graphviz もインストールしておきます。別ページにしておきますので、予めやっておく必要があります。当ページの最後の方にも同じ内容を記載しておきます。

スクリプト

データの読み込み～訓練　までです。

# DecisionTreeClassifier
# モジュール：サンプルデータ＞訓練検証分割＞モデル　
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

# データのインスタンスを作成
iris = load_iris()

# キーを確認
iris.keys()
#dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# input dataとtarget data として抽出する
X, y = iris.data, iris.target

# 訓練・検証データに分割する
X_train, X_test, y_train, y_test = train_test_split(X, y ,test_size=0.3, random_state=0)

# 決定木モデルのインスタンスを作成する
tree = DecisionTreeClassifier(max_depth=10)

# 訓練する
tree.fit(X_train, y_train)

'''
DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=3,
            max_features=None, max_leaf_nodes=None,
            min_impurity_decrease=0.0, min_impurity_split=None,
            min_samples_leaf=1, min_samples_split=2,
            min_weight_fraction_leaf=0.0, presort=False, random_state=None,
            splitter='best')
'''''

# DecisionTreeClassifier

# モジュール：サンプルデータ＞訓練検証分割＞モデル　

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split

from sklearn.tree import DecisionTreeClassifier

# データのインスタンスを作成

iris = load_iris()

# キーを確認

iris.keys()

#dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# input dataとtarget data として抽出する

X, y = iris.data, iris.target

# 訓練・検証データに分割する

X_train, X_test, y_train, y_test = train_test_split(X, y ,test_size=0.3, random_state=0)

# 決定木モデルのインスタンスを作成する

tree = DecisionTreeClassifier(max_depth=10)

# 訓練する

tree.fit(X_train, y_train)

'''

DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=3,

max_features=None, max_leaf_nodes=None,

min_impurity_decrease=0.0, min_impurity_split=None,

min_samples_leaf=1, min_samples_split=2,

min_weight_fraction_leaf=0.0, presort=False, random_state=None,

splitter='best')

'''''

予測して、性能を評価します。

#予測する
y_predicted = tree.predict(X_test)
y_predicted

# 正解率を算出する
import pandas as pd
df = pd.DataFrame(y_test,y_predicted)#, y_test, y_predicted)

result = df.index == df[0]

'''
array([ True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True, False,  True,  True,  True,  True,  True,  True,  True])
'''

score = sum(result)/len(result)
'''
0.9777777777777777
'''
score

#予測する

y_predicted = tree.predict(X_test)

y_predicted

# 正解率を算出する

import pandas as pd

df = pd.DataFrame(y_test,y_predicted)#, y_test, y_predicted)

result = df.index == df[0]

'''

array([ True, True, True, True, True, True, True, True, True,

True, True, True, True, True, True, True, True, True,

True, False, True, True, True, True, True, True, True])

'''

score = sum(result)/len(result)

'''

0.9777777777777777

'''

score

では、決定木を可視化してみましょう。

# 決定木の可視化
# $ pip install pydotplus
from pydotplus import graph_from_dot_data
from sklearn.tree import export_graphviz
import os

# dot形式データの抽出
dot_data = export_graphviz(tree, filled=True,
                           rounded=True,
                           class_names=['Setosa',
                                        'Versicolor',
                                        'Virginica'],
                           feature_names=['Sepal Length',
                                          'Sepal Width',
                                          'Petal Length',
                                          'Petal Width'],
                           out_file=None)

# 決定木のプロット
# グラフのインスタンスを作成
graph = graph_from_dot_data(dot_data)

'''graphvizのインストール
https://graphviz.gitlab.io/_pages/Download/Download_windows.html
graphviz-2.38.zip
展開して、C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exeになるようにgraphviz-2.38フォルダを移動する
'''
#パスを通す
graph.progs = {'dot': u'C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exe'}

# treeグラフを保存する
graph.write_png('tree.png')

# treeグラフを描画する
from IPython.display import Image
Image(graph.create_png())

# 決定木の可視化

# $ pip install pydotplus

from pydotplus import graph_from_dot_data

from sklearn.tree import export_graphviz

import os

# dot形式データの抽出

dot_data = export_graphviz(tree, filled=True,

rounded=True,

class_names=['Setosa',

'Versicolor',

'Virginica'],

feature_names=['Sepal Length',

'Sepal Width',

'Petal Length',

'Petal Width'],

out_file=None)

# 決定木のプロット

# グラフのインスタンスを作成

graph = graph_from_dot_data(dot_data)

'''graphvizのインストール

https://graphviz.gitlab.io/_pages/Download/Download_windows.html

graphviz-2.38.zip

展開して、C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exeになるようにgraphviz-2.38フォルダを移動する

'''

#パスを通す

graph.progs = {'dot': u'C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exe'}

# treeグラフを保存する

graph.write_png('tree.png')

# treeグラフを描画する

from IPython.display import Image

Image(graph.create_png())

graph.write_png(‘tree.png’)　で決定木のグラフはホームディレクトリに出力されていますので、眺めてみましょう。

graphvizのインストール

さて、これでうまく行かない人もいるのでしょうか。

上記スクリプトの中にも注意書きを書いていたのですが、graphvizを予めインストールしておく必要があります。

しかし、pip install graphvizしても

&pip install graphviz　だけでは　graph.write_png(‘tree.png’)　の部分が実行されません。

<span class="ansi-red-intense-fg ansi-bold">InvocationException</span>: GraphViz's executable "C:\Program Files (x86)\graphviz-2.38\release\bin\dot.exe" is not a file or doesn't exist

1	<span class="ansi-red-intense-fg ansi-bold">InvocationException</span>: GraphViz's executable "C:\Program Files (x86)\graphviz-2.38\release\bin\dot.exe" is not a file or doesn't exist

どうやらdot.exe にパスを通しなさいと警告がでるのですが、そもそもpip install　された先がわかりませんでした。作戦変更です。

graphviz　公式サイトからのインストール

graphvizの公式webサイト

https://graphviz.gitlab.io/_pages/Download/Download_windows.html

からgraphvizのインストール graphviz-2.38.zip　をダウンロードして展開するとreleaseというフォルダが作成されます。

C:\\Program Files (x86)\\　の下に新規でgraphviz-2.38フォルダを作成して、そのさらに下にreleaseフォルダを移動します。

結果、dot.exeが

C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exe

の位置になります。（インストーラーがなさそうなので、フォルダ移動だけです。）

システム環境変数の追加

ではパスを通しましょう。

windowsボタンをおして検索に「システム環境変数」と入れます。システムのプロパティが開くので、環境変数ボタンを押して、システム環境変数のpathを編集します。

新規ボタンを押して、さっきのdot.exeのパスである

C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exe

をコピペします。

これでgraphvizが使えるようになったと思います。

補足：graphviz 　のpipインストール　ではだめです

(base) C:\Users\omoiy>pip install graphviz
Collecting graphviz
  Downloading https://files.pythonhosted.org/packages/17/51/d6de512dbbbab95f0adb53fb2a4396b79722f7c3fbe8ecc2d8c6ab7de00a/graphviz-0.12-py2.py3-none-any.whl
Installing collected packages: graphviz
Successfully installed graphviz-0.12

(base) C:\Users\omoiy>pip install graphviz

Collecting graphviz

Downloading https://files.pythonhosted.org/packages/17/51/d6de512dbbbab95f0adb53fb2a4396b79722f7c3fbe8ecc2d8c6ab7de00a/graphviz-0.12-py2.py3-none-any.whl

Installing collected packages: graphviz

Successfully installed graphviz-0.12

なにやら　graphviz-0.12　というバージョンがおかしなことになっているものが入ってきました・・・。

ということで、前述した公式サイトからダウンロードしてファイルを移動してパスを通して・・・という方法が良いのです。以上

sklearn:サポートベクター分類

sklearnのサポートベクター分類の一般的なやり方です。

線形分類とか

カーネルに操作を加えた分類とか

スクリプト

#sklearn_text_for_data_science_svm

"""サポートベクターマシン
できること：分類　回帰　外れ値検出
線形分離できないとき、データを高次元の移すのではなく、データ間の近さを定量化するカーネルを導入する
カーネル：高次元空間でのデータ間の内積を計算する関数に相当する
"""
'サポートベクターマシン\nできること：分類\u3000回帰\u3000外れ値検出\n線形分離できないとき、データを高次元の移すのではなく、データ間の近さを定量化するカーネルを導入する\nカーネル：高次元空間でのデータ間の内積を計算する関数に相当する\n'
%matplotlib inline
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
# ---- sklearnのプリセットデータの取り扱い（基本形）----
#インスタンスを作成
iris = load_iris()

type(iris) # sklearn.utils.Bunch

iris.keys()
# dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

#入力データと目標データを定義する
X = iris.data
y = iris.target

# 訓練データと検証データに分割する
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)
# ----一般的な SVCのやり方 ----

# ランダム生成の固定
np.random.seed(0)

# クラス0のクラスターとして X軸 Y軸ともに0-1のランダム値を100個ずつ生成する
X0 = np.random.uniform(low=0.0, high=1.0, size=(100, 2), )

# クラス0のラベル0を100個
y0 = np.repeat(0, 100) 

# クラス1のクラスターとして X軸 Y軸ともに-1-0のランダム値を100個ずつ生成する
X1 = np.random.uniform(low=-1.0, high=0.0, size=(100, 2))

# クラス1 のラベル1を100個
y1 = np.repeat(1, 100)

# 散布図としてプロットする
fig, ax = plt.subplots()
ax.scatter(X0[:,0], X0[:,1], marker='o', label='class 0', color='blue')
ax.scatter(X1[:,0], X1[:,1], marker='x', label='class 1', color='red')
ax.set_xlabel('x')
ax.set_ylabel('Y')
ax.legend(loc='best')
plt.show()

%matplotlib inline
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.svm import SVC

# 関数化しておく：
def plot_boundary_margin_sv(X0, y0, X1, y1, kernel='linear', C=1e6, xmin=-1, xmax=1 , ymin=-1, ymax=1):
    """学習　決定境界　マージン　SV可視化
    args:
        X0:クラス0の座標
            X0[:,0]:X座標
            X0[:,1]:Y座標
        y0:クラス0の正解
        
        X1:クラス1のX座標
            X1[:,0]:X座標
            X1[:,1]:Y座標
        y1:クラス1の正解
        
        kernel:カーネル linear , rbf など
        C:マージン設定（大きい方が狭くなる)
        
        xmin:グラフ描画範囲
        xmax:グラフ描画範囲
        ymin:グラフ描画範囲
        ymax:グラフ描画範囲
    """
    # SVCのインスタンスを生成する
    svc = SVC(kernel=kernel, C=C) # argesを代入する
    
    # 学習
    svc.fit(np.vstack((X0, X1)), np.hstack((y0, y1))) #(200, 2) , (200,) スタック方向に注意
    
    # 可視化
    fig, ax = plt.subplots()
                      
    # クラス０をプロット
    ax.scatter(X0[:, 0], X0[:, 1], marker='o', label='class_0', color='blue')
    
    # クラス１をプロット
    ax.scatter(X1[:, 0], X1[:, 1], marker='x', label='class_1', color='red')
    
    # 決定境界とマージンをプロット
    # メッシュグリッドの下準備
    xx, yy =np.meshgrid(np.linspace(xmin, xmax, 100),
                        np.linspace(ymin, ymax, 100))
    
    xy = np.vstack([xx.ravel(), yy.ravel()]).T
        # np.ravel():np.flatten()よりも高速に、配列を一次元化する
    
    p = svc.decision_function(xy).reshape((100, 100))
    
    # 等高線を定義する
    ax.contour(xx, yy, p,
               colors='k', levels=[-1, 0, 1], 
               alpha=0.5, linestyles=['--','-','--']) 
    
    # サポートベクターを黒丸でマーキングする
    ax.scatter(svc.support_vectors_[:,0],
               svc.support_vectors_[:,1],
               s=250,facecolors='none',edgecolors='black')
    
    # グラフを装飾する
    ax.set_xlabel('x')
    ax.set_ylabel('y')
    ax.legend(loc='best')
    
    plt.show()

# =============================================================================
# クラス0のクラスターとして X軸 Y軸ともに0-1のランダム値を100個ずつ生成する
X0 = np.random.uniform(low=0.0, high=1.0, size=(100, 2), )

# クラス0のラベル0を100個
y0 = np.repeat(0, 100) 

# クラス1のクラスターとして X軸 Y軸ともに-1-0のランダム値を100個ずつ生成する
X1 = np.random.uniform(low=-1.0, high=0.0, size=(100, 2))

# クラス1 のラベル1を100個
y1 = np.repeat(1, 100)

# 関数を実行する
plot_boundary_margin_sv(X0, y0, X1, y1, kernel='linear', C=0.1)

# 直線では分類できない場合
%matplotlib inline
import numpy as np
import pandas as pd
import matplotlib.pylab as plt

# サンプルデータの生成
# X,Y座標データの生成
np.random.seed(0)
X = np.random.random(size=(100,2))

# ２次曲線で クラスを分類する
y = (X[:,1] > 2*(X[:,0]-0.5)**2+0.5).astype(int)

# 散布図を作成する
fig, ax =plt.subplots()
ax.scatter(X[y == False, 0], X[y == False, 1], marker='x' ,color='red', label='class_0')
ax.scatter(X[y == True, 0], X[y == True, 1], marker='o' ,color='blue', label='class_1')

# グラフを装飾する
ax.set_xlabel('x')
ax.set_ylabel('y')
ax.legend(loc='best')
plt.show()

# X,Y座標データ
X0, X1 = X[y==False,:], X[y==True,:]

# 正解データ
y0, y1 = y[y==False], y[y==True]

# 境界マージンサポートベクター関数を使う
# rbf:動径基底関数 radial basis function
plot_boundary_margin_sv(X0, y0, X1, y1, 
                        kernel='rbf', C=1e3, 
                        xmin=0, ymin=0)

# ---- end of script ----

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

#sklearn_text_for_data_science_svm

"""サポートベクターマシン

できること：分類　回帰　外れ値検出

線形分離できないとき、データを高次元の移すのではなく、データ間の近さを定量化するカーネルを導入する

カーネル：高次元空間でのデータ間の内積を計算する関数に相当する

"""

'サポートベクターマシン\nできること：分類\u3000回帰\u3000外れ値検出\n線形分離できないとき、データを高次元の移すのではなく、データ間の近さを定量化するカーネルを導入する\nカーネル：高次元空間でのデータ間の内積を計算する関数に相当する\n'

%matplotlib inline

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split

# ---- sklearnのプリセットデータの取り扱い（基本形）----

#インスタンスを作成

iris = load_iris()

type(iris) # sklearn.utils.Bunch

iris.keys()

# dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

#入力データと目標データを定義する

X = iris.data

y = iris.target

# 訓練データと検証データに分割する

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# ----一般的な SVCのやり方 ----

# ランダム生成の固定

np.random.seed(0)

# クラス0のクラスターとして X軸 Y軸ともに0-1のランダム値を100個ずつ生成する

X0 = np.random.uniform(low=0.0, high=1.0, size=(100, 2), )

# クラス0のラベル0を100個

y0 = np.repeat(0, 100)

# クラス1のクラスターとして X軸 Y軸ともに-1-0のランダム値を100個ずつ生成する

X1 = np.random.uniform(low=-1.0, high=0.0, size=(100, 2))

# クラス1 のラベル1を100個

y1 = np.repeat(1, 100)

# 散布図としてプロットする

fig, ax = plt.subplots()

ax.scatter(X0[:,0], X0[:,1], marker='o', label='class 0', color='blue')

ax.scatter(X1[:,0], X1[:,1], marker='x', label='class 1', color='red')

ax.set_xlabel('x')

ax.set_ylabel('Y')

ax.legend(loc='best')

plt.show()

%matplotlib inline

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

from sklearn.svm import SVC

# 関数化しておく：

def plot_boundary_margin_sv(X0, y0, X1, y1, kernel='linear', C=1e6, xmin=-1, xmax=1 , ymin=-1, ymax=1):

"""学習　決定境界　マージン　SV可視化

args:

X0:クラス0の座標

X0[:,0]:X座標

X0[:,1]:Y座標

y0:クラス0の正解

X1:クラス1のX座標

X1[:,0]:X座標

X1[:,1]:Y座標

y1:クラス1の正解

kernel:カーネル linear , rbf など

C:マージン設定（大きい方が狭くなる)

xmin:グラフ描画範囲

xmax:グラフ描画範囲

ymin:グラフ描画範囲

ymax:グラフ描画範囲

"""

# SVCのインスタンスを生成する

svc = SVC(kernel=kernel, C=C) # argesを代入する

# 学習

svc.fit(np.vstack((X0, X1)), np.hstack((y0, y1))) #(200, 2) , (200,) スタック方向に注意

# 可視化

fig, ax = plt.subplots()

# クラス０をプロット

ax.scatter(X0[:, 0], X0[:, 1], marker='o', label='class_0', color='blue')

# クラス１をプロット

ax.scatter(X1[:, 0], X1[:, 1], marker='x', label='class_1', color='red')

# 決定境界とマージンをプロット

# メッシュグリッドの下準備

xx, yy =np.meshgrid(np.linspace(xmin, xmax, 100),

np.linspace(ymin, ymax, 100))

xy = np.vstack([xx.ravel(), yy.ravel()]).T

# np.ravel():np.flatten()よりも高速に、配列を一次元化する

p = svc.decision_function(xy).reshape((100, 100))

# 等高線を定義する

ax.contour(xx, yy, p,

colors='k', levels=[-1, 0, 1],

alpha=0.5, linestyles=['--','-','--'])

# サポートベクターを黒丸でマーキングする

ax.scatter(svc.support_vectors_[:,0],

svc.support_vectors_[:,1],

s=250,facecolors='none',edgecolors='black')

# グラフを装飾する

ax.set_xlabel('x')

ax.set_ylabel('y')

ax.legend(loc='best')

plt.show()

# =============================================================================

# クラス0のクラスターとして X軸 Y軸ともに0-1のランダム値を100個ずつ生成する

X0 = np.random.uniform(low=0.0, high=1.0, size=(100, 2), )

# クラス0のラベル0を100個

y0 = np.repeat(0, 100)

# クラス1のクラスターとして X軸 Y軸ともに-1-0のランダム値を100個ずつ生成する

X1 = np.random.uniform(low=-1.0, high=0.0, size=(100, 2))

# クラス1 のラベル1を100個

y1 = np.repeat(1, 100)

# 関数を実行する

plot_boundary_margin_sv(X0, y0, X1, y1, kernel='linear', C=0.1)

# 直線では分類できない場合

%matplotlib inline

import numpy as np

import pandas as pd

import matplotlib.pylab as plt

# サンプルデータの生成

# X,Y座標データの生成

np.random.seed(0)

X = np.random.random(size=(100,2))

# ２次曲線でクラスを分類する

y = (X[:,1] > 2*(X[:,0]-0.5)**2+0.5).astype(int)

# 散布図を作成する

fig, ax =plt.subplots()

ax.scatter(X[y == False, 0], X[y == False, 1], marker='x' ,color='red', label='class_0')

ax.scatter(X[y == True, 0], X[y == True, 1], marker='o' ,color='blue', label='class_1')

# グラフを装飾する

ax.set_xlabel('x')

ax.set_ylabel('y')

ax.legend(loc='best')

plt.show()

# X,Y座標データ

X0, X1 = X[y==False,:], X[y==True,:]

# 正解データ

y0, y1 = y[y==False], y[y==True]

# 境界マージンサポートベクター関数を使う

# rbf:動径基底関数 radial basis function

plot_boundary_margin_sv(X0, y0, X1, y1,

kernel='rbf', C=1e3,

xmin=0, ymin=0)

# ---- end of script ----

2024年11月
月	火	水	木	金	土	日
				1	2	3
4	5	6	7	8	9	10
11	12	13	14	15	16	17
18	19	20	21	22	23	24
25	26	27	28	29	30

クラスタリング

サンプルデータを用意します

k-means クラスタリングをします

プロットします

ハイパーパラメータとは

最適化の方法

ではやってみましょう

機械学習モデルの評価

アイリスデータをSVMで分類する

混同行列を算出する

層化ｋ分割交差検証

ROCとAUC

ROC曲線と AUCを素早く求めて見ましょう

参考

一気にいきます。

相関グラフ

データセット読み込みからデータ分割まで

ランダムフォレストで決定木を１００本作成して訓練する

さあ予測して性能を確認しましょう。

基本手順

必要なモジュール

graphvizもインストールしておきましょう。

スクリプト

graphvizのインストール

graphviz 公式サイトからのインストール

システム環境変数の追加

補足：graphviz のpipインストール ではだめです

スクリプト

ROC曲線と　AUCを素早く求めて見ましょう

graphviz　公式サイトからのインストール

補足：graphviz 　のpipインストール　ではだめです