9月, 2019 - 流行の科学技術を勝手に追いかけるブログ人工知能仮想現実ブロックチェーン

sklearn:クラスタリング

クラスタリング

正解データが欠落してる状態を想像してください。

データたちをクラスター（かたまり）として自動的に分類していく作業です。

正解データがないので「教師なし学習」に分類されます。

サンプルデータを用意します

# k-means クラスタリング
from sklearn.datasets import load_iris

iris = load_iris()
iris.keys()

#dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# １００データ ２次元（１列目と３列目）を使用する
X=iris.data[:100,[0,2]]

# 可視化
import matplotlib.pyplot as plt
fig, ax = plt.subplots()
ax.scatter(X[:,0], X[:,1])

# k-means クラスタリング

from sklearn.datasets import load_iris

iris = load_iris()

iris.keys()

#dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# １００データ２次元（１列目と３列目）を使用する

X=iris.data[:100,[0,2]]

# 可視化

import matplotlib.pyplot as plt

fig, ax = plt.subplots()

ax.scatter(X[:,0], X[:,1])

k-means クラスタリングをします

# クラスタリングする
from sklearn.cluster import KMeans

# K-means のインスタンスを作成する クラスタ数＝３
km = KMeans(n_clusters=3, init='random', n_init=10, random_state=0)

#訓練と予測をする
y_km = km.fit_predict(X)
y_km
'''
array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 2, 2, 2, 1, 2, 1, 2, 1, 2, 1, 1, 1, 1, 2, 1, 2,
       1, 1, 2, 1, 2, 1, 2, 2, 2, 2, 2, 2, 2, 1, 1, 1, 1, 2, 1, 2, 2, 2,
       1, 1, 1, 2, 1, 1, 1, 1, 1, 2, 1, 1])
'''

# クラスタリングする

from sklearn.cluster import KMeans

# K-means のインスタンスを作成するクラスタ数＝３

km = KMeans(n_clusters=3, init='random', n_init=10, random_state=0)

#訓練と予測をする

y_km = km.fit_predict(X)

y_km

'''

array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,

0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,

0, 0, 0, 0, 0, 0, 2, 2, 2, 1, 2, 1, 2, 1, 2, 1, 1, 1, 1, 2, 1, 2,

1, 1, 2, 1, 2, 1, 2, 2, 2, 2, 2, 2, 2, 1, 1, 1, 1, 2, 1, 2, 2, 2,

1, 1, 1, 2, 1, 1, 1, 1, 1, 2, 1, 1])

'''

プロットします

というふうにやります。

sklearn:ハイパーパラメータの最適化

hyper_params_optimise

ハイパーパラメータを学習と評価を自動的に繰り返すことによって、最適値にする方法があります

ハイパーパラメータとは

ユーザーが手動で設定するパラメータのこと。（訓練によって決まらない）
決定木の層の深さ、ランダムフォレストの決定木カバレッジなど。

最適化の方法

グリッドサーチ：ハイパーパラメーターを自動で色々振った機械学習モデルを作成するします。（ランダムサーチというやり方もありますがマイナーなので割愛）

グリッドサーチと交差検証を行うのが一般的です。

ではやってみましょう

# 決定木のハイパーパラメータである層深さの最適化
from sklearn.datasets import load_iris
from sklearn.model_selection import GridSearchCV # グリッドサーチ
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split

# Irisデータをセットする
iris = load_iris()
iris.keys() # dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

X = iris.data
y = iris.target

# 訓練用データ　と　検証用データに分割する
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# 決定木モデルを作成す
tree = DecisionTreeClassifier()
'''
DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=None,
            max_features=None, max_leaf_nodes=None,
            min_impurity_decrease=0.0, min_impurity_split=None,
            min_samples_leaf=1, min_samples_split=2,
            min_weight_fraction_leaf=0.0, presort=False, random_state=None,
            splitter='best')
'''
# グリッドサーチ用のハイパーパラメータのリストをディクショナリで定義する
param_grid = {'max_depth': [3,4,5]}

# 層化 10分割　交差検証を行う 
#（引数としてインスタンス化された決定木モデルをここで入れる）
cv = GridSearchCV(tree, param_grid=param_grid, cv=10)
cv.fit(X_train, y_train)

'''
GridSearchCV(cv=10, error_score='raise-deprecating',
       estimator=DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=None,
            max_features=None, max_leaf_nodes=None,
            min_impurity_decrease=0.0, min_impurity_split=None,
            min_samples_leaf=1, min_samples_split=2,
            min_weight_fraction_leaf=0.0, presort=False, random_state=None,
            splitter='best'),
       fit_params=None, iid='warn', n_jobs=None,
       param_grid={'max_depth': [3, 4, 5]}, pre_dispatch='2*n_jobs',
       refit=True, return_train_score='warn', scoring=None, verbose=0)
'''
# 最適なパラメータを出力する
cv.best_params_ # {'max_depth': 3}
'''
param_gridを層深さに指定したので、best_prams_も層深さで出力される
'''

# 最適なモデルを確認する 
cv.best_estimator_ 
'''
DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=5,
            max_features=None, max_leaf_nodes=None,
            min_impurity_decrease=0.0, min_impurity_split=None,
            min_samples_leaf=1, min_samples_split=2,
            min_weight_fraction_leaf=0.0, presort=False, random_state=None,
            splitter='best')
'''

# 最適なモデルで予測する
y_predicted = cv.predict(X_test)
y_predicted
'''
array([2, 1, 0, 2, 0, 2, 0, 1, 1, 1, 2, 1, 1, 1, 1, 0, 1, 1, 0, 0, 2, 1,
       0, 0, 2, 0, 0, 1, 1, 0, 2, 1, 0, 2, 2, 1, 0, 2, 1, 1, 2, 0, 2, 0,
       0])
'''
y_true = y_predicted == y_test
y_true
'''
array([ True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True, False,  True,  True,  True,  True,  True,  True,  True])
'''

# 決定木のハイパーパラメータである層深さの最適化

from sklearn.datasets import load_iris

from sklearn.model_selection import GridSearchCV # グリッドサーチ

from sklearn.tree import DecisionTreeClassifier

from sklearn.model_selection import train_test_split

# Irisデータをセットする

iris = load_iris()

iris.keys() # dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

X = iris.data

y = iris.target

# 訓練用データ　と　検証用データに分割する

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# 決定木モデルを作成す

tree = DecisionTreeClassifier()

'''

DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=None,

max_features=None, max_leaf_nodes=None,

min_impurity_decrease=0.0, min_impurity_split=None,

min_samples_leaf=1, min_samples_split=2,

min_weight_fraction_leaf=0.0, presort=False, random_state=None,

splitter='best')

'''

# グリッドサーチ用のハイパーパラメータのリストをディクショナリで定義する

param_grid = {'max_depth': [3,4,5]}

# 層化 10分割　交差検証を行う

#（引数としてインスタンス化された決定木モデルをここで入れる）

cv = GridSearchCV(tree, param_grid=param_grid, cv=10)

cv.fit(X_train, y_train)

'''

GridSearchCV(cv=10, error_score='raise-deprecating',

estimator=DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=None,

max_features=None, max_leaf_nodes=None,

min_impurity_decrease=0.0, min_impurity_split=None,

min_samples_leaf=1, min_samples_split=2,

min_weight_fraction_leaf=0.0, presort=False, random_state=None,

splitter='best'),

fit_params=None, iid='warn', n_jobs=None,

param_grid={'max_depth': [3, 4, 5]}, pre_dispatch='2*n_jobs',

refit=True, return_train_score='warn', scoring=None, verbose=0)

'''

# 最適なパラメータを出力する

cv.best_params_ # {'max_depth': 3}

'''

param_gridを層深さに指定したので、best_prams_も層深さで出力される

'''

# 最適なモデルを確認する

cv.best_estimator_

'''

DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=5,

max_features=None, max_leaf_nodes=None,

min_impurity_decrease=0.0, min_impurity_split=None,

min_samples_leaf=1, min_samples_split=2,

min_weight_fraction_leaf=0.0, presort=False, random_state=None,

splitter='best')

'''

# 最適なモデルで予測する

y_predicted = cv.predict(X_test)

y_predicted

'''

array([2, 1, 0, 2, 0, 2, 0, 1, 1, 1, 2, 1, 1, 1, 1, 0, 1, 1, 0, 0, 2, 1,

0, 0, 2, 0, 0, 1, 1, 0, 2, 1, 0, 2, 2, 1, 0, 2, 1, 1, 2, 0, 2, 0,

0])

'''

y_true = y_predicted == y_test

y_true

'''

array([ True, True, True, True, True, True, True, True, True,

True, True, True, True, True, True, True, True, True,

True, False, True, True, True, True, True, True, True])

'''

特に細かい説明は必要ないですよね。利用していきましょう。

ああ

sklearn:機械学習モデルを評価　混同行列・交差検証・ROC・AUC

model_evalation

今日は機械学習モデルの評価について考えてみます。

機械学習モデルの評価

訓練したモデルに対して、新しいデータが入ってきたときに、データのカテゴリをどれだけ正確に当てられたかが、その訓練済みモデルの性能になりますよね。

カテゴリの分類精として、下記４つの確率的な指標があります。

度適合率 Precision = tp / (tp + fp) :予測するクラスをなるべく間違えないようにする指標
再現率 Recall = tp / (tp +fn )
F値　 F-Value = 2/((1/適合率)+(1/再現率)) ：適合率と再現率の調和平均
正解率 (tp+tn)/(tp+fp+fn+tn) :予測と実績が一致したデータの割合

で、これを一つの行列にまとめたのが、
混同行列 Confusion matrix

というものです。

各変数になっていのは

tp : True-Positive 正例Positiveと予測して、正解Trueだった
fp : False-Positive 正例Positiveと予測して、不正解Falseだった
fn : True-Negative 負例Negativeと予測して、正解Trueだった
tn : False-Negative 負例Negativeと予測して、不正解Falseだった

という結果の数が入ります。

統計用語が入っていますが、

正例：興味のある事柄のクラスに属するデータ
負例：興味のない事柄のクラスに属するデータ

ということです。

アイリスデータをSVMで分類する

混同行列を見ていきたいので、まずはサンプルデータとしてアイリスデータをSVM分類し、予測結果まで実行してみます。

# Irisデータの class0 と class1だけを使って SVMし、混同行列を作ってみる

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC

iris = load_iris()
iris.keys()
# dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# １００データを使用する
X, y = iris.data[:100, :], iris.target[:100]

# 訓練用データと検証用データに分割する
X_train, X_test, y_train, y_test = train_test_split(X, y)

# 機械学習モデル（SVC）のインスタンスを作成する
svc = SVC()
'''
SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
  decision_function_shape='ovr', degree=3, gamma='auto_deprecated',
  kernel='rbf', max_iter=-1, probability=False, random_state=None,
  shrinking=True, tol=0.001, verbose=False)
'''
# 訓練する
svc.fit(X_train, y_train)

# 予測する
y_predicted = svc.predict(X_test)
y_predicted

y_true = y_test == y_predicted
score = sum(y_true) / len(y_true)
print('score : ', score)

# Irisデータの class0 と class1だけを使って SVMし、混同行列を作ってみる

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split

from sklearn.svm import SVC

iris = load_iris()

iris.keys()

# dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# １００データを使用する

X, y = iris.data[:100, :], iris.target[:100]

# 訓練用データと検証用データに分割する

X_train, X_test, y_train, y_test = train_test_split(X, y)

# 機械学習モデル（SVC）のインスタンスを作成する

svc = SVC()

'''

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,

decision_function_shape='ovr', degree=3, gamma='auto_deprecated',

kernel='rbf', max_iter=-1, probability=False, random_state=None,

shrinking=True, tol=0.001, verbose=False)

'''

# 訓練する

svc.fit(X_train, y_train)

# 予測する

y_predicted = svc.predict(X_test)

y_predicted

y_true = y_test == y_predicted

score = sum(y_true) / len(y_true)

print('score : ', score)

混同行列を算出する

基本的には適合率が高いものが優秀と考えています。

再現率も考慮して　適合率と再現率の間を取るのがF１という値です。

# 混同行列の算出 (分類レポート)
from sklearn.metrics import classification_report

# 適合率precision 再現率recall F値f1-score　
print(classification_report(y_test, y_predicted))

# 混同行列の算出 (分類レポート)

from sklearn.metrics import classification_report

# 適合率precision 再現率recall F値f1-score　

print(classification_report(y_test, y_predicted))

              precision    recall  f1-score   support

           0       1.00      1.00      1.00         9
           1       1.00      1.00      1.00        16

   micro avg       1.00      1.00      1.00        25
   macro avg       1.00      1.00      1.00        25
weighted avg       1.00      1.00      1.00        25

precision recall f1-score support

0 1.00 1.00 1.00 9

1 1.00 1.00 1.00 16

micro avg 1.00 1.00 1.00 25

macro avg 1.00 1.00 1.00 25

weighted avg 1.00 1.00 1.00 25

こんな形のマトリクスで出力されます。

層化ｋ分割交差検証

もともとのデータをk個の塊に等分して、訓練用データと検証用データの組み合わせをkパターン用意して、kパターンすべてについて一気に交差検証をする方法です。

# 交差検証           Cross Validation
# 層化ｋ分割交差検証 Stratified k-fold Cross Validation

from sklearn.svm import SVC
from sklearn.model_selection import cross_val_score

# 機械学習モデル（SVC）のインスタンスを作成する
svc = SVC()なので１０個

# 層化10分割交差検証を実施する
cvs = cross_val_score(svc, X, y, cv=10, scoring='precision')

# 適合率（Precision）の結果　１０パターンの交差検証なので１０個ある
print(cvs) # [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]

# 交差検証 Cross Validation

# 層化ｋ分割交差検証 Stratified k-fold Cross Validation

from sklearn.svm import SVC

from sklearn.model_selection import cross_val_score

# 機械学習モデル（SVC）のインスタンスを作成する

svc = SVC()なので１０個

# 層化10分割交差検証を実施する

cvs = cross_val_score(svc, X, y, cv=10, scoring='precision')

# 適合率（Precision）の結果　１０パターンの交差検証なので１０個ある

print(cvs) # [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]

ROCとAUC

予測確率の正確さを見ていく方法です。

ROC曲線：Receiver Operating Characteristic
AUC : Area Under the Curve

確率の高い順にデータを並べる
確率以上のデータはすべて正例と予測する

実際に正例だったデータの割合（真陽性率）
実際は負例にも関わらず正例と予測されたデータの割合（偽陽性率）

正例と予測する確率のしきい値を変えていったときに真陽性率を横軸、
偽陽性率を縦軸にとったものがROC曲線

# ROC曲線
import numpy as np
import matplotlib.pyplot as plt

#偽陽性率fpr と 真陽性率tpr を計算する
fpr = np.array([0,0,0,1,1,2,3,3,3,4,5,5,6,7,8,8,8,9,10,10,11,12,12,13,14])/14

tpr = np.array([1,2,2,3,3,3,4,5,6,6,6,7,7,7,7,8,9,9,9,10,10,10,11,11,11])/11

# ROC曲線を可視化する
fig, ax = plt.subplots()
ax.step(fpr, tpr)
ax.set_xlabel('False Positive rate')
ax.set_ylabel('True Positive rate')
plt.show()

# ROC曲線

import numpy as np

import matplotlib.pyplot as plt

#偽陽性率fpr と真陽性率tpr を計算する

fpr = np.array([0,0,0,1,1,2,3,3,3,4,5,5,6,7,8,8,8,9,10,10,11,12,12,13,14])/14

tpr = np.array([1,2,2,3,3,3,4,5,6,6,6,7,7,7,7,8,9,9,9,10,10,10,11,11,11])/11

# ROC曲線を可視化する

fig, ax = plt.subplots()

ax.step(fpr, tpr)

ax.set_xlabel('False Positive rate')

ax.set_ylabel('True Positive rate')

plt.show()

次に AUC曲線 Area Under the Curveですが、要するにROC曲線の面積のことです。1に近いほど正例、0.5に近づくほど正例と負例が混在していて分類できなくなるという意味があります。

ROC曲線と　AUCを素早く求めて見ましょう

# ROC曲線と　AUC曲線を素早く求める
from sklearn.metrics import roc_curve # ROC曲線を求めるモジュール

# ラベル：各ユーザーが退会したら１　していなかったら０
labels = np.array([1,1,0,1,0,0,1,1,1,0,0,1,0,0,0,1,1,0,0,1,0,0,1,0,0])

# 各ユーザーの予測退会率
probablies = np.array([0.98, 0.95, 0.90, 0.87, 0.85,
                       0.80, 0.75, 0.71, 0.63, 0.55,
                       0.51, 0.47, 0.43, 0.38, 0.35,
                       0.31, 0.28, 0.24, 0.22, 0.19,
                       0.15, 0.12, 0.08, 0.04, 0.01])

# 偽陽性率fpr 真陽性率tpr しきい値thresholdを算出する
fpr, tpr, threshold = roc_curve(labels, probablies)
print('fpr : ', fpr)
print('tpr : ', tpr)

# ROC曲線を可視化する
fig, ax = plt.subplots()
ax.step(fpr, tpr)
ax.set_xlabel('False Positive rate')
ax.set_ylabel('True Positive rate')
plt.show()

# AUCを算出する
from sklearn.metrics import roc_auc_score
roc_auc_score(labels, probablies) # 0.6558441558441558

# ROC曲線と　AUC曲線を素早く求める

from sklearn.metrics import roc_curve # ROC曲線を求めるモジュール

# ラベル：各ユーザーが退会したら１　していなかったら０

labels = np.array([1,1,0,1,0,0,1,1,1,0,0,1,0,0,0,1,1,0,0,1,0,0,1,0,0])

# 各ユーザーの予測退会率

probablies = np.array([0.98, 0.95, 0.90, 0.87, 0.85,

0.80, 0.75, 0.71, 0.63, 0.55,

0.51, 0.47, 0.43, 0.38, 0.35,

0.31, 0.28, 0.24, 0.22, 0.19,

0.15, 0.12, 0.08, 0.04, 0.01])

# 偽陽性率fpr 真陽性率tpr しきい値thresholdを算出する

fpr, tpr, threshold = roc_curve(labels, probablies)

print('fpr : ', fpr)

print('tpr : ', tpr)

# ROC曲線を可視化する

fig, ax = plt.subplots()

ax.step(fpr, tpr)

ax.set_xlabel('False Positive rate')

ax.set_ylabel('True Positive rate')

plt.show()

# AUCを算出する

from sklearn.metrics import roc_auc_score

roc_auc_score(labels, probablies) # 0.6558441558441558

参考

機械学習の評価指標 – ROC曲線とAUC

sklearn:主成分分析をやってみる

principal_component_analysis

主成分分析です。

高次元データに対して、ばらつきが大きくなる方向を見極め、次元を落とす方法です。

まずはサンプルデータを作ってプロットしてみます

%matplotlib inline

# 主成分分析　principal component analysis,PCA
import numpy as np
import matplotlib.pyplot as plt

# サンプルデータの作成
np.random.seed(0)
X = np.random.random(size=50) 
Y = 2 * X + 0.5 * np.random.rand(50)

# サンプルデータの可視化
fig, ax = plt.subplots()
ax.scatter(X,Y)
plt.show()

%matplotlib inline

# 主成分分析　principal component analysis,PCA

import numpy as np

import matplotlib.pyplot as plt

# サンプルデータの作成

np.random.seed(0)

X = np.random.random(size=50)

Y = 2 * X + 0.5 * np.random.rand(50)

# サンプルデータの可視化

fig, ax = plt.subplots()

ax.scatter(X,Y)

plt.show()

で、これを主成分分析すると

# 主成分分析（PCA）のインスタンスを作成する
from sklearn.decomposition import PCA
pca = PCA(n_components=2)
'''
PCA(copy=True, iterated_power='auto', n_components=2, random_state=None,
  svd_solver='auto', tol=0.0, whiten=False)
'''
# 主成分分析を実行
X_pca = pca.fit_transform(np.hstack((X[:,np.newaxis], Y[:, np.newaxis])))

# 主成分分析結果を可視化する
fig, ax =plt.subplots()
ax.scatter(X_pca[:, 0], X_pca[:, 1])
ax.set_xlabel('PC1')
ax.set_ylabel('PC2')
ax.set_xlim(-1.1, 1.1)
ax.set_ylim(-1.1, 1.1)
plt.show()

# 主成分分析（PCA）のインスタンスを作成する

from sklearn.decomposition import PCA

pca = PCA(n_components=2)

'''

PCA(copy=True, iterated_power='auto', n_components=2, random_state=None,

svd_solver='auto', tol=0.0, whiten=False)

'''

# 主成分分析を実行

X_pca = pca.fit_transform(np.hstack((X[:,np.newaxis], Y[:, np.newaxis])))

# 主成分分析結果を可視化する

fig, ax =plt.subplots()

ax.scatter(X_pca[:, 0], X_pca[:, 1])

ax.set_xlabel('PC1')

ax.set_ylabel('PC2')

ax.set_xlim(-1.1, 1.1)

ax.set_ylim(-1.1, 1.1)

plt.show()

となり、軸PC1方向にデータは散らばっているが軸PC2にはあまり散らばっていないことがわかるわけです。って、可視化すると当たり前ですよね・・・。

いずれ必要になったときに、次元削減関係は深堀りしていきますので、今日はただのメモ書きになりました。

sklern:ボストンデータを重回帰分析　

今日は　ボストンの不動産データを使って重回帰分析をしてみましょう。

一気にいきます。

データ読み込み　訓練検証データに分割　機械学習モデル定義　訓練　予測

# 重回帰分析

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

# データ読み込み
boston = load_boston()
boston.keys()
'''
dict_keys(['data', 'target', 'feature_names', 'DESCR', 'filename'])
'''

boston['feature_names']
'''
array(['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD',
       'TAX', 'PTRATIO', 'B', 'LSTAT'], dtype='<U7')
'''

# 訓練・検証データに分轄
X_train, X_test, y_train, y_test =train_test_split(boston.data, boston.target, test_size=0.3, random_state=0)

# 数学モデルのインスタンスを作成する
lr = LinearRegression()

# 訓練する
lr.fit(X_train, y_train)

'''
LinearRegression(copy_X=True, fit_intercept=True, n_jobs=None,
         normalize=False)
'''

# 予測する
y_predicted = lr.predict(X_test)
y_predicted

# 重回帰分析

from sklearn.datasets import load_boston

from sklearn.model_selection import train_test_split

from sklearn.linear_model import LinearRegression

# データ読み込み

boston = load_boston()

boston.keys()

'''

dict_keys(['data', 'target', 'feature_names', 'DESCR', 'filename'])

'''

boston['feature_names']

'''

array(['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD',

'TAX', 'PTRATIO', 'B', 'LSTAT'], dtype='<U7')

'''

# 訓練・検証データに分轄

X_train, X_test, y_train, y_test =train_test_split(boston.data, boston.target, test_size=0.3, random_state=0)

# 数学モデルのインスタンスを作成する

lr = LinearRegression()

# 訓練する

lr.fit(X_train, y_train)

'''

LinearRegression(copy_X=True, fit_intercept=True, n_jobs=None,

normalize=False)

'''

# 予測する

y_predicted = lr.predict(X_test)

y_predicted

相関グラフ

# 可視化する：正解データと予測データを比較する
%matplotlib inline
import matplotlib.pyplot as plt

fig, ax = plt.subplots()
ax.scatter(y_predicted, y_test)
ax.plot((0,50), (0,50), linestyle='dashed', color='red')
ax.set_xlabel('predicted value')
ax.set_ylabel('actual value')
plt.show()

'''
結果：正解データと予測データで
　　　正の相関を確認できた
'''

# 可視化する：正解データと予測データを比較する

%matplotlib inline

import matplotlib.pyplot as plt

fig, ax = plt.subplots()

ax.scatter(y_predicted, y_test)

ax.plot((0,50), (0,50), linestyle='dashed', color='red')

ax.set_xlabel('predicted value')

ax.set_ylabel('actual value')

plt.show()

'''

結果：正解データと予測データで

　　　正の相関を確認できた

'''

横軸に予測結果　縦軸に実際のデータをプロットしています。右肩上がりのまあまあな相関が取れていますが、外れ値を除いても0.5～1.5倍のばらつきがあるようです。

以上

sklern:ランダムフォレストでアイリスデータを分類してみる

random_forest

前回は決定木一本でアイリスデータを分類してみましたが、決定木のハイパーパラメータ次第では性能が異なってきます。

このハイパーパラメータ自体の決定も自動化する方法がランダムフォレストです。

データセット読み込みからデータ分割まで

ここはいつもどおりです。

# Random forest

# モジュール：サンプルデータ＞訓練検証分割＞モデル　
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

# データのインスタンスを作成
iris = load_iris()

# キーを確認
iris.keys()
#dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# input dataとtarget data として抽出する
X, y = iris.data, iris.target

# 訓練・検証データに分割する
X_train, X_test, y_train, y_test = train_test_split(X, y ,test_size=0.3, random_state=0)

# Random forest

# モジュール：サンプルデータ＞訓練検証分割＞モデル　

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split

from sklearn.ensemble import RandomForestClassifier

# データのインスタンスを作成

iris = load_iris()

# キーを確認

iris.keys()

#dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# input dataとtarget data として抽出する

X, y = iris.data, iris.target

# 訓練・検証データに分割する

X_train, X_test, y_train, y_test = train_test_split(X, y ,test_size=0.3, random_state=0)

ランダムフォレストで決定木を１００本作成して訓練する

# ランダムフォレストをインスタンス化する 100個の決定木
forest = RandomForestClassifier(n_estimators=100,random_state=0)
forest

'''
RandomForestClassifier(bootstrap=True, class_weight=None, criterion='gini',
            max_depth=None, max_features='auto', max_leaf_nodes=None,
            min_impurity_decrease=0.0, min_impurity_split=None,
            min_samples_leaf=1, min_samples_split=2,
            min_weight_fraction_leaf=0.0, n_estimators=100, n_jobs=None,
            oob_score=False, random_state=0, verbose=0, warm_start=False)
'''

# 訓練する
forest.fit(X_train, y_train)

# ランダムフォレストをインスタンス化する 100個の決定木

forest = RandomForestClassifier(n_estimators=100,random_state=0)

forest

'''

RandomForestClassifier(bootstrap=True, class_weight=None, criterion='gini',

max_depth=None, max_features='auto', max_leaf_nodes=None,

min_impurity_decrease=0.0, min_impurity_split=None,

min_samples_leaf=1, min_samples_split=2,

min_weight_fraction_leaf=0.0, n_estimators=100, n_jobs=None,

oob_score=False, random_state=0, verbose=0, warm_start=False)

'''

# 訓練する

forest.fit(X_train, y_train)

さあ予測して性能を確認しましょう。

変数resultは

array([ True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True, False,  True,  True,  True,  True,  True,  True,  True])

array([ True, True, True, True, True, True, True, True, True,

True, True, True, True, True, True, True, True, True,

True, False, True, True, True, True, True, True, True])

になりました。97%あってますね。

# 予測する
y_predicted = forest.predict(X_test)
y_predicted

# 正解率を算出する
import pandas as pd
df = pd.DataFrame(y_test,y_predicted)#, y_test, y_predicted)

result = df.index == df[0]


score = sum(result)/len(result)
'''
0.9777777777777777
'''

# 予測する

y_predicted = forest.predict(X_test)

y_predicted

# 正解率を算出する

import pandas as pd

df = pd.DataFrame(y_test,y_predicted)#, y_test, y_predicted)

result = df.index == df[0]

score = sum(result)/len(result)

'''

0.9777777777777777

'''

ということで、１００本分の決定木を一気に評価できたわけです。

Python : graphvizのインストール方法

意外と面倒なgraphvizのインストール方法をメモっておきます。

graphvizのインストール

最初に行っておきますけど。

$ pip install graphviz　じゃだめでしたよ！！

警告

InvocationException: GraphViz’s executable “C:\Program Files (x86)\graphviz-2.38\release\bin\dot.exe” is not a file or doesn’t exist

どうやらdot.exe にパスを通しなさいと警告がでるのですが、そもそもpip install　された先がわかりませんでした。作戦変更です。

graphviz　公式サイトからのインストール

graphvizの公式webサイト

https://graphviz.gitlab.io/_pages/Download/Download_windows.html

からgraphvizのインストール graphviz-2.38.zip　をダウンロードして展開するとreleaseというフォルダが作成されます。

C:\\Program Files (x86)\\　の下に新規でgraphviz-2.38フォルダを作成して、そのさらに下にreleaseフォルダを移動します。

結果、dot.exeが

C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exe

の位置になります。（インストーラーがなさそうなので、フォルダ移動だけです。）

システム環境変数の追加

ではパスを通しましょう。

windowsボタンをおして検索に「システム環境変数」と入れます。システムのプロパティが開くので、環境変数ボタンを押して、システム環境変数のpathを編集します。

新規ボタンを押して、さっきのdot.exeのパスである

C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exe

をコピペします。

これでgraphvizが使えるようになったと思います。

以上、これで幸せになりました。

sklern:決定木でアイリスデータを分類してみる

decision_tree decision_tree.ipynb

決定木を使ってアイリスデータを分類してみます。

基本手順

基本手順はsklearnや他の機械学習モジュールであるtensor flowなども全く一緒です。

データの読み込み
訓練用データと検証用データに分割
機械学習モデルの定義とハイパーパラメータの設定
訓練
予測
性能評価

必要なモジュール

インストールしておきましょう。

$ pip install pydotplus

graphvizもインストールしておきましょう。

graphviz もインストールしておきます。別ページにしておきますので、予めやっておく必要があります。当ページの最後の方にも同じ内容を記載しておきます。

スクリプト

データの読み込み～訓練　までです。

# DecisionTreeClassifier
# モジュール：サンプルデータ＞訓練検証分割＞モデル　
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

# データのインスタンスを作成
iris = load_iris()

# キーを確認
iris.keys()
#dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# input dataとtarget data として抽出する
X, y = iris.data, iris.target

# 訓練・検証データに分割する
X_train, X_test, y_train, y_test = train_test_split(X, y ,test_size=0.3, random_state=0)

# 決定木モデルのインスタンスを作成する
tree = DecisionTreeClassifier(max_depth=10)

# 訓練する
tree.fit(X_train, y_train)

'''
DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=3,
            max_features=None, max_leaf_nodes=None,
            min_impurity_decrease=0.0, min_impurity_split=None,
            min_samples_leaf=1, min_samples_split=2,
            min_weight_fraction_leaf=0.0, presort=False, random_state=None,
            splitter='best')
'''''

# DecisionTreeClassifier

# モジュール：サンプルデータ＞訓練検証分割＞モデル　

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split

from sklearn.tree import DecisionTreeClassifier

# データのインスタンスを作成

iris = load_iris()

# キーを確認

iris.keys()

#dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# input dataとtarget data として抽出する

X, y = iris.data, iris.target

# 訓練・検証データに分割する

X_train, X_test, y_train, y_test = train_test_split(X, y ,test_size=0.3, random_state=0)

# 決定木モデルのインスタンスを作成する

tree = DecisionTreeClassifier(max_depth=10)

# 訓練する

tree.fit(X_train, y_train)

'''

DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=3,

max_features=None, max_leaf_nodes=None,

min_impurity_decrease=0.0, min_impurity_split=None,

min_samples_leaf=1, min_samples_split=2,

min_weight_fraction_leaf=0.0, presort=False, random_state=None,

splitter='best')

'''''

予測して、性能を評価します。

#予測する
y_predicted = tree.predict(X_test)
y_predicted

# 正解率を算出する
import pandas as pd
df = pd.DataFrame(y_test,y_predicted)#, y_test, y_predicted)

result = df.index == df[0]

'''
array([ True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True, False,  True,  True,  True,  True,  True,  True,  True])
'''

score = sum(result)/len(result)
'''
0.9777777777777777
'''
score

#予測する

y_predicted = tree.predict(X_test)

y_predicted

# 正解率を算出する

import pandas as pd

df = pd.DataFrame(y_test,y_predicted)#, y_test, y_predicted)

result = df.index == df[0]

'''

array([ True, True, True, True, True, True, True, True, True,

True, True, True, True, True, True, True, True, True,

True, False, True, True, True, True, True, True, True])

'''

score = sum(result)/len(result)

'''

0.9777777777777777

'''

score

では、決定木を可視化してみましょう。

# 決定木の可視化
# $ pip install pydotplus
from pydotplus import graph_from_dot_data
from sklearn.tree import export_graphviz
import os

# dot形式データの抽出
dot_data = export_graphviz(tree, filled=True,
                           rounded=True,
                           class_names=['Setosa',
                                        'Versicolor',
                                        'Virginica'],
                           feature_names=['Sepal Length',
                                          'Sepal Width',
                                          'Petal Length',
                                          'Petal Width'],
                           out_file=None)

# 決定木のプロット
# グラフのインスタンスを作成
graph = graph_from_dot_data(dot_data)

'''graphvizのインストール
https://graphviz.gitlab.io/_pages/Download/Download_windows.html
graphviz-2.38.zip
展開して、C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exeになるようにgraphviz-2.38フォルダを移動する
'''
#パスを通す
graph.progs = {'dot': u'C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exe'}

# treeグラフを保存する
graph.write_png('tree.png')

# treeグラフを描画する
from IPython.display import Image
Image(graph.create_png())

# 決定木の可視化

# $ pip install pydotplus

from pydotplus import graph_from_dot_data

from sklearn.tree import export_graphviz

import os

# dot形式データの抽出

dot_data = export_graphviz(tree, filled=True,

rounded=True,

class_names=['Setosa',

'Versicolor',

'Virginica'],

feature_names=['Sepal Length',

'Sepal Width',

'Petal Length',

'Petal Width'],

out_file=None)

# 決定木のプロット

# グラフのインスタンスを作成

graph = graph_from_dot_data(dot_data)

'''graphvizのインストール

https://graphviz.gitlab.io/_pages/Download/Download_windows.html

graphviz-2.38.zip

展開して、C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exeになるようにgraphviz-2.38フォルダを移動する

'''

#パスを通す

graph.progs = {'dot': u'C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exe'}

# treeグラフを保存する

graph.write_png('tree.png')

# treeグラフを描画する

from IPython.display import Image

Image(graph.create_png())

graph.write_png(‘tree.png’)　で決定木のグラフはホームディレクトリに出力されていますので、眺めてみましょう。

graphvizのインストール

さて、これでうまく行かない人もいるのでしょうか。

上記スクリプトの中にも注意書きを書いていたのですが、graphvizを予めインストールしておく必要があります。

しかし、pip install graphvizしても

&pip install graphviz　だけでは　graph.write_png(‘tree.png’)　の部分が実行されません。

<span class="ansi-red-intense-fg ansi-bold">InvocationException</span>: GraphViz's executable "C:\Program Files (x86)\graphviz-2.38\release\bin\dot.exe" is not a file or doesn't exist

1	<span class="ansi-red-intense-fg ansi-bold">InvocationException</span>: GraphViz's executable "C:\Program Files (x86)\graphviz-2.38\release\bin\dot.exe" is not a file or doesn't exist

どうやらdot.exe にパスを通しなさいと警告がでるのですが、そもそもpip install　された先がわかりませんでした。作戦変更です。

graphviz　公式サイトからのインストール

graphvizの公式webサイト

https://graphviz.gitlab.io/_pages/Download/Download_windows.html

からgraphvizのインストール graphviz-2.38.zip　をダウンロードして展開するとreleaseというフォルダが作成されます。

C:\\Program Files (x86)\\　の下に新規でgraphviz-2.38フォルダを作成して、そのさらに下にreleaseフォルダを移動します。

結果、dot.exeが

C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exe

の位置になります。（インストーラーがなさそうなので、フォルダ移動だけです。）

システム環境変数の追加

ではパスを通しましょう。

新規ボタンを押して、さっきのdot.exeのパスである

C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exe

をコピペします。

これでgraphvizが使えるようになったと思います。

補足：graphviz 　のpipインストール　ではだめです

(base) C:\Users\omoiy>pip install graphviz
Collecting graphviz
  Downloading https://files.pythonhosted.org/packages/17/51/d6de512dbbbab95f0adb53fb2a4396b79722f7c3fbe8ecc2d8c6ab7de00a/graphviz-0.12-py2.py3-none-any.whl
Installing collected packages: graphviz
Successfully installed graphviz-0.12

(base) C:\Users\omoiy>pip install graphviz

Collecting graphviz

Downloading https://files.pythonhosted.org/packages/17/51/d6de512dbbbab95f0adb53fb2a4396b79722f7c3fbe8ecc2d8c6ab7de00a/graphviz-0.12-py2.py3-none-any.whl

Installing collected packages: graphviz

Successfully installed graphviz-0.12

なにやら　graphviz-0.12　というバージョンがおかしなことになっているものが入ってきました・・・。

ということで、前述した公式サイトからダウンロードしてファイルを移動してパスを通して・・・という方法が良いのです。以上

VR:はじめてのOculus quest 開発

こんにちは Keita_Nakamori(´・ω・`)です。

ついに始まりましたOculus quest 開発。やっていきましょう。

開発者モードにする

まずは、Mirage Solo でもやったように、開発者モードに切り替えます。
Oculus の初期セットアップのときにスマホへOculusアプリをインストールしているはずですので、起動しましょう。
スマホ右上の設定ボタンをおして、近くにあるOculus Quest xxxxxxxxxxx がアクティブになっているのでタップすると接続済みになります。
近くにあるOculus Quest xxxxxxxxxxx>その他の設定>開発者モード　をタップしましょう。
スマートフォンにインストールされたOculus アプリからOculus Questの開発者モードを許可します。
このとき、組織名を登録しなくてはなりません。NDAがどうたらとか確認ボタンを押してください。組織名はカッコいい名前をつけてください。管理者とか開発者の名前も登録できるようですが、よくわからないので無視しました。OKボタンとか確認ボタンもないので普通にスルーです。
その後PCとOculus Questを接続すると、Oculus Quest側にUSB接続を許可しますか、というメニューが出るので、OKしましょう。
これでPCからOculus Questのライブラリフォルダにアクセスができるようになりますのでアプリのインストールファイルであるapkファイルをこのルートで設置することができます。が私はやりません！！

Buid and Run　してみる

Mirage Solo 用のUnity Project があったので、Oculus Quest用に改造します。
Unityを起動してAssetsStoreからOculus Integrationをダウンロードしインポートします。終わったらなぜかUnity がRestartしました・・・。
Project内にあるAssets/Oculus/VR/Prefabsの中にあるOVRCameraRigをHierarchyに追加し、Main Cameraを削除しておきます。
OVRCameraRigにアタッチされたOVR ManagerのTargetDevicesをQuestに変更します。
ProjectSettingsのPlayerの設定でMinimum API LevelをAndroid4.4（API level 19）に設定します。
ビルドはFaceBookではなくてAndriodのままでOKです
ではBuid and runしてみましょう。

さあ、Oculus Questを覗いてみてください。ひとまず見るだけはできる状態になっているはずです。

VR:Mirage Solo で視界共有（画像出力）

えー、Keita_Nakamori(´・ω・)です。


Mirage Solo の画像をみんなで共有するために外部のディスプレイやプロジェクタへ出力する方法を調べてみました。
Chrome Castを使えば出来る
Chromecast 3　または　Chome Cast　Ultra という、スマホの画面をテレビに無線でミラーリングするデバイスがありまして、これをテレビのHDMI入力に挿して、スマホからWifiで映像を送るというものだそうです。
Amazonで２０００円前後のものがありますが、それは最新のものではありませんので注意です。
Mirage Soloも中身がほぼスマホですから使えるというわけであります。
Mirage Solo ディスります
しかし、現在ではスタンドアロンで６DOFといえば、Mirage Soloの独壇場ではありません。Oculous questがすでに発売されており、コントローラーやSDK、ソフトウェアタイトルなど、Mirage Soloは過去の産物となりつつあります。
Mirage Soloもそれに対抗するために開発者向けのキットとして、新しいコントローラーを出していますが、一般に手に入るのはいつになるかわかりませんので絶望しかありません。
よって、今後はVR開発をOculous questでやっていくことにしました。
Oculous quest　の画像出力
Oculous quest の画像出力に関しては、scrcpyを使う方法があります。
https://qiita.com/Tomoyuki_Mikami/items/183be9b0698ee00f7fac
https://github.com/Genymobile/scrcpy
または、こちらもChrome Castが使えますので、お好みでどうぞ。
今後のOculous quest　VR開発　で参考にしたいサイト
では、今後Oculous Questで VR開発を継続していきます。
Oculus Quest向けアプリの個人開発は可能か？ 実機で確かめてみた

アリーヴェ　デルチ。(´・ω・)

2019年9月
月	火	水	木	金	土	日
						1
2	3	4	5	6	7	8
9	10	11	12	13	14	15
16	17	18	19	20	21	22
23	24	25	26	27	28	29
30

クラスタリング

サンプルデータを用意します

k-means クラスタリングをします

プロットします

ハイパーパラメータとは

最適化の方法

ではやってみましょう

機械学習モデルの評価

アイリスデータをSVMで分類する

混同行列を算出する

層化ｋ分割交差検証

ROCとAUC

ROC曲線と AUCを素早く求めて見ましょう

参考

一気にいきます。

相関グラフ

データセット読み込みからデータ分割まで

ランダムフォレストで決定木を１００本作成して訓練する

さあ予測して性能を確認しましょう。

graphvizのインストール

警告

graphviz 公式サイトからのインストール

システム環境変数の追加

基本手順

必要なモジュール

graphvizもインストールしておきましょう。

スクリプト

graphvizのインストール

graphviz 公式サイトからのインストール

システム環境変数の追加

補足：graphviz のpipインストール ではだめです

開発者モードにする

Buid and Run してみる

Chrome Castを使えば出来る

Mirage Solo ディスります

Oculous quest の画像出力

今後のOculous quest VR開発 で参考にしたいサイト

ROC曲線と　AUCを素早く求めて見ましょう

graphviz　公式サイトからのインストール

graphviz　公式サイトからのインストール

補足：graphviz 　のpipインストール　ではだめです

Buid and Run　してみる

Oculous quest　の画像出力

今後のOculous quest　VR開発　で参考にしたいサイト