Keita N - 流行の科学技術を勝手に追いかけるブログ人工知能仮想現実ブロックチェーン

sklearn:機械学習モデルを評価　混同行列・交差検証・ROC・AUC

model_evalation

今日は機械学習モデルの評価について考えてみます。

機械学習モデルの評価

訓練したモデルに対して、新しいデータが入ってきたときに、データのカテゴリをどれだけ正確に当てられたかが、その訓練済みモデルの性能になりますよね。

カテゴリの分類精として、下記４つの確率的な指標があります。

度適合率 Precision = tp / (tp + fp) :予測するクラスをなるべく間違えないようにする指標
再現率 Recall = tp / (tp +fn )
F値　 F-Value = 2/((1/適合率)+(1/再現率)) ：適合率と再現率の調和平均
正解率 (tp+tn)/(tp+fp+fn+tn) :予測と実績が一致したデータの割合

で、これを一つの行列にまとめたのが、
混同行列 Confusion matrix

というものです。

各変数になっていのは

tp : True-Positive 正例Positiveと予測して、正解Trueだった
fp : False-Positive 正例Positiveと予測して、不正解Falseだった
fn : True-Negative 負例Negativeと予測して、正解Trueだった
tn : False-Negative 負例Negativeと予測して、不正解Falseだった

という結果の数が入ります。

統計用語が入っていますが、

正例：興味のある事柄のクラスに属するデータ
負例：興味のない事柄のクラスに属するデータ

ということです。

アイリスデータをSVMで分類する

混同行列を見ていきたいので、まずはサンプルデータとしてアイリスデータをSVM分類し、予測結果まで実行してみます。

# Irisデータの class0 と class1だけを使って SVMし、混同行列を作ってみる

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC

iris = load_iris()
iris.keys()
# dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# １００データを使用する
X, y = iris.data[:100, :], iris.target[:100]

# 訓練用データと検証用データに分割する
X_train, X_test, y_train, y_test = train_test_split(X, y)

# 機械学習モデル（SVC）のインスタンスを作成する
svc = SVC()
'''
SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
  decision_function_shape='ovr', degree=3, gamma='auto_deprecated',
  kernel='rbf', max_iter=-1, probability=False, random_state=None,
  shrinking=True, tol=0.001, verbose=False)
'''
# 訓練する
svc.fit(X_train, y_train)

# 予測する
y_predicted = svc.predict(X_test)
y_predicted

y_true = y_test == y_predicted
score = sum(y_true) / len(y_true)
print('score : ', score)

# Irisデータの class0 と class1だけを使って SVMし、混同行列を作ってみる

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split

from sklearn.svm import SVC

iris = load_iris()

iris.keys()

# dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# １００データを使用する

X, y = iris.data[:100, :], iris.target[:100]

# 訓練用データと検証用データに分割する

X_train, X_test, y_train, y_test = train_test_split(X, y)

# 機械学習モデル（SVC）のインスタンスを作成する

svc = SVC()

'''

SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,

decision_function_shape='ovr', degree=3, gamma='auto_deprecated',

kernel='rbf', max_iter=-1, probability=False, random_state=None,

shrinking=True, tol=0.001, verbose=False)

'''

# 訓練する

svc.fit(X_train, y_train)

# 予測する

y_predicted = svc.predict(X_test)

y_predicted

y_true = y_test == y_predicted

score = sum(y_true) / len(y_true)

print('score : ', score)

混同行列を算出する

基本的には適合率が高いものが優秀と考えています。

再現率も考慮して　適合率と再現率の間を取るのがF１という値です。

# 混同行列の算出 (分類レポート)
from sklearn.metrics import classification_report

# 適合率precision 再現率recall F値f1-score　
print(classification_report(y_test, y_predicted))

# 混同行列の算出 (分類レポート)

from sklearn.metrics import classification_report

# 適合率precision 再現率recall F値f1-score　

print(classification_report(y_test, y_predicted))

              precision    recall  f1-score   support

           0       1.00      1.00      1.00         9
           1       1.00      1.00      1.00        16

   micro avg       1.00      1.00      1.00        25
   macro avg       1.00      1.00      1.00        25
weighted avg       1.00      1.00      1.00        25

precision recall f1-score support

0 1.00 1.00 1.00 9

1 1.00 1.00 1.00 16

micro avg 1.00 1.00 1.00 25

macro avg 1.00 1.00 1.00 25

weighted avg 1.00 1.00 1.00 25

こんな形のマトリクスで出力されます。

層化ｋ分割交差検証

もともとのデータをk個の塊に等分して、訓練用データと検証用データの組み合わせをkパターン用意して、kパターンすべてについて一気に交差検証をする方法です。

# 交差検証           Cross Validation
# 層化ｋ分割交差検証 Stratified k-fold Cross Validation

from sklearn.svm import SVC
from sklearn.model_selection import cross_val_score

# 機械学習モデル（SVC）のインスタンスを作成する
svc = SVC()なので１０個

# 層化10分割交差検証を実施する
cvs = cross_val_score(svc, X, y, cv=10, scoring='precision')

# 適合率（Precision）の結果　１０パターンの交差検証なので１０個ある
print(cvs) # [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]

# 交差検証 Cross Validation

# 層化ｋ分割交差検証 Stratified k-fold Cross Validation

from sklearn.svm import SVC

from sklearn.model_selection import cross_val_score

# 機械学習モデル（SVC）のインスタンスを作成する

svc = SVC()なので１０個

# 層化10分割交差検証を実施する

cvs = cross_val_score(svc, X, y, cv=10, scoring='precision')

# 適合率（Precision）の結果　１０パターンの交差検証なので１０個ある

print(cvs) # [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]

ROCとAUC

予測確率の正確さを見ていく方法です。

ROC曲線：Receiver Operating Characteristic
AUC : Area Under the Curve

確率の高い順にデータを並べる
確率以上のデータはすべて正例と予測する

実際に正例だったデータの割合（真陽性率）
実際は負例にも関わらず正例と予測されたデータの割合（偽陽性率）

正例と予測する確率のしきい値を変えていったときに真陽性率を横軸、
偽陽性率を縦軸にとったものがROC曲線

# ROC曲線
import numpy as np
import matplotlib.pyplot as plt

#偽陽性率fpr と 真陽性率tpr を計算する
fpr = np.array([0,0,0,1,1,2,3,3,3,4,5,5,6,7,8,8,8,9,10,10,11,12,12,13,14])/14

tpr = np.array([1,2,2,3,3,3,4,5,6,6,6,7,7,7,7,8,9,9,9,10,10,10,11,11,11])/11

# ROC曲線を可視化する
fig, ax = plt.subplots()
ax.step(fpr, tpr)
ax.set_xlabel('False Positive rate')
ax.set_ylabel('True Positive rate')
plt.show()

# ROC曲線

import numpy as np

import matplotlib.pyplot as plt

#偽陽性率fpr と真陽性率tpr を計算する

fpr = np.array([0,0,0,1,1,2,3,3,3,4,5,5,6,7,8,8,8,9,10,10,11,12,12,13,14])/14

tpr = np.array([1,2,2,3,3,3,4,5,6,6,6,7,7,7,7,8,9,9,9,10,10,10,11,11,11])/11

# ROC曲線を可視化する

fig, ax = plt.subplots()

ax.step(fpr, tpr)

ax.set_xlabel('False Positive rate')

ax.set_ylabel('True Positive rate')

plt.show()

次に AUC曲線 Area Under the Curveですが、要するにROC曲線の面積のことです。1に近いほど正例、0.5に近づくほど正例と負例が混在していて分類できなくなるという意味があります。

ROC曲線と　AUCを素早く求めて見ましょう

# ROC曲線と　AUC曲線を素早く求める
from sklearn.metrics import roc_curve # ROC曲線を求めるモジュール

# ラベル：各ユーザーが退会したら１　していなかったら０
labels = np.array([1,1,0,1,0,0,1,1,1,0,0,1,0,0,0,1,1,0,0,1,0,0,1,0,0])

# 各ユーザーの予測退会率
probablies = np.array([0.98, 0.95, 0.90, 0.87, 0.85,
                       0.80, 0.75, 0.71, 0.63, 0.55,
                       0.51, 0.47, 0.43, 0.38, 0.35,
                       0.31, 0.28, 0.24, 0.22, 0.19,
                       0.15, 0.12, 0.08, 0.04, 0.01])

# 偽陽性率fpr 真陽性率tpr しきい値thresholdを算出する
fpr, tpr, threshold = roc_curve(labels, probablies)
print('fpr : ', fpr)
print('tpr : ', tpr)

# ROC曲線を可視化する
fig, ax = plt.subplots()
ax.step(fpr, tpr)
ax.set_xlabel('False Positive rate')
ax.set_ylabel('True Positive rate')
plt.show()

# AUCを算出する
from sklearn.metrics import roc_auc_score
roc_auc_score(labels, probablies) # 0.6558441558441558

# ROC曲線と　AUC曲線を素早く求める

from sklearn.metrics import roc_curve # ROC曲線を求めるモジュール

# ラベル：各ユーザーが退会したら１　していなかったら０

labels = np.array([1,1,0,1,0,0,1,1,1,0,0,1,0,0,0,1,1,0,0,1,0,0,1,0,0])

# 各ユーザーの予測退会率

probablies = np.array([0.98, 0.95, 0.90, 0.87, 0.85,

0.80, 0.75, 0.71, 0.63, 0.55,

0.51, 0.47, 0.43, 0.38, 0.35,

0.31, 0.28, 0.24, 0.22, 0.19,

0.15, 0.12, 0.08, 0.04, 0.01])

# 偽陽性率fpr 真陽性率tpr しきい値thresholdを算出する

fpr, tpr, threshold = roc_curve(labels, probablies)

print('fpr : ', fpr)

print('tpr : ', tpr)

# ROC曲線を可視化する

fig, ax = plt.subplots()

ax.step(fpr, tpr)

ax.set_xlabel('False Positive rate')

ax.set_ylabel('True Positive rate')

plt.show()

# AUCを算出する

from sklearn.metrics import roc_auc_score

roc_auc_score(labels, probablies) # 0.6558441558441558

参考

機械学習の評価指標 – ROC曲線とAUC

sklearn:主成分分析をやってみる

principal_component_analysis

主成分分析です。

高次元データに対して、ばらつきが大きくなる方向を見極め、次元を落とす方法です。

まずはサンプルデータを作ってプロットしてみます

%matplotlib inline

# 主成分分析　principal component analysis,PCA
import numpy as np
import matplotlib.pyplot as plt

# サンプルデータの作成
np.random.seed(0)
X = np.random.random(size=50) 
Y = 2 * X + 0.5 * np.random.rand(50)

# サンプルデータの可視化
fig, ax = plt.subplots()
ax.scatter(X,Y)
plt.show()

%matplotlib inline

# 主成分分析　principal component analysis,PCA

import numpy as np

import matplotlib.pyplot as plt

# サンプルデータの作成

np.random.seed(0)

X = np.random.random(size=50)

Y = 2 * X + 0.5 * np.random.rand(50)

# サンプルデータの可視化

fig, ax = plt.subplots()

ax.scatter(X,Y)

plt.show()

で、これを主成分分析すると

# 主成分分析（PCA）のインスタンスを作成する
from sklearn.decomposition import PCA
pca = PCA(n_components=2)
'''
PCA(copy=True, iterated_power='auto', n_components=2, random_state=None,
  svd_solver='auto', tol=0.0, whiten=False)
'''
# 主成分分析を実行
X_pca = pca.fit_transform(np.hstack((X[:,np.newaxis], Y[:, np.newaxis])))

# 主成分分析結果を可視化する
fig, ax =plt.subplots()
ax.scatter(X_pca[:, 0], X_pca[:, 1])
ax.set_xlabel('PC1')
ax.set_ylabel('PC2')
ax.set_xlim(-1.1, 1.1)
ax.set_ylim(-1.1, 1.1)
plt.show()

# 主成分分析（PCA）のインスタンスを作成する

from sklearn.decomposition import PCA

pca = PCA(n_components=2)

'''

PCA(copy=True, iterated_power='auto', n_components=2, random_state=None,

svd_solver='auto', tol=0.0, whiten=False)

'''

# 主成分分析を実行

X_pca = pca.fit_transform(np.hstack((X[:,np.newaxis], Y[:, np.newaxis])))

# 主成分分析結果を可視化する

fig, ax =plt.subplots()

ax.scatter(X_pca[:, 0], X_pca[:, 1])

ax.set_xlabel('PC1')

ax.set_ylabel('PC2')

ax.set_xlim(-1.1, 1.1)

ax.set_ylim(-1.1, 1.1)

plt.show()

となり、軸PC1方向にデータは散らばっているが軸PC2にはあまり散らばっていないことがわかるわけです。って、可視化すると当たり前ですよね・・・。

いずれ必要になったときに、次元削減関係は深堀りしていきますので、今日はただのメモ書きになりました。

sklern:ボストンデータを重回帰分析　

今日は　ボストンの不動産データを使って重回帰分析をしてみましょう。

一気にいきます。

データ読み込み　訓練検証データに分割　機械学習モデル定義　訓練　予測

# 重回帰分析

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

# データ読み込み
boston = load_boston()
boston.keys()
'''
dict_keys(['data', 'target', 'feature_names', 'DESCR', 'filename'])
'''

boston['feature_names']
'''
array(['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD',
       'TAX', 'PTRATIO', 'B', 'LSTAT'], dtype='<U7')
'''

# 訓練・検証データに分轄
X_train, X_test, y_train, y_test =train_test_split(boston.data, boston.target, test_size=0.3, random_state=0)

# 数学モデルのインスタンスを作成する
lr = LinearRegression()

# 訓練する
lr.fit(X_train, y_train)

'''
LinearRegression(copy_X=True, fit_intercept=True, n_jobs=None,
         normalize=False)
'''

# 予測する
y_predicted = lr.predict(X_test)
y_predicted

# 重回帰分析

from sklearn.datasets import load_boston

from sklearn.model_selection import train_test_split

from sklearn.linear_model import LinearRegression

# データ読み込み

boston = load_boston()

boston.keys()

'''

dict_keys(['data', 'target', 'feature_names', 'DESCR', 'filename'])

'''

boston['feature_names']

'''

array(['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD',

'TAX', 'PTRATIO', 'B', 'LSTAT'], dtype='<U7')

'''

# 訓練・検証データに分轄

X_train, X_test, y_train, y_test =train_test_split(boston.data, boston.target, test_size=0.3, random_state=0)

# 数学モデルのインスタンスを作成する

lr = LinearRegression()

# 訓練する

lr.fit(X_train, y_train)

'''

LinearRegression(copy_X=True, fit_intercept=True, n_jobs=None,

normalize=False)

'''

# 予測する

y_predicted = lr.predict(X_test)

y_predicted

相関グラフ

# 可視化する：正解データと予測データを比較する
%matplotlib inline
import matplotlib.pyplot as plt

fig, ax = plt.subplots()
ax.scatter(y_predicted, y_test)
ax.plot((0,50), (0,50), linestyle='dashed', color='red')
ax.set_xlabel('predicted value')
ax.set_ylabel('actual value')
plt.show()

'''
結果：正解データと予測データで
　　　正の相関を確認できた
'''

# 可視化する：正解データと予測データを比較する

%matplotlib inline

import matplotlib.pyplot as plt

fig, ax = plt.subplots()

ax.scatter(y_predicted, y_test)

ax.plot((0,50), (0,50), linestyle='dashed', color='red')

ax.set_xlabel('predicted value')

ax.set_ylabel('actual value')

plt.show()

'''

結果：正解データと予測データで

　　　正の相関を確認できた

'''

横軸に予測結果　縦軸に実際のデータをプロットしています。右肩上がりのまあまあな相関が取れていますが、外れ値を除いても0.5～1.5倍のばらつきがあるようです。

以上

sklern:ランダムフォレストでアイリスデータを分類してみる

random_forest

前回は決定木一本でアイリスデータを分類してみましたが、決定木のハイパーパラメータ次第では性能が異なってきます。

このハイパーパラメータ自体の決定も自動化する方法がランダムフォレストです。

データセット読み込みからデータ分割まで

ここはいつもどおりです。

# Random forest

# モジュール：サンプルデータ＞訓練検証分割＞モデル　
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

# データのインスタンスを作成
iris = load_iris()

# キーを確認
iris.keys()
#dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# input dataとtarget data として抽出する
X, y = iris.data, iris.target

# 訓練・検証データに分割する
X_train, X_test, y_train, y_test = train_test_split(X, y ,test_size=0.3, random_state=0)

# Random forest

# モジュール：サンプルデータ＞訓練検証分割＞モデル　

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split

from sklearn.ensemble import RandomForestClassifier

# データのインスタンスを作成

iris = load_iris()

# キーを確認

iris.keys()

#dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# input dataとtarget data として抽出する

X, y = iris.data, iris.target

# 訓練・検証データに分割する

X_train, X_test, y_train, y_test = train_test_split(X, y ,test_size=0.3, random_state=0)

ランダムフォレストで決定木を１００本作成して訓練する

# ランダムフォレストをインスタンス化する 100個の決定木
forest = RandomForestClassifier(n_estimators=100,random_state=0)
forest

'''
RandomForestClassifier(bootstrap=True, class_weight=None, criterion='gini',
            max_depth=None, max_features='auto', max_leaf_nodes=None,
            min_impurity_decrease=0.0, min_impurity_split=None,
            min_samples_leaf=1, min_samples_split=2,
            min_weight_fraction_leaf=0.0, n_estimators=100, n_jobs=None,
            oob_score=False, random_state=0, verbose=0, warm_start=False)
'''

# 訓練する
forest.fit(X_train, y_train)

# ランダムフォレストをインスタンス化する 100個の決定木

forest = RandomForestClassifier(n_estimators=100,random_state=0)

forest

'''

RandomForestClassifier(bootstrap=True, class_weight=None, criterion='gini',

max_depth=None, max_features='auto', max_leaf_nodes=None,

min_impurity_decrease=0.0, min_impurity_split=None,

min_samples_leaf=1, min_samples_split=2,

min_weight_fraction_leaf=0.0, n_estimators=100, n_jobs=None,

oob_score=False, random_state=0, verbose=0, warm_start=False)

'''

# 訓練する

forest.fit(X_train, y_train)

さあ予測して性能を確認しましょう。

変数resultは

array([ True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True, False,  True,  True,  True,  True,  True,  True,  True])

array([ True, True, True, True, True, True, True, True, True,

True, True, True, True, True, True, True, True, True,

True, False, True, True, True, True, True, True, True])

になりました。97%あってますね。

# 予測する
y_predicted = forest.predict(X_test)
y_predicted

# 正解率を算出する
import pandas as pd
df = pd.DataFrame(y_test,y_predicted)#, y_test, y_predicted)

result = df.index == df[0]


score = sum(result)/len(result)
'''
0.9777777777777777
'''

# 予測する

y_predicted = forest.predict(X_test)

y_predicted

# 正解率を算出する

import pandas as pd

df = pd.DataFrame(y_test,y_predicted)#, y_test, y_predicted)

result = df.index == df[0]

score = sum(result)/len(result)

'''

0.9777777777777777

'''

ということで、１００本分の決定木を一気に評価できたわけです。

Python : graphvizのインストール方法

意外と面倒なgraphvizのインストール方法をメモっておきます。

graphvizのインストール

最初に行っておきますけど。

$ pip install graphviz　じゃだめでしたよ！！

警告

InvocationException: GraphViz’s executable “C:\Program Files (x86)\graphviz-2.38\release\bin\dot.exe” is not a file or doesn’t exist

どうやらdot.exe にパスを通しなさいと警告がでるのですが、そもそもpip install　された先がわかりませんでした。作戦変更です。

graphviz　公式サイトからのインストール

graphvizの公式webサイト

https://graphviz.gitlab.io/_pages/Download/Download_windows.html

からgraphvizのインストール graphviz-2.38.zip　をダウンロードして展開するとreleaseというフォルダが作成されます。

C:\\Program Files (x86)\\　の下に新規でgraphviz-2.38フォルダを作成して、そのさらに下にreleaseフォルダを移動します。

結果、dot.exeが

C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exe

の位置になります。（インストーラーがなさそうなので、フォルダ移動だけです。）

システム環境変数の追加

ではパスを通しましょう。

windowsボタンをおして検索に「システム環境変数」と入れます。システムのプロパティが開くので、環境変数ボタンを押して、システム環境変数のpathを編集します。

新規ボタンを押して、さっきのdot.exeのパスである

C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exe

をコピペします。

これでgraphvizが使えるようになったと思います。

以上、これで幸せになりました。

sklern:決定木でアイリスデータを分類してみる

decision_tree decision_tree.ipynb

決定木を使ってアイリスデータを分類してみます。

基本手順

基本手順はsklearnや他の機械学習モジュールであるtensor flowなども全く一緒です。

データの読み込み
訓練用データと検証用データに分割
機械学習モデルの定義とハイパーパラメータの設定
訓練
予測
性能評価

必要なモジュール

インストールしておきましょう。

$ pip install pydotplus

graphvizもインストールしておきましょう。

graphviz もインストールしておきます。別ページにしておきますので、予めやっておく必要があります。当ページの最後の方にも同じ内容を記載しておきます。

スクリプト

データの読み込み～訓練　までです。

# DecisionTreeClassifier
# モジュール：サンプルデータ＞訓練検証分割＞モデル　
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

# データのインスタンスを作成
iris = load_iris()

# キーを確認
iris.keys()
#dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# input dataとtarget data として抽出する
X, y = iris.data, iris.target

# 訓練・検証データに分割する
X_train, X_test, y_train, y_test = train_test_split(X, y ,test_size=0.3, random_state=0)

# 決定木モデルのインスタンスを作成する
tree = DecisionTreeClassifier(max_depth=10)

# 訓練する
tree.fit(X_train, y_train)

'''
DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=3,
            max_features=None, max_leaf_nodes=None,
            min_impurity_decrease=0.0, min_impurity_split=None,
            min_samples_leaf=1, min_samples_split=2,
            min_weight_fraction_leaf=0.0, presort=False, random_state=None,
            splitter='best')
'''''

# DecisionTreeClassifier

# モジュール：サンプルデータ＞訓練検証分割＞モデル　

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split

from sklearn.tree import DecisionTreeClassifier

# データのインスタンスを作成

iris = load_iris()

# キーを確認

iris.keys()

#dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

# input dataとtarget data として抽出する

X, y = iris.data, iris.target

# 訓練・検証データに分割する

X_train, X_test, y_train, y_test = train_test_split(X, y ,test_size=0.3, random_state=0)

# 決定木モデルのインスタンスを作成する

tree = DecisionTreeClassifier(max_depth=10)

# 訓練する

tree.fit(X_train, y_train)

'''

DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=3,

max_features=None, max_leaf_nodes=None,

min_impurity_decrease=0.0, min_impurity_split=None,

min_samples_leaf=1, min_samples_split=2,

min_weight_fraction_leaf=0.0, presort=False, random_state=None,

splitter='best')

'''''

予測して、性能を評価します。

#予測する
y_predicted = tree.predict(X_test)
y_predicted

# 正解率を算出する
import pandas as pd
df = pd.DataFrame(y_test,y_predicted)#, y_test, y_predicted)

result = df.index == df[0]

'''
array([ True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True,  True,  True,  True,  True,  True,  True,  True,  True,
        True, False,  True,  True,  True,  True,  True,  True,  True])
'''

score = sum(result)/len(result)
'''
0.9777777777777777
'''
score

#予測する

y_predicted = tree.predict(X_test)

y_predicted

# 正解率を算出する

import pandas as pd

df = pd.DataFrame(y_test,y_predicted)#, y_test, y_predicted)

result = df.index == df[0]

'''

array([ True, True, True, True, True, True, True, True, True,

True, True, True, True, True, True, True, True, True,

True, False, True, True, True, True, True, True, True])

'''

score = sum(result)/len(result)

'''

0.9777777777777777

'''

score

では、決定木を可視化してみましょう。

# 決定木の可視化
# $ pip install pydotplus
from pydotplus import graph_from_dot_data
from sklearn.tree import export_graphviz
import os

# dot形式データの抽出
dot_data = export_graphviz(tree, filled=True,
                           rounded=True,
                           class_names=['Setosa',
                                        'Versicolor',
                                        'Virginica'],
                           feature_names=['Sepal Length',
                                          'Sepal Width',
                                          'Petal Length',
                                          'Petal Width'],
                           out_file=None)

# 決定木のプロット
# グラフのインスタンスを作成
graph = graph_from_dot_data(dot_data)

'''graphvizのインストール
https://graphviz.gitlab.io/_pages/Download/Download_windows.html
graphviz-2.38.zip
展開して、C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exeになるようにgraphviz-2.38フォルダを移動する
'''
#パスを通す
graph.progs = {'dot': u'C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exe'}

# treeグラフを保存する
graph.write_png('tree.png')

# treeグラフを描画する
from IPython.display import Image
Image(graph.create_png())

# 決定木の可視化

# $ pip install pydotplus

from pydotplus import graph_from_dot_data

from sklearn.tree import export_graphviz

import os

# dot形式データの抽出

dot_data = export_graphviz(tree, filled=True,

rounded=True,

class_names=['Setosa',

'Versicolor',

'Virginica'],

feature_names=['Sepal Length',

'Sepal Width',

'Petal Length',

'Petal Width'],

out_file=None)

# 決定木のプロット

# グラフのインスタンスを作成

graph = graph_from_dot_data(dot_data)

'''graphvizのインストール

https://graphviz.gitlab.io/_pages/Download/Download_windows.html

graphviz-2.38.zip

展開して、C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exeになるようにgraphviz-2.38フォルダを移動する

'''

#パスを通す

graph.progs = {'dot': u'C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exe'}

# treeグラフを保存する

graph.write_png('tree.png')

# treeグラフを描画する

from IPython.display import Image

Image(graph.create_png())

graph.write_png(‘tree.png’)　で決定木のグラフはホームディレクトリに出力されていますので、眺めてみましょう。

graphvizのインストール

さて、これでうまく行かない人もいるのでしょうか。

上記スクリプトの中にも注意書きを書いていたのですが、graphvizを予めインストールしておく必要があります。

しかし、pip install graphvizしても

&pip install graphviz　だけでは　graph.write_png(‘tree.png’)　の部分が実行されません。

<span class="ansi-red-intense-fg ansi-bold">InvocationException</span>: GraphViz's executable "C:\Program Files (x86)\graphviz-2.38\release\bin\dot.exe" is not a file or doesn't exist

1	<span class="ansi-red-intense-fg ansi-bold">InvocationException</span>: GraphViz's executable "C:\Program Files (x86)\graphviz-2.38\release\bin\dot.exe" is not a file or doesn't exist

どうやらdot.exe にパスを通しなさいと警告がでるのですが、そもそもpip install　された先がわかりませんでした。作戦変更です。

graphviz　公式サイトからのインストール

graphvizの公式webサイト

https://graphviz.gitlab.io/_pages/Download/Download_windows.html

からgraphvizのインストール graphviz-2.38.zip　をダウンロードして展開するとreleaseというフォルダが作成されます。

C:\\Program Files (x86)\\　の下に新規でgraphviz-2.38フォルダを作成して、そのさらに下にreleaseフォルダを移動します。

結果、dot.exeが

C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exe

の位置になります。（インストーラーがなさそうなので、フォルダ移動だけです。）

システム環境変数の追加

ではパスを通しましょう。

新規ボタンを押して、さっきのdot.exeのパスである

C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exe

をコピペします。

これでgraphvizが使えるようになったと思います。

補足：graphviz 　のpipインストール　ではだめです

(base) C:\Users\omoiy>pip install graphviz
Collecting graphviz
  Downloading https://files.pythonhosted.org/packages/17/51/d6de512dbbbab95f0adb53fb2a4396b79722f7c3fbe8ecc2d8c6ab7de00a/graphviz-0.12-py2.py3-none-any.whl
Installing collected packages: graphviz
Successfully installed graphviz-0.12

(base) C:\Users\omoiy>pip install graphviz

Collecting graphviz

Downloading https://files.pythonhosted.org/packages/17/51/d6de512dbbbab95f0adb53fb2a4396b79722f7c3fbe8ecc2d8c6ab7de00a/graphviz-0.12-py2.py3-none-any.whl

Installing collected packages: graphviz

Successfully installed graphviz-0.12

なにやら　graphviz-0.12　というバージョンがおかしなことになっているものが入ってきました・・・。

ということで、前述した公式サイトからダウンロードしてファイルを移動してパスを通して・・・という方法が良いのです。以上

VR:はじめてのOculus quest 開発

こんにちは Keita_Nakamori(´・ω・`)です。

ついに始まりましたOculus quest 開発。やっていきましょう。

開発者モードにする

まずは、Mirage Solo でもやったように、開発者モードに切り替えます。
Oculus の初期セットアップのときにスマホへOculusアプリをインストールしているはずですので、起動しましょう。
スマホ右上の設定ボタンをおして、近くにあるOculus Quest xxxxxxxxxxx がアクティブになっているのでタップすると接続済みになります。
近くにあるOculus Quest xxxxxxxxxxx>その他の設定>開発者モード　をタップしましょう。
スマートフォンにインストールされたOculus アプリからOculus Questの開発者モードを許可します。
このとき、組織名を登録しなくてはなりません。NDAがどうたらとか確認ボタンを押してください。組織名はカッコいい名前をつけてください。管理者とか開発者の名前も登録できるようですが、よくわからないので無視しました。OKボタンとか確認ボタンもないので普通にスルーです。
その後PCとOculus Questを接続すると、Oculus Quest側にUSB接続を許可しますか、というメニューが出るので、OKしましょう。
これでPCからOculus Questのライブラリフォルダにアクセスができるようになりますのでアプリのインストールファイルであるapkファイルをこのルートで設置することができます。が私はやりません！！

Buid and Run　してみる

Mirage Solo 用のUnity Project があったので、Oculus Quest用に改造します。
Unityを起動してAssetsStoreからOculus Integrationをダウンロードしインポートします。終わったらなぜかUnity がRestartしました・・・。
Project内にあるAssets/Oculus/VR/Prefabsの中にあるOVRCameraRigをHierarchyに追加し、Main Cameraを削除しておきます。
OVRCameraRigにアタッチされたOVR ManagerのTargetDevicesをQuestに変更します。
ProjectSettingsのPlayerの設定でMinimum API LevelをAndroid4.4（API level 19）に設定します。
ビルドはFaceBookではなくてAndriodのままでOKです
ではBuid and runしてみましょう。

さあ、Oculus Questを覗いてみてください。ひとまず見るだけはできる状態になっているはずです。

VR:Mirage Solo で視界共有（画像出力）

えー、Keita_Nakamori(´・ω・)です。


Mirage Solo の画像をみんなで共有するために外部のディスプレイやプロジェクタへ出力する方法を調べてみました。
Chrome Castを使えば出来る
Chromecast 3　または　Chome Cast　Ultra という、スマホの画面をテレビに無線でミラーリングするデバイスがありまして、これをテレビのHDMI入力に挿して、スマホからWifiで映像を送るというものだそうです。
Amazonで２０００円前後のものがありますが、それは最新のものではありませんので注意です。
Mirage Soloも中身がほぼスマホですから使えるというわけであります。
Mirage Solo ディスります
しかし、現在ではスタンドアロンで６DOFといえば、Mirage Soloの独壇場ではありません。Oculous questがすでに発売されており、コントローラーやSDK、ソフトウェアタイトルなど、Mirage Soloは過去の産物となりつつあります。
Mirage Soloもそれに対抗するために開発者向けのキットとして、新しいコントローラーを出していますが、一般に手に入るのはいつになるかわかりませんので絶望しかありません。
よって、今後はVR開発をOculous questでやっていくことにしました。
Oculous quest　の画像出力
Oculous quest の画像出力に関しては、scrcpyを使う方法があります。
https://qiita.com/Tomoyuki_Mikami/items/183be9b0698ee00f7fac
https://github.com/Genymobile/scrcpy
または、こちらもChrome Castが使えますので、お好みでどうぞ。
今後のOculous quest　VR開発　で参考にしたいサイト
では、今後Oculous Questで VR開発を継続していきます。
Oculus Quest向けアプリの個人開発は可能か？ 実機で確かめてみた

アリーヴェ　デルチ。(´・ω・)

VR:シーンをAppボタンでリセットする

モジュールUnityEngine.SceneManagementを使ってシーンをリセットしてみます。

ごみオブジェクトが溜まりすぎたときは一気に消去できて便利です。

DayDreamコントローラーのAppボタンが押されたとき、シーンがロードされます。

GvrControllerInput.AppButtonDownとSceneManager.LoadScene(0)を使っています。

スクリプト(Reset.cs)

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using UnityEngine.SceneManagement;          // これ　重要

public class Reset : MonoBehaviour
{
	private void Update()
	{
		if (GvrControllerInput.AppButtonDown)
		{
			SceneManager.LoadScene(0);
		}
	}
}

using System.Collections;

using System.Collections.Generic;

using UnityEngine;

using UnityEngine.SceneManagement; // これ　重要

public class Reset : MonoBehaviour

{

private void Update()

{

if (GvrControllerInput.AppButtonDown)

{

SceneManager.LoadScene(0);

}

これを、ヒエラルキーのどこでもいいのでCreate Empty してAdd Component>Reset.cs を指定すれば、当該スクリプトが発動します。

以上でございます。(´・ω・`)

VR:オブジェクトの重力落下、衝突、再実体化、破壊

こんにちは、Keita_Nakamori(´・ω・`)です。

今日は、オブジェクトの重力落下、衝突、最実体化、破壊までをやってみましたのでメモっておきます。

モデルの作成

まずはモデルの作成ですが、滑り台とシュートを作っていきました。

それぞれ、Create Emptyし、その中に部品を配置し一つの塊にしました。

その際、今回のモデルは斜面なので、なるべく簡単に調整できるよう、一旦、水平に作成したものをプレハブ化してPrefabsフォルダに保存し、ヒエラルキーへ呼び出したあとに、Rotationで斜面にするというやり方を採用しました。

さらに、後ほど再実体化（Instantiate)するときの出現位置を設定するために、予めプレハブ構成の中に、出現位置としてオブジェクトをひとつ配置しておくことで、指定が簡単になるメリットがありました。（結構重要）

重力落下と衝突面の定義

重力の定義は、オブジェクトに対してAdd Component>rigid body　でUse GravityをONにすれば重力1Gが定義されます。

質量Mass=0.01kg
進行方向抵抗Drag=0
回転抵抗Angler Drag=0

としました。

衝突面の定義は、オブジェクトに対してAdd Component>Mesh Collider で定義できます。注意ですがここでIs Triggerにチャックを入れてはダメです。これは接触を検知したら別のスクリプトを走らせるためのものなので、逆に接触しなくなります。（非常にわかりにくい。）

MeterialへはPysicalMaterialとして予め作成したPM010を定義しました。

再実体化(Instatiate)

オブジェクトを再出現させるところをやっていきます。

Crate EmptyでGameControllerという名前にして、そこにAdd Componentで再出現スクリプト(Summon.cs)をアタッチする作戦で行きます。

スクリプト(Summon.cs)

DayDreamコントローラーのメインボタンを押すと発動するように作成しました。

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class Summon : MonoBehaviour
{

	//当該スクリプトは、任意の3Dオブジェクトを任意の座標に召喚します。
	//当該スクリプトは、予め作っておいたEmptyObjectであるゲームコントローラーに入れます。

	//インスペクタ上で代入：召喚するオブジェクトをアタッチする(Assetsからドラッグすること)
	[SerializeField] GameObject summonObject;

	//インスペクタ上で代入：召喚する座標をもつオブジェクトをアタッチする。かEmptyObjectでも良い。
	[SerializeField] Transform summonPosition;

	void Update()
	{
		//Daydreamコントローラーをクリックダウンすると下記関数Summon()が発動する。
		if (GvrControllerInput.ClickButtonDown)
		{
			SummonFunc();
		}
	}
	void SummonFunc()
	{
		//summonObjectをsummonPosition.positionの位置、summonPosition.rotationの向きで召喚する
		Instantiate(summonObject, summonPosition.position, summonPosition.rotation);
	}
}

using System.Collections;

using System.Collections.Generic;

using UnityEngine;

public class Summon : MonoBehaviour

{

//当該スクリプトは、任意の3Dオブジェクトを任意の座標に召喚します。

//当該スクリプトは、予め作っておいたEmptyObjectであるゲームコントローラーに入れます。

//インスペクタ上で代入：召喚するオブジェクトをアタッチする(Assetsからドラッグすること)

[SerializeField] GameObject summonObject;

//インスペクタ上で代入：召喚する座標をもつオブジェクトをアタッチする。かEmptyObjectでも良い。

[SerializeField] Transform summonPosition;

void Update()

{

//Daydreamコントローラーをクリックダウンすると下記関数Summon()が発動する。

if (GvrControllerInput.ClickButtonDown)

{

SummonFunc();

}

void SummonFunc()

{

//summonObjectをsummonPosition.positionの位置、summonPosition.rotationの向きで召喚する

Instantiate(summonObject, summonPosition.position, summonPosition.rotation);

}

GameControllerのインスペクター

スクリプトのおかげで、Summon ObjectとSummon Positionをインスペクターから定義できるようになっているはずです。

Summon Objectには出現位置として使用し、InstatiateするオブジェクトをAssetsのPrefabからドラッグします。ヒエラルキーから持ってくるとうまく再実体化できませんでした。

Summon Psition にはプレハブモデルの中にひとつだけ搬送ワークを設置していますので、それをヒエラルキーからアタッチして座標を取得します。

やってみましょう

ここで問題発生です。オブジェクトが増えるとFPSが極端に下がってしまいます。

オブジェクトの破壊

出現から一定時間後に自動的に破壊されるようにスクリプトを追加します。

スクリプト(TimeLimitObj.cs)

using UnityEngine;
using System.Collections;

public class TimeLimitObj : MonoBehaviour
{
	//オブジェクトのライフタイムのデフォルト値を定義
	//およびインスペクターから変更可能にする
	public float life_time = 1.5f;

	//タイムカウンターの変数定義
	float time = 0f;

	// Use this for initialization
	void Start()
	{
		//タイムカウンターの変数定義
		time = 0;
	}

	// Update is called once per frame
	void Update()
	{
		//処理ステップ毎の時間を積算する
		time += Time.deltaTime;
		print(time);

		//積算時間がライフタイムを超えたら
		//そのオブジェクトを破壊する
		if (time > life_time)
		{
			Destroy(gameObject);
		}
	}
}

using UnityEngine;

using System.Collections;

public class TimeLimitObj : MonoBehaviour

{

//オブジェクトのライフタイムのデフォルト値を定義

//およびインスペクターから変更可能にする

public float life_time = 1.5f;

//タイムカウンターの変数定義

float time = 0f;

// Use this for initialization

void Start()

{

//タイムカウンターの変数定義

time = 0;

}

// Update is called once per frame

void Update()

{

//処理ステップ毎の時間を積算する

time += Time.deltaTime;

print(time);

//積算時間がライフタイムを超えたら

//そのオブジェクトを破壊する

if (time > life_time)

{

Destroy(gameObject);

}

オブジェクト自身にインスペクターからAdd Component>TimeLimitObj をアタッチして、Life_timeに例として60(秒)などと入力します。

結果、60秒後には全てのオブジェクトが消滅します。

次回の課題

VR（Mirage Solo)の視界を他者も共有できるようにしたい。

まともな人間のアセットを配置したい・・・

2024年5月
月	火	水	木	金	土	日
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31

機械学習モデルの評価

アイリスデータをSVMで分類する

混同行列を算出する

層化ｋ分割交差検証

ROCとAUC

ROC曲線と AUCを素早く求めて見ましょう

参考

一気にいきます。

相関グラフ

データセット読み込みからデータ分割まで

ランダムフォレストで決定木を１００本作成して訓練する

さあ予測して性能を確認しましょう。

graphvizのインストール

警告

graphviz 公式サイトからのインストール

システム環境変数の追加

基本手順

必要なモジュール

graphvizもインストールしておきましょう。

スクリプト

graphvizのインストール

graphviz 公式サイトからのインストール

システム環境変数の追加

補足：graphviz のpipインストール ではだめです

開発者モードにする

Buid and Run してみる

Chrome Castを使えば出来る

Mirage Solo ディスります

Oculous quest の画像出力

今後のOculous quest VR開発 で参考にしたいサイト

スクリプト(Reset.cs)

モデルの作成

重力落下と衝突面の定義

再実体化(Instatiate)

スクリプト(Summon.cs)

GameControllerのインスペクター

オブジェクトの破壊

スクリプト(TimeLimitObj.cs)

次回の課題

ROC曲線と　AUCを素早く求めて見ましょう

graphviz　公式サイトからのインストール

graphviz　公式サイトからのインストール

補足：graphviz 　のpipインストール　ではだめです

Buid and Run　してみる

Oculous quest　の画像出力

今後のOculous quest　VR開発　で参考にしたいサイト