In [40]:
# 決定木
# モジュール
import numpy as np
import scipy as sp
import pandas as pd
import sklearn
import matplotlib.pyplot as plt
import matplotlib as mpl
import seaborn as sns
sns.set()
%matplotlib inline
%precision 3
import requests
import zipfile
import io
In [41]:
# サンプルデータを取得
url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/mushroom/agaricus-lepiota.data'
res = requests.get(url).content
In [42]:
# デコードして まともに読めるようにする
data = pd.read_csv(io.StringIO(res.decode('utf-8')),header=None)
data.head(5)
Out[42]:
In [43]:
# ラベルの確認
url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/mushroom/agaricus-lepiota.names'
res = requests.get(url).content
res = res.decode('utf-8')
print(res,sep='\n')
In [44]:
# ラベル設定
"""
目的変数：classes
説明変数：22個
"""
data.columns = ['classes', 'cap-shape', 'cap-surface', 'cap-color', 'bruises?', 'odor',
'gill-attachment', 'gill-spacing', 'gill-size', 'gill-color', 'stalk-shape',
'stalk-root', 'stalk-surface-above-ring', 'stalk-surface-below-ring',
'stalk-color-above-ring', 'stalk-color-below-ring', 'veil-type', 'veil-color',
'ring-number', 'ring-type', 'spore-print-color', 'population', 'habitat']
data.head(5)
Out[44]:
In [45]:
# 目的変数:classes
# データの形 .shape
data.shape # (8124, 23)
# 欠損値の数 を確認する
data.isnull().sum().sum() # 0 問題なし
Out[45]:
In [46]:
# 決定木では 目的変数 説明変数は数値でないとだめ。
"""
カテゴリ変数をダミー変数にする。on-hot エンコーディングという。
列Aのカテゴリ変数が aとbのとき、
列a 列b という新しい列を作り、そのカテゴリ変数を0:false, 1:true という表現に変換する
"""
data_dummy = pd.get_dummies(data[['gill-color', 'gill-attachment', 'odor', 'cap-color']])
data_dummy.head()
Out[46]:
In [47]:
# 目的変数もフラグ化しておく 0 , 1
data_dummy['flg'] = data['classes'].map(lambda x: 1 if x == 'p' else 0)
data_dummy['flg'].head()
Out[47]:
In [48]:
# エントロピー 不純度impurityの指標
# クロス集計
# 頭の色がcかどうかで分類できるかやってみる。
data_dummy.groupby(['cap-color_c','flg'])['flg'].count().unstack()
Out[48]:
In [49]:
"""
cap-colorがc(cap-color_c=1)のとき
毒でないのは32 毒なのは12
→これでは分類できないことがわかった。
"""
Out[49]:
In [50]:
# では gill-color_b ではどうか？
data_dummy.groupby(['gill-color_b','flg'])['flg'].count().unstack()
Out[50]:
In [51]:
"""
gill-colorがbとき
毒でないがゼロ 毒であるが1728なので
識別能力の高い分類ができそう（不純度が低い）
素晴らしい
"""
Out[51]:
In [52]:
#どこで分けるべきかはエントロピーで判断する
"""
分け方の優劣を決める方法の一つが不純度であり
エントロピーH(S) として算出する
S:データの集合
n:カテゴリーの数
p:各カテゴリーに属するデータサンプルの割合
毒キノコでない p1
毒キノコである p2
H(S) = -Σ (pi*log2(pi))
最大で1になる
"""
# 毒キノコも普通のきのこも半分づつ（0.5）入っている場合のエントロピーH
# これが 乱雑さが最大になっているとき
H = -(0.5 * np.log2(0.5) + 0.5* np.log2(0.5))
print('エントロピー H(S) : ' , H)
In [53]:
# 不純度が低い場合
p1 = 0.001
p2 = 1 - p1
H=0
for pi in [p1 , p2]:
H -= pi * np.log2(pi)
print('エントロピー H(S) : ' , H)
In [54]:
# p1 と エントロピーの関係
from numpy import log2
def calc_entropy(p1):
p2 = p1
H = - p1 * log2(p1) - (1 - p1) * log2(1 - p1)
return H
p1 = np.arange(0.001, 0.999, 0.001)
plt.plot(p1, calc_entropy(p1))
plt.xlabel('p1')
plt.ylabel('Entropy H(S)')
Out[54]:
In [75]:
# ではダミーデータに話を戻しましょう
print(data_dummy.groupby('flg')['flg'].count())
"""
毒キノコでない4208
毒キノコである3916
"""
# 毒キノコでない4208 の割合 0.517971442639094
p1 = data_dummy.groupby('flg')['flg'].count()[0] / data_dummy.groupby('flg')['flg'].count().sum()
# 毒キノコでない3916 の割合 0.48202855736090594
p2 = data_dummy.groupby('flg')['flg'].count()[1] / data_dummy.groupby('flg')['flg'].count().sum()
Out[75]:
In [78]:
# 初期エントロピーを算出する
entropy_init = - p1 * log2(p1) - p2 * log2(p2)
print(entropy_init)
"""
全然カオス
今後は、どの説明変数を使ったらエントロピーが下がっていくかを探索する。
"""
In [102]:
# 情報利得 infomation gain
# どの説明変数で分割すればエントロピーの減少を大きくできるかを探る
print(data_dummy.groupby(['cap-color_c', 'flg'])['flg'].count().unstack())
# cap-cplor_cがcでないとき(0)
p1 = 4176 / (4176+3904) # 毒キノコでない
p2 = 1 - p1 # 毒キノコである
entropy_c0 = - p1 * log2(p1) - p2 * log2(p2)
print(entropy_c0)
# cap-cplor_cがcのとき(1)
p1 = 32 / (32+12) # 毒キノコでない
p2 = 1 - p1 # 毒キノコである
entropy_c1 = - p1 * log2(p1) - p2 * log2(p2)
print(entropy_c1)
In [108]:
# 分割後の情報利得を計算する
# データ分割後の平均エントロピー
entropy_after = (4176 + 3904) / 8124 * entropy_c0 + (32 + 12) / 8124 * entropy_c1
print(entropy_after)
"""
あまりエントロピーは減少していない
"""
Out[108]:
In [109]:
# 情報利得 infomation gain
entropy_init - entropy_after
Out[109]:
In [15]:
# 決定木モデルの構築
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
# データ分割
X = data_dummy.drop('flg', axis=1)
y = data_dummy['flg']
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)
In [16]:
# 訓練と検証
model = DecisionTreeClassifier(criterion='entropy', max_depth=5, random_state=0)
model.fit(X_train, y_train)
Out[16]:
In [17]:
# 結果
print(model.score(X_train, y_train))
print(model.score(X_test, y_test))
In [18]:
# 可視化
from sklearn import tree
import pydotplus
from sklearn.externals.six import StringIO
from IPython.display import Image
dot_data =StringIO()
tree.export_graphviz(model, out_file=dot_data)
graph = pydotplus.graph_from_dot_data(dot_data.getvalue())
Image(graph.create_png())
Out[18]:
In [ ]:
# ==== script end====