In [2]:
# chapter 9 教師なし学習
"""
・クラスタリング
データをいくつかのクラスに分類する
顧客セブメンテーションに使用する
・主成分分析
説明変数が多すぎるときに使用する（次元圧縮）
・マーケットバスケット分析（アソシエーションルール）
どういう組み合わせが大きかを見つける
"""
Out[2]:
In [199]:
# 基本的なモジュール
import numpy as np
import pandas as pd
import scipy as sp
# 可視化モジュール
import matplotlib.pyplot as plt
import matplotlib as mpl
import seaborn as sns
%matplotlib inline
%precision 3
# 機械学習モジュール
import sklearn
In [6]:
# クラスタリング k-means法
"""
クラスタ数を３と仮定した場合
１．全データをプロットする
２．ランダムに３つの点をプロットする
３．各ランダム点を クラスタ１の重心点、
クラスタ２の重心点、クラスタ３の重心点 と呼ぶ
４．各データはどの重心点に近いか調べ所属させる
５．各クラスタの本当の重心を算出する
６．本当の重心を使って、再び各データをどれかの重心に所属させる
７．これを繰り返していき、重心がずれなくなったところで
クラスタリング終了
"""
Out[6]:
In [7]:
# K-meansをやってみる
from sklearn.cluster import KMeans
In [57]:
# maek_blobs サンプルデータを使っていく
from sklearn.datasets import make_blobs
# ランダムステートは 0のときまばらなので,1でやってみる
data = make_blobs(random_state=1)
# 説明変数は二次元座標データになっている
# サイズを調べる
print(data[0].shape)
"""(100, 2)
100データある
説明変数は２つある
"""
pd.DataFrame(data[0]).head()
Out[57]:
In [58]:
# 目的変数
pd.DataFrame(data[1]).head()
Out[58]:
In [59]:
# 説明変数をプロットしてみる
plt.scatter(data[0][:,0], data[0][:,1])
Out[59]:
In [72]:
# クラスタ説明変数をプロットしてみる
plt.scatter(data[0][:,0], data[0][:,1], color='black')
Out[72]:
In [61]:
# k-means の引数を確認する
help(KMeans)
"""
・クラスター数はデフォルトで８
・重心点の初期位置はk-means++なので、互いに離れた位置からスタートする。
| n_clusters : int, optional, default: 8
| The number of clusters to form as well as the number of
| centroids to generate.
|
| init : {'k-means++', 'random' or an ndarray}
| Method for initialization, defaults to 'k-means++':
|
| 'k-means++' : selects initial cluster centers for k-mean
| clustering in a smart way to speed up convergence. See section
| Notes in k_init for more details.
|
| 'random': choose k observations (rows) at random from data for
| the initial centroids.
"""
In [62]:
# 機械学習モデル K-meansのインスタンスを作成する
"""
・クラスター数=3
・重心初期位置はランダムとする
"""
model = KMeans(n_clusters=3, init='random')
In [64]:
# 訓練する（クラスタ重心を算出する）
model.fit(data[0])
Out[64]:
In [90]:
# クラスタリングされた結果のクラスタ番号を確認する
y_pred = model.predict(data[0])
pd.DataFrame(y_pred,columns=['y']).head()
Out[90]:
In [103]:
# 結果をデータフレームにまとめる
data_merge = pd.concat([pd.DataFrame(data[0][:,0]),
pd.DataFrame(data[0][:,1]),
pd.DataFrame(y_pred)],
axis=1)
# columnsをつける
data_merge.columns = ['X0', 'X1', 'y_pred']
"""要注意：ハマりどころ
pd.concatを使用するときは リストとしてdfを入れるので[ ] を忘れないこと。
"""
data_merge.head()
Out[103]:
In [107]:
# 結果を可視化してみる
ax = None
colors =['blue', 'red', 'yellow']
for i, data in data_merge.groupby('y_pred'):
ax = data.plot.scatter(x='X0', y='X1',
color=colors[i],
label=f'cluster_{i}',
ax=ax)megamite
"""結果
ちゃんと別れている
"""
In [108]:
# 以上、練習でした。
# 次から、実データでやってみます
In [113]:
# 顧客のクラスタリングをやってみる
# 目的変数（正解データ）が特定されていない場合
import requests, zipfile
import io
url = 'http://archive.ics.uci.edu/ml/machine-learning-databases/00222/bank.zip'
r = requests.get(url, stream=True)
z = zipfile.ZipFile(io.BytesIO(r.content))
z.extractall()
In [115]:
data = pd.read_csv('bank-full.csv', sep=';')
In [117]:
data.head()
Out[117]:
In [133]:
# データの大きさ
print(data.shape)
#説明変数の名前
print(data.keys())
In [134]:
with open('bank-names.txt', 'r') as f:
text = f.read()
print(text)
In [ ]:
In [138]:
# 欠損データの確認
print(data.isnull().sum())
"""
結果：データの欠損はない
"""
Out[138]:
In [164]:
# 使用するデータを３つだけ使用する
data_sub = data[['age', 'balance', 'campaign', 'previous']]
# データを標準化する
from sklearn.preprocessing import StandardScaler
# StandardScalerのインスタンスを作成
standard_scaler = StandardScaler()
# 標準化の実行
standard_scaler.fit(data_sub)
data_sub_std = standard_scaler.transform(data_sub)
print(pd.DataFrame(data_sub_std,
columns=['age', 'balance', 'campaign', 'previous']).head())
print(data_sub.info())
In [155]:
# K-meansクラスタリングモデルのインスタンスを作成する
model = KMeans()
# 重心を計算する（訓練する）
model.fit(data_sub_std)
Out[155]:
In [170]:
# 分類結果を確認する
y_pred = model.predict(data_sub_std)
print(pd.DataFrame(y_pred).head())
In [191]:
# では可視化してみましょう。
"""
さっきのような２次元グラフでは、もはや表現できません。
"""
#クラスター番号を取得する
"""
上記の y_pred = model.predict(data_sub_std) と同じ
"""
labels = pd.Series(model.labels_, name='cluster_number')
# クラスター番号とそれのデータ数を算出する
df = pd.DataFrame(labels.value_counts(sort=False))
df
Out[191]:
In [210]:
# バーチャートで可視化する
plt.bar(df.index, df['cluster_number'])
"""結果
・クラスタ１が一番多い、ついでクラスタ２が多い。
・その他は少し
"""
"""今後
今回クラスはデフォルト８でやりましたが、そもそもそれが良かったのかもわかりません。
よって、クラスタ数を最初に推定する必要があります。
"""
Out[210]:
In [211]:
# クラスタ数を推定する エルボ法
"""
クラスタを１つから増やしていく過程では、
クラスタに所属する各データとクラスタ重心との距離の総和 (distortion) は、減少していくと推測できる。
クラスタ数が最適数を超えると、距離の総和の減少スピードが小さくなると推測できる。
距離の総和の減少スピードが小さくなるときのクラスタ数を採用する
距離の総和をグラフにすると、途中から折れ曲がるのでエルボ法と呼ばれている。
"""
Out[211]:
In [222]:
# ブロブデータでエルボ法を試してみよう
# 距離の総和 : inertia_ に保持される
# ブロブデータ
from sklearn.datasets import make_blobs
distortion_list = []
data = make_blobs(random_state=1)
X = data[0] # 説明変数
pd.DataFrame(X).head()
distortions = []
for n_cluster in range(1,11):
model = KMeans(n_clusters=n_cluster,init='random',random_state=0)
model.fit(X)
# distortion
distortions.append(model.inertia_)
print(distortions)
In [225]:
plt.plot(range(1,11), distortions)
"""結果
クラスター数３で急激にdistortionの減少が小さくなっているので、３がベスト
"""
Out[225]:
In [229]:
# では これを 顧客のクラスタリングに適用してみる
import requests, zipfile
import io
# データセットを用意する
url = 'http://archive.ics.uci.edu/ml/machine-learning-databases/00222/bank.zip'
r = requests.get(url, stream=True)
z = zipfile.ZipFile(io.BytesIO(r.content))
z.extractall()
data = pd.read_csv('bank-full.csv', sep=';')
# 使用するデータを４つだけ使用する
data_sub = data[['age', 'balance', 'campaign', 'previous']]
# データを標準化する
from sklearn.preprocessing import StandardScaler
# StandardScalerのインスタンスを作成
standard_scaler = StandardScaler()
# 標準化の実行
standard_scaler.fit(data_sub)
data_sub_std = standard_scaler.transform(data_sub)
print(pd.DataFrame(data_sub_std,
columns=['age', 'balance', 'campaign', 'previous']).head())
print(data_sub.info())
In [235]:
# 訓練をする
distortions =[]
for n_cluster in range(1,21):
print('現在のクラスタ数 : ', n_cluster)
# K-meansクラスタリングモデルのインスタンスを作成する
model = KMeans(n_clusters=n_cluster,init='random',random_state=0)
# 重心を計算する（訓練する）
model.fit(data_sub_std)
distortions.append(model.inertia_)
print('訓練完了')
print(distortions)
"""
クラスタ数が多くなってくると、
訓練に時間がかかるようになった。
なるべくクラスタ数は小さいほうが良いようだ。
10以上は避けるべきだと考える。
"""
In [237]:
plt.plot(range(1,21), distortions, marker='o')
plt.xlabel('The mumber of the clusters')
plt.ylabel('Distortion')
plt.grid()
plt.show()
"""結果
クラスタ数は５程度が良さそう
"""
In [238]:
# ということで エルボ法よりクラスタ数は５と決定したので
# 再度 顧客セクメンテーションをやってみる
import requests, zipfile
import io
# データセットを用意する
url = 'http://archive.ics.uci.edu/ml/machine-learning-databases/00222/bank.zip'
r = requests.get(url, stream=True)
z = zipfile.ZipFile(io.BytesIO(r.content))
z.extractall()
data = pd.read_csv('bank-full.csv', sep=';')
# 使用するデータを４つだけ使用する
data_sub = data[['age', 'balance', 'campaign', 'previous']]
# データを標準化する
from sklearn.preprocessing import StandardScaler
# StandardScalerのインスタンスを作成
standard_scaler = StandardScaler()
# 標準化の実行
standard_scaler.fit(data_sub)
data_sub_std = standard_scaler.transform(data_sub)
print(pd.DataFrame(data_sub_std,
columns=['age', 'balance', 'campaign', 'previous']).head())
print(data_sub.info())
# 訓練をする
n_cluster = 5 # エルボ法より
# K-meansクラスタリングモデルのインスタンスを作成する
model = KMeans(n_clusters=n_cluster,init='random',random_state=0)
# 重心を計算する（訓練する）
model.fit(data_sub_std)
distortions.append(model.inertia_)
print('訓練完了')
In [239]:
# 分類結果を確認する
y_pred = model.predict(data_sub_std)
print(pd.DataFrame(y_pred).head())
In [240]:
# では可視化してみましょう。
"""
さっきのような２次元グラフでは、もはや表現できません。
"""
#クラスター番号を取得する
"""
上記の y_pred = model.predict(data_sub_std) と同じ
"""
labels = pd.Series(model.labels_, name='cluster_number')
# クラスター番号とそれのデータ数を算出する
df = pd.DataFrame(labels.value_counts(sort=False))
df
Out[240]:
In [241]:
# バーチャートで可視化する
plt.bar(df.index, df['cluster_number'])
"""結果
・クラスタ１が一番多い、ついでクラスタ３が多い。
・その他は少し
"""
Out[241]:
In [243]:
# クラスタリング結果の解釈
# 元データにクラスタリング結果を統合する
data_with_cluster_num = pd.concat([data, labels], axis=1)
data_with_cluster_num.head()
Out[243]:
In [280]:
# クラスター別の年齢層を確認してみる
"""
ピン結合とピボットを使用する
"""
# 区切り
bins = [i for i in range(15,101,5)]
print(bins)
# 年齢ageを binsで qcutする
qcut_age = pd.cut(data_with_cluster_num.age, bins, right=False)
df_qcut_age = pd.DataFrame(qcut_age)
df_qcut_age.columns=['qcut_age']
df_qcut_age.head()
Out[280]:
In [281]:
# クラスタ番号と年齢層を結合
df = pd.concat([data_with_cluster_num, df_qcut_age], axis=1)
df.head()
print(df.keys())
In [285]:
# クラスタ番号と年齢層を軸に集計 → 年齢層を列に設定
cross_cluster_qcut_age = df.groupby(['cluster_number', 'qcut_age']).size().unstack().fillna(0)
print(cross_cluster_qcut_age)
In [287]:
# 各年齢層qcut_age で何人いるかカウントする
hist_age = pd.value_counts(qcut_age)
hist_agecross_cluster_qcut_age
Out[287]:
In [288]:
# ヒートマップを描いてみる
sns.heatmap(cross_cluster_qcut_age)
Out[288]:
In [294]:
# 全体に対する割合で書き直してみる
sns.heatmap(cross_cluster_qcut_age.apply(lambda x : x / x.sum(), axis=1),cmap='Blues')
"""
クラスタ１は30-35歳くらいに固まっていて、
クラスタ３は45-50歳くらいに固まっている。
→このクラスタは年齢層に偏りを持っていることがわかった
"""
Out[294]:
In [298]:
# 職業job についても確認してみる
# 数値ではなくカテゴリ変数なのでどうやったらよいか。
cross_cluster_job = data_with_cluster_num.groupby(['cluster_number', 'job']).size().unstack().fillna(0)
cross_cluster_job
Out[298]:
In [299]:
# ヒートマップを書いてみる
sns.heatmap(cross_cluster_job)
Out[299]:
In [301]:
# 全体に対する割合で書き直してみる
sns.heatmap(cross_cluster_job.apply(lambda x : x / x.sum(), axis=1),cmap='Blues')
"""
クラスタ１は30-35歳くらいに固まっていて、blue-collarが多い
クラスタ３は45-50歳くらいに固まっていて、blue-collarが多い
クラスタ４にmanagementが特に多いが年齢は30-45くらいと幅が広い
→このクラスタは年齢層に偏りを持っていることがわかった
"""
Out[301]:
In [ ]: