Jetson nano:始めました。OSをマイクロSDカードに入れます。

こんにちは Keita_Nakamori @ (´・ω・`)です。

Jetson Nano を入手いたしました。ラズパイの４倍の性能と伺っております。

考えるな！まずやってみろ！　の精神で、やっていきます。

OSをマイクロSDカードに入れる

Nvidiaの公式ページに従って、OSをマイクロSDカードに入れていきます。

１．Jetson Nano Developer KitのSDカードイメージをダウンロード

jetson-nano-sd-r32.2-2019-07-16.zip　がダウンロードされます。

２．Windows用のSDメモリカードフォーマッタをダウンロード

SDCardFormatterv5_WinEN.zip　がダウンロードされます。

解凍して、インストールしてフォーマッターを起動して、SDカードをクイックフォーマットします。ボリュームラベルは空白でOKです。

３．Etcherをダウンロード

balenaEtcher-Setup-1.5.52.exe　がダウンロードされます。

この実行ファイルを実行してインストール、および起動します。

OSイメージとして、先程ダウンロードしたjetson-nano-sd-r32.2-2019-07-16.zipを指定します。zipのままでOKです。

マイクロSDカードのドライブを指定します。

FLASHを押すと書き込みが開始されます。２０分程度かかりました。そこらへんに転がっていたSDカードリーダーなのでUSB1.0だったかもしれません。

Flash Complete! と表示されれば完了です。

次回

さて、次回はこのマイクロSDカードをJetson Nanoに突っ込んで起動させてみます。

購入忘れ物

と、その前に・・・Jetson　Nanoの性能をフルに引き出すためには、ACアダプタで5V 4Aを安定的に供給する必要があるとのこと。Amazonでポチりましょう。

さらに、このACアダプタを使用する場合は、ジャンパーを短絡させる必要があるとのこと。Amazonでポチりましょう。

なんだかアフィリエイターみたいになってしまいましたが。本当に必要なモノなので、ポチってください。

sklearn:サポートベクター分類

sklearnのサポートベクター分類の一般的なやり方です。

線形分類とか

カーネルに操作を加えた分類とか

スクリプト

#sklearn_text_for_data_science_svm

"""サポートベクターマシン
できること：分類　回帰　外れ値検出
線形分離できないとき、データを高次元の移すのではなく、データ間の近さを定量化するカーネルを導入する
カーネル：高次元空間でのデータ間の内積を計算する関数に相当する
"""
'サポートベクターマシン\nできること：分類\u3000回帰\u3000外れ値検出\n線形分離できないとき、データを高次元の移すのではなく、データ間の近さを定量化するカーネルを導入する\nカーネル：高次元空間でのデータ間の内積を計算する関数に相当する\n'
%matplotlib inline
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
# ---- sklearnのプリセットデータの取り扱い（基本形）----
#インスタンスを作成
iris = load_iris()

type(iris) # sklearn.utils.Bunch

iris.keys()
# dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

#入力データと目標データを定義する
X = iris.data
y = iris.target

# 訓練データと検証データに分割する
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)
# ----一般的な SVCのやり方 ----

# ランダム生成の固定
np.random.seed(0)

# クラス0のクラスターとして X軸 Y軸ともに0-1のランダム値を100個ずつ生成する
X0 = np.random.uniform(low=0.0, high=1.0, size=(100, 2), )

# クラス0のラベル0を100個
y0 = np.repeat(0, 100) 

# クラス1のクラスターとして X軸 Y軸ともに-1-0のランダム値を100個ずつ生成する
X1 = np.random.uniform(low=-1.0, high=0.0, size=(100, 2))

# クラス1 のラベル1を100個
y1 = np.repeat(1, 100)

# 散布図としてプロットする
fig, ax = plt.subplots()
ax.scatter(X0[:,0], X0[:,1], marker='o', label='class 0', color='blue')
ax.scatter(X1[:,0], X1[:,1], marker='x', label='class 1', color='red')
ax.set_xlabel('x')
ax.set_ylabel('Y')
ax.legend(loc='best')
plt.show()

%matplotlib inline
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.svm import SVC

# 関数化しておく：
def plot_boundary_margin_sv(X0, y0, X1, y1, kernel='linear', C=1e6, xmin=-1, xmax=1 , ymin=-1, ymax=1):
    """学習　決定境界　マージン　SV可視化
    args:
        X0:クラス0の座標
            X0[:,0]:X座標
            X0[:,1]:Y座標
        y0:クラス0の正解
        
        X1:クラス1のX座標
            X1[:,0]:X座標
            X1[:,1]:Y座標
        y1:クラス1の正解
        
        kernel:カーネル linear , rbf など
        C:マージン設定（大きい方が狭くなる)
        
        xmin:グラフ描画範囲
        xmax:グラフ描画範囲
        ymin:グラフ描画範囲
        ymax:グラフ描画範囲
    """
    # SVCのインスタンスを生成する
    svc = SVC(kernel=kernel, C=C) # argesを代入する
    
    # 学習
    svc.fit(np.vstack((X0, X1)), np.hstack((y0, y1))) #(200, 2) , (200,) スタック方向に注意
    
    # 可視化
    fig, ax = plt.subplots()
                      
    # クラス０をプロット
    ax.scatter(X0[:, 0], X0[:, 1], marker='o', label='class_0', color='blue')
    
    # クラス１をプロット
    ax.scatter(X1[:, 0], X1[:, 1], marker='x', label='class_1', color='red')
    
    # 決定境界とマージンをプロット
    # メッシュグリッドの下準備
    xx, yy =np.meshgrid(np.linspace(xmin, xmax, 100),
                        np.linspace(ymin, ymax, 100))
    
    xy = np.vstack([xx.ravel(), yy.ravel()]).T
        # np.ravel():np.flatten()よりも高速に、配列を一次元化する
    
    p = svc.decision_function(xy).reshape((100, 100))
    
    # 等高線を定義する
    ax.contour(xx, yy, p,
               colors='k', levels=[-1, 0, 1], 
               alpha=0.5, linestyles=['--','-','--']) 
    
    # サポートベクターを黒丸でマーキングする
    ax.scatter(svc.support_vectors_[:,0],
               svc.support_vectors_[:,1],
               s=250,facecolors='none',edgecolors='black')
    
    # グラフを装飾する
    ax.set_xlabel('x')
    ax.set_ylabel('y')
    ax.legend(loc='best')
    
    plt.show()

# =============================================================================
# クラス0のクラスターとして X軸 Y軸ともに0-1のランダム値を100個ずつ生成する
X0 = np.random.uniform(low=0.0, high=1.0, size=(100, 2), )

# クラス0のラベル0を100個
y0 = np.repeat(0, 100) 

# クラス1のクラスターとして X軸 Y軸ともに-1-0のランダム値を100個ずつ生成する
X1 = np.random.uniform(low=-1.0, high=0.0, size=(100, 2))

# クラス1 のラベル1を100個
y1 = np.repeat(1, 100)

# 関数を実行する
plot_boundary_margin_sv(X0, y0, X1, y1, kernel='linear', C=0.1)

# 直線では分類できない場合
%matplotlib inline
import numpy as np
import pandas as pd
import matplotlib.pylab as plt

# サンプルデータの生成
# X,Y座標データの生成
np.random.seed(0)
X = np.random.random(size=(100,2))

# ２次曲線で クラスを分類する
y = (X[:,1] > 2*(X[:,0]-0.5)**2+0.5).astype(int)

# 散布図を作成する
fig, ax =plt.subplots()
ax.scatter(X[y == False, 0], X[y == False, 1], marker='x' ,color='red', label='class_0')
ax.scatter(X[y == True, 0], X[y == True, 1], marker='o' ,color='blue', label='class_1')

# グラフを装飾する
ax.set_xlabel('x')
ax.set_ylabel('y')
ax.legend(loc='best')
plt.show()

# X,Y座標データ
X0, X1 = X[y==False,:], X[y==True,:]

# 正解データ
y0, y1 = y[y==False], y[y==True]

# 境界マージンサポートベクター関数を使う
# rbf:動径基底関数 radial basis function
plot_boundary_margin_sv(X0, y0, X1, y1, 
                        kernel='rbf', C=1e3, 
                        xmin=0, ymin=0)

# ---- end of script ----

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

#sklearn_text_for_data_science_svm

"""サポートベクターマシン

できること：分類　回帰　外れ値検出

線形分離できないとき、データを高次元の移すのではなく、データ間の近さを定量化するカーネルを導入する

カーネル：高次元空間でのデータ間の内積を計算する関数に相当する

"""

'サポートベクターマシン\nできること：分類\u3000回帰\u3000外れ値検出\n線形分離できないとき、データを高次元の移すのではなく、データ間の近さを定量化するカーネルを導入する\nカーネル：高次元空間でのデータ間の内積を計算する関数に相当する\n'

%matplotlib inline

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split

# ---- sklearnのプリセットデータの取り扱い（基本形）----

#インスタンスを作成

iris = load_iris()

type(iris) # sklearn.utils.Bunch

iris.keys()

# dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

#入力データと目標データを定義する

X = iris.data

y = iris.target

# 訓練データと検証データに分割する

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# ----一般的な SVCのやり方 ----

# ランダム生成の固定

np.random.seed(0)

# クラス0のクラスターとして X軸 Y軸ともに0-1のランダム値を100個ずつ生成する

X0 = np.random.uniform(low=0.0, high=1.0, size=(100, 2), )

# クラス0のラベル0を100個

y0 = np.repeat(0, 100)

# クラス1のクラスターとして X軸 Y軸ともに-1-0のランダム値を100個ずつ生成する

X1 = np.random.uniform(low=-1.0, high=0.0, size=(100, 2))

# クラス1 のラベル1を100個

y1 = np.repeat(1, 100)

# 散布図としてプロットする

fig, ax = plt.subplots()

ax.scatter(X0[:,0], X0[:,1], marker='o', label='class 0', color='blue')

ax.scatter(X1[:,0], X1[:,1], marker='x', label='class 1', color='red')

ax.set_xlabel('x')

ax.set_ylabel('Y')

ax.legend(loc='best')

plt.show()

%matplotlib inline

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

from sklearn.svm import SVC

# 関数化しておく：

def plot_boundary_margin_sv(X0, y0, X1, y1, kernel='linear', C=1e6, xmin=-1, xmax=1 , ymin=-1, ymax=1):

"""学習　決定境界　マージン　SV可視化

args:

X0:クラス0の座標

X0[:,0]:X座標

X0[:,1]:Y座標

y0:クラス0の正解

X1:クラス1のX座標

X1[:,0]:X座標

X1[:,1]:Y座標

y1:クラス1の正解

kernel:カーネル linear , rbf など

C:マージン設定（大きい方が狭くなる)

xmin:グラフ描画範囲

xmax:グラフ描画範囲

ymin:グラフ描画範囲

ymax:グラフ描画範囲

"""

# SVCのインスタンスを生成する

svc = SVC(kernel=kernel, C=C) # argesを代入する

# 学習

svc.fit(np.vstack((X0, X1)), np.hstack((y0, y1))) #(200, 2) , (200,) スタック方向に注意

# 可視化

fig, ax = plt.subplots()

# クラス０をプロット

ax.scatter(X0[:, 0], X0[:, 1], marker='o', label='class_0', color='blue')

# クラス１をプロット

ax.scatter(X1[:, 0], X1[:, 1], marker='x', label='class_1', color='red')

# 決定境界とマージンをプロット

# メッシュグリッドの下準備

xx, yy =np.meshgrid(np.linspace(xmin, xmax, 100),

np.linspace(ymin, ymax, 100))

xy = np.vstack([xx.ravel(), yy.ravel()]).T

# np.ravel():np.flatten()よりも高速に、配列を一次元化する

p = svc.decision_function(xy).reshape((100, 100))

# 等高線を定義する

ax.contour(xx, yy, p,

colors='k', levels=[-1, 0, 1],

alpha=0.5, linestyles=['--','-','--'])

# サポートベクターを黒丸でマーキングする

ax.scatter(svc.support_vectors_[:,0],

svc.support_vectors_[:,1],

s=250,facecolors='none',edgecolors='black')

# グラフを装飾する

ax.set_xlabel('x')

ax.set_ylabel('y')

ax.legend(loc='best')

plt.show()

# =============================================================================

# クラス0のクラスターとして X軸 Y軸ともに0-1のランダム値を100個ずつ生成する

X0 = np.random.uniform(low=0.0, high=1.0, size=(100, 2), )

# クラス0のラベル0を100個

y0 = np.repeat(0, 100)

# クラス1のクラスターとして X軸 Y軸ともに-1-0のランダム値を100個ずつ生成する

X1 = np.random.uniform(low=-1.0, high=0.0, size=(100, 2))

# クラス1 のラベル1を100個

y1 = np.repeat(1, 100)

# 関数を実行する

plot_boundary_margin_sv(X0, y0, X1, y1, kernel='linear', C=0.1)

# 直線では分類できない場合

%matplotlib inline

import numpy as np

import pandas as pd

import matplotlib.pylab as plt

# サンプルデータの生成

# X,Y座標データの生成

np.random.seed(0)

X = np.random.random(size=(100,2))

# ２次曲線でクラスを分類する

y = (X[:,1] > 2*(X[:,0]-0.5)**2+0.5).astype(int)

# 散布図を作成する

fig, ax =plt.subplots()

ax.scatter(X[y == False, 0], X[y == False, 1], marker='x' ,color='red', label='class_0')

ax.scatter(X[y == True, 0], X[y == True, 1], marker='o' ,color='blue', label='class_1')

# グラフを装飾する

ax.set_xlabel('x')

ax.set_ylabel('y')

ax.legend(loc='best')

plt.show()

# X,Y座標データ

X0, X1 = X[y==False,:], X[y==True,:]

# 正解データ

y0, y1 = y[y==False], y[y==True]

# 境界マージンサポートベクター関数を使う

# rbf:動径基底関数 radial basis function

plot_boundary_margin_sv(X0, y0, X1, y1,

kernel='rbf', C=1e3,

xmin=0, ymin=0)

# ---- end of script ----

スクリプト

#sklearn_text_for_data_science
# sklearn
import numpy as np
import pandas as pd

# 欠損値を含む サンプルデータ・セットを作成
np.random.seed(0)
df = pd.DataFrame(np.random.randn(15).reshape(5,3))
df.loc[0,0] = np.nan
df.loc[1,1] = np.nan
df.loc[2,2] = np.nan
df
0	1	2
0	NaN	0.400157	0.978738
1	2.240893	NaN	-0.977278
2	0.950088	-0.151357	NaN
3	0.410599	0.144044	1.454274
4	0.761038	0.121675	0.443863
# 欠損値かどうかを調べる
df.isnull()
0	1	2
0	True	False	False
1	False	True	False
2	False	False	True
3	False	False	False
4	False	False	False
# 欠損値を含むindexを削除する
df_dropna = df.dropna()
df_dropna
0	1	2
3	0.410599	0.144044	1.454274
4	0.761038	0.121675	0.443863
# 欠損値を含むindexを meanで補完する
from sklearn.preprocessing import Imputer

# インスタンスを作成する
imp = Imputer(strategy='mean', axis=0)

#欠損値を分析して補完する
imp.fit(df)
imp.transform(df)
array([[ 1.09065446,  0.40015721,  0.97873798],
       [ 2.2408932 ,  0.12862965, -0.97727788],
       [ 0.95008842, -0.15135721,  0.47489921],
       [ 0.4105985 ,  0.14404357,  1.45427351],
       [ 0.76103773,  0.12167502,  0.44386323]])
# カテゴリー変数をエンコーディングする

# サンプルDataFrame
dic = {0:[0, 1, 2, 3, 4],
       1:['a', 'b', 'a', 'b', 'c']}
df = pd.DataFrame(dic)
df
0	1
0	0	a
1	1	b
2	2	a
3	3	b
4	4	c
# カテゴリー変数をラベルエンコーディングする

from sklearn.preprocessing import LabelEncoder

# LabelEncoderのインスタンスを作成する
le = LabelEncoder()
le.fit(df[1])
df[2] = le.transform(df[1]) # array([0, 1, 0, 1, 2])
df
0	1	2
0	0	a	0
1	1	b	1
2	2	a	0
3	3	b	1
4	4	c	2
# カテゴリー変数を　One-Hot　ラベルエンコーディングする
'''
pd.get_dummieと同じ機能。
pd.get_dummieのほうが使いやすいのでおすすめ
'''
from sklearn.preprocessing import LabelEncoder
from sklearn.preprocessing import OneHotEncoder

# サンプルDataFrame
dic = {'A':[0, 1, 2, 3, 4],
       'B':['a', 'b', 'a', 'b', 'c']}
df = pd.DataFrame(dic)

# DataFrameをコピー
df_ohe = df.copy()

df_ohe
A	B
0	0	a
1	1	b
2	2	a
3	3	b
4	4	c
# まず labelEncoder のインスタンスを作成
le = LabelEncoder()

# エンコードしたものを df_ohe[3]として新規作成する
df_ohe['B'] = le.fit_transform(df_ohe['B']) # a b c を含む列　を解析・変換
le.classes_

# OneHotEncoder のインスタンスを作成する
ohe = OneHotEncoder(categorical_features=[1]) # 変換する列の番号をリストとして指定する

# OneHotエンコーディングする
ohe.fit_transform(df_ohe).toarray() # .toarray():scipy.sparse形式からnumpy配列に変換
array([[1., 0., 0., 0.],
       [0., 1., 0., 1.],
       [1., 0., 0., 2.],
       [0., 1., 0., 3.],
       [0., 0., 1., 4.]])
# 正規化
# 分散正規化 StanderdScaler
"""
x' = (x - mean)/ stdev
"""
from sklearn.preprocessing import StandardScaler

# サンプルDataFrameを生成する
df_dict = {'A':[1,2,3,4,5],
           'B':[100,200,300,400,500]}
df = pd.DataFrame(df_dict)

# スタンダードスケーラーのインスタンスを生成する
stdsc =  StandardScaler()

# 解析して変換する
stdsc.fit(df)
stdsc.transform(df)
array([[-1.41421356, -1.41421356],
       [-0.70710678, -0.70710678],
       [ 0.        ,  0.        ],
       [ 0.70710678,  0.70710678],
       [ 1.41421356,  1.41421356]])
# 最小最大正規化 MinMaxScaler
"""
x' = (x - x_min) / (x_max - x\min)
"""
from sklearn.preprocessing import MinMaxScaler

# サンプルDataFrameを生成する
df_dict = {'A':[1,2,3,4,5],
           'B':[100,200,300,400,500]}
df = pd.DataFrame(df_dict)

# スタンダードスケーラーのインスタンスを生成する
mmsc =  MinMaxScaler()

# 解析して変換する
mmsc.fit(df)
mmsc.transform(df)
array([[0.  , 0.  ],
       [0.25, 0.25],
       [0.5 , 0.5 ],
       [0.75, 0.75],
       [1.  , 1.  ]])

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

#sklearn_text_for_data_science

# sklearn

import numpy as np

import pandas as pd

# 欠損値を含むサンプルデータ・セットを作成

np.random.seed(0)

df = pd.DataFrame(np.random.randn(15).reshape(5,3))

df.loc[0,0] = np.nan

df.loc[1,1] = np.nan

df.loc[2,2] = np.nan

0 1 2

0 NaN 0.400157 0.978738

1 2.240893 NaN -0.977278

2 0.950088 -0.151357 NaN

3 0.410599 0.144044 1.454274

4 0.761038 0.121675 0.443863

# 欠損値かどうかを調べる

df.isnull()

0 1 2

0 True False False

1 False True False

2 False False True

3 False False False

4 False False False

# 欠損値を含むindexを削除する

df_dropna = df.dropna()

df_dropna

0 1 2

3 0.410599 0.144044 1.454274

4 0.761038 0.121675 0.443863

# 欠損値を含むindexを meanで補完する

from sklearn.preprocessing import Imputer

# インスタンスを作成する

imp = Imputer(strategy='mean', axis=0)

#欠損値を分析して補完する

imp.fit(df)

imp.transform(df)

array([[ 1.09065446, 0.40015721, 0.97873798],

[ 2.2408932 , 0.12862965, -0.97727788],

[ 0.95008842, -0.15135721, 0.47489921],

[ 0.4105985 , 0.14404357, 1.45427351],

[ 0.76103773, 0.12167502, 0.44386323]])

# カテゴリー変数をエンコーディングする

# サンプルDataFrame

dic = {0:[0, 1, 2, 3, 4],

1:['a', 'b', 'a', 'b', 'c']}

df = pd.DataFrame(dic)

0 1

0 0 a

1 1 b

2 2 a

3 3 b

4 4 c

# カテゴリー変数をラベルエンコーディングする

from sklearn.preprocessing import LabelEncoder

# LabelEncoderのインスタンスを作成する

le = LabelEncoder()

le.fit(df[1])

df[2] = le.transform(df[1]) # array([0, 1, 0, 1, 2])

0 1 2

0 0 a 0

1 1 b 1

2 2 a 0

3 3 b 1

4 4 c 2

# カテゴリー変数を　One-Hot　ラベルエンコーディングする

'''

pd.get_dummieと同じ機能。

pd.get_dummieのほうが使いやすいのでおすすめ

'''

from sklearn.preprocessing import LabelEncoder

from sklearn.preprocessing import OneHotEncoder

# サンプルDataFrame

dic = {'A':[0, 1, 2, 3, 4],

'B':['a', 'b', 'a', 'b', 'c']}

df = pd.DataFrame(dic)

# DataFrameをコピー

df_ohe = df.copy()

df_ohe

A B

0 0 a

1 1 b

2 2 a

3 3 b

4 4 c

# まず labelEncoder のインスタンスを作成

le = LabelEncoder()

# エンコードしたものを df_ohe[3]として新規作成する

df_ohe['B'] = le.fit_transform(df_ohe['B']) # a b c を含む列　を解析・変換

le.classes_

# OneHotEncoder のインスタンスを作成する

ohe = OneHotEncoder(categorical_features=[1]) # 変換する列の番号をリストとして指定する

# OneHotエンコーディングする

ohe.fit_transform(df_ohe).toarray() # .toarray():scipy.sparse形式からnumpy配列に変換

array([[1., 0., 0., 0.],

[0., 1., 0., 1.],

[1., 0., 0., 2.],

[0., 1., 0., 3.],

[0., 0., 1., 4.]])

# 正規化

# 分散正規化 StanderdScaler

"""

x' = (x - mean)/ stdev

"""

from sklearn.preprocessing import StandardScaler

# サンプルDataFrameを生成する

df_dict = {'A':[1,2,3,4,5],

'B':[100,200,300,400,500]}

df = pd.DataFrame(df_dict)

# スタンダードスケーラーのインスタンスを生成する

stdsc = StandardScaler()

# 解析して変換する

stdsc.fit(df)

stdsc.transform(df)

array([[-1.41421356, -1.41421356],

[-0.70710678, -0.70710678],

[ 0. , 0. ],

[ 0.70710678, 0.70710678],

[ 1.41421356, 1.41421356]])

# 最小最大正規化 MinMaxScaler

"""

x' = (x - x_min) / (x_max - x\min)

"""

from sklearn.preprocessing import MinMaxScaler

# サンプルDataFrameを生成する

df_dict = {'A':[1,2,3,4,5],

'B':[100,200,300,400,500]}

df = pd.DataFrame(df_dict)

# スタンダードスケーラーのインスタンスを生成する

mmsc = MinMaxScaler()

# 解析して変換する

mmsc.fit(df)

mmsc.transform(df)

array([[0. , 0. ],

[0.25, 0.25],

[0.5 , 0.5 ],

[0.75, 0.75],

[1. , 1. ]])

Python：matplotlib

可視化の基本 matplotlibです。

貼っておきます。

matplotlib_taxt_for_data_science.html

matplotlib_taxt_for_data_science.ipynb

スクリプト

# matplotlib
import matplotlib.pyplot as plt
import matplotlib.style

#ggplotを使用する
matplotlib.style.use('ggplot')
# MATLABスタイル

matplotlib.style.use('ggplot')
x = [0,1,2,3,4]
y = [0,1,2,4,8]
plt.plot(x,y)
plt.title('MATLAB-STYLE')
Text(0.5,1,'MATLAB-STYLE')

# オブジェクト指向スタイル

x = [0,1,2,3,4]
y = [0,1,2,4,8]

#スタイルの指定は matplotlib.style.available で確認できる
matplotlib.style.use('ggplot') 

# ２行２列のプロットを用意する
fig, axes = plt.subplots(nrows=2,ncols=2)

# １行１列にプロットする 
axes[0,0].plot(x, y, label='legend_001')
axes[0,0].legend(loc='best') # 凡例 外配置は loc='bbox_to_anchor'

# 個別のグラフ axes を装飾する
axes[0,0].set_title('axes[0,0].set_title')   # タイトル
axes[0,0].set_xlabel('axes[0,0].set_xlabel') # x軸ラベル
axes[0,0].set_ylabel('axes[0,0].set_ylabel') # y軸ラベル

# 全体 fig を装飾する
fig.suptitle('fig.suptitle')

# グラフを保存する
fig.savefig('data/savefig.png')

# グラフを表示する
plt.show()

# 縦棒グラフ ax.bar
fig, axes = plt.subplots(1,2)
matplotlib.style.use('ggplot') 

x = [0,1,2]
y = [2,4,5]

# x軸ラベルを任意のラベルにする
labels = ['label_0','label_1','label_2']
axes[0].bar(x, y, tick_label=labels)
plt.show()

# 横棒グラフ ax.barh
fig, axes = plt.subplots(1,2)
matplotlib.style.use('ggplot') 

x = [0,1,2]
y = [2,4,5]

# x軸ラベルを任意のラベルにする
labels = ['label_0','label_1','label_2']
axes[0].barh(x, y, tick_label=labels)
plt.show()

# 縦棒グラフ ２本並べる ax.bar
fig, axes = plt.subplots(1,2)
matplotlib.style.use('ggplot') 

x1 = [0,1,2]
y1 = [2,4,5]
y2 = [3,5,7]

# x軸ラベルを任意のラベルにする
labels = ['label_0','label_1','label_2']

# 棒の幅を決める y1
width = 0.4
axes[0].bar(x1, y1, tick_label=labels, width=width, label='y1')
axes[0].legend(loc='best')

# 棒の幅の分をx軸の正方向にずれた位置に y2 の棒グラフを書く
x2 = [i + width for i in x1]
axes[0].bar(x2, y2, tick_label=labels, width=width, label='y2')
axes[0].legend(loc='best')

plt.show()

# 積み上げ棒グラフ
fig, axes = plt.subplots(1,2)
matplotlib.style.use('ggplot') 

x  = [0,1,2]
y1 = [2,4,5]
y2 = [3,5,7]

# x軸ラベルを任意のラベルにする
labels = ['label_0','label_1','label_2']

# y1とy2 を足した　y_total = y1 + y2 を作成する
y_total = [i + j for i, j in zip(y1, y2)]

# y_total の上に y2 で塗りつぶし、残りの部分を y1 と見立てる
axes[0].bar(x,y_total, tick_label=labels, label='y1')
axes[0].legend(loc='best')

axes[0].bar(x,y2, tick_label=labels, label='y2')
axes[0].legend(loc='best')

plt.show()

# 散布図
fig, ax = plt.subplots()

# ランダム値を生成
import numpy as np
np.random.seed(0)
x = np.random.randn(1000)
y = np.random.randn(1000)

# 各種マーカーを使用してみる
ax.scatter(x[0:100], y[0:100], marker='v', label='triangle down', color='red')
ax.scatter(x[100:200], y[100:200], marker='^', label='triangle up', color='blue')
ax.scatter(x[200:300], y[200:300], marker='s', label='square', color='green')
ax.scatter(x[300:400], y[300:400], marker='*', label='star', color='yellow')
ax.scatter(x[400:500], y[400:500], marker='x', label='x', color='black')
ax.scatter(x[500:600], y[500:600], marker='+', label='+', color='cyan')

plt.legend(loc='best')
<matplotlib.legend.Legend at 0x176cffce710>

# ヒストグラム
np.random.seed(1)
ave = 100
std = 15
x = np.random.normal(ave, std, 1000)

fig, ax = plt.subplots()
n, bins, patches = ax.hist(x, bins=20) 
plt.show()

n       # 各棒の度数
bins    # 各棒の境界値
patches # 各棒の描画情報

<a list of 20 Patch objects>
# ヒストグラム 横棒
np.random.seed(1)
ave = 100
std = 15
x = np.random.normal(ave, std, 1000)

fig, ax = plt.subplots()
n, bins, patches = ax.hist(x, bins=20, orientation='horizontal') 
plt.show()

# ヒストグラムを並べる
np.random.seed(2)

# 正規分布に従うデータを３つ用意する
x0 = np.random.normal(10,10,1000)
x1 = np.random.normal(10,20,1000)
x2 = np.random.normal(10,30,1000)

# ヒストグラムを書く
fig, ax = plt.subplots()
labels = ['x0', 'x1', 'x2']
ax.hist([x0,x1,x2],label=labels)
plt.legend(loc='best')
<matplotlib.legend.Legend at 0x176bad74470>

# ヒストグラムを積み上げる
np.random.seed(2)

# 正規分布に従うデータを３つ用意する
x0 = np.random.normal(10,10,1000)
x1 = np.random.normal(10,20,1000)
x2 = np.random.normal(10,30,1000)

# ヒストグラムを書く
fig, ax = plt.subplots()
labels = ['x0', 'x1', 'x2']
ax.hist([x0,x1,x2],label=labels, stacked=True)
plt.legend(loc='best')
<matplotlib.legend.Legend at 0x176cfeeeef0>

# 箱ひげ図 .boxplot

# 正規分布に従うデータを３つ用意する
np.random.seed(0)
x0 = np.random.normal(10,10,1000)
x1 = np.random.normal(10,20,1000)
x2 = np.random.normal(10,30,1000)

fig, ax = plt.subplots()
labels = ['x0', 'x1', 'x2']
ax.boxplot([x0,x1,x2], labels=labels)


plt.show()

# 箱ひげ図.boxplot（横向き vert=False） 

# 正規分布に従うデータを３つ用意する
np.random.seed(0)
x0 = np.random.normal(10,10,1000)
x1 = np.random.normal(10,20,1000)
x2 = np.random.normal(10,30,1000)

fig, ax = plt.subplots()
labels = ['x0', 'x1', 'x2']
ax.boxplot([x0,x1,x2], labels=labels, vert=False)


plt.show()

# 円グラフ ちょっと斜め上から

x = [3,5,7]
labels = labels = ['x0', 'x1', 'x2']

fig, ax = plt.subplots()
ax.pie(x, labels=labels)
plt.show()

# 円グラフ　真上から ax.axis('equal') 

x = [3,5,7]
labels = labels = ['x0', 'x1', 'x2']

fig, ax = plt.subplots()
ax.pie(x, labels=labels )
ax.axis('equal')         # 真上から
plt.show()

# 円グラフ　真上から ax.axis('equal')
# 12時(startangle=90) から 時計回り(counterclock=False) で
# 影をつける shadow=True
# %を入れる  autopct='%1.2f%%'
# 一部を切り離す explode

x = [3,5,7]
labels = labels = ['x0', 'x1', 'x2']

fig, ax = plt.subplots()
explode =[0,0.1,0] # ２番めのデータだけ切り離す
ax.pie(x, labels=labels, startangle=90, counterclock=False, shadow=True, autopct='%1.2f%%', explode=explode)
ax.axis('equal')
plt.show()

# グラフを組み合わせる 棒グラフ-折れ線グラフ
fig, ax = plt.subplots()

x1 = [0,1,2,3]
y1 = [1,3,5,7]

x2 = [0,1,2,3]
y2 = [10,8,20,10]

ax.bar(x1, y1, label='y1')  # 棒グラフ     ax.bar()
ax.plot(x2, y2, label='y2') # 折れ線グラフ ax.plot()
ax.legend(loc='best')

plt.show()

# グラフを組み合わせる ヒストグラム-折れ線グラフ

fig, ax = plt.subplots()

# サンプルデータを生成する
np.random.seed(0)
x = np.random.randn(1000)

# ヒストグラムを描く
counts, edges, patches = ax.hist(x, bins=30)

#中点を求める(何故かこれで求まるらしい)
x_fit = (edges[:-1] + edges[1:])/ 2
y=1000 * np.diff(edges) *np.exp(-x_fit**2 / 2)
np.sqrt(2 * np.pi)
ax.plot(x_fit, y)

plt.show()

counts
# array([  9.,  20.,  70., 146., 217., 239., 160.,  86.,  38.,  15.])

edges
# array([-3.04614305, -2.46559324, -1.88504342, -1.3044936 , -0.72394379,
#        -0.14339397,  0.43715585,  1.01770566,  1.59825548,  2.1788053 ,
#         2.75935511])
array([-3.04614305, -2.46559324, -1.88504342, -1.3044936 , -0.72394379,
       -0.14339397,  0.43715585,  1.01770566,  1.59825548,  2.1788053 ,
        2.75935511])
edges[1:]
array([-2.46559324, -1.88504342, -1.3044936 , -0.72394379, -0.14339397,
        0.43715585,  1.01770566,  1.59825548,  2.1788053 ,  2.75935511])
edges[:-1]
array([-3.04614305, -2.46559324, -1.88504342, -1.3044936 , -0.72394379,
       -0.14339397,  0.43715585,  1.01770566,  1.59825548,  2.1788053 ])
# スタイル
fig, ax = plt.subplots()

# 色 color=名称'red' １６進数RGB'#0000FF' RGBAをfloatで

ax.plot([0,1], [1,1], color='red')
ax.plot([0,1], [2,2], color='#0000FF')
ax.plot([0,1], [3,3], color=[0.2, 1.0, 0.2, 1.0])

plt.show()

# 色 color=名称'red' １６進数RGB'#0000FF' RGBAをfloatで
fig, ax = plt.subplots()

# 棒グラフは color と　edgecolor を設定できる
ax.bar([1], [3], color='red')
ax.bar([2], [4], color='cyan' , edgecolor='black')

plt.show()

# 線のスタイル 幅linewidth ラインスタイルlinestyle
fig, ax = plt.subplots()

ax.plot([0,1], [0,0])
ax.plot([0,1], [1,1], linewidth=1  ,linestyle='--')
ax.plot([0,1], [2,2], linewidth=5  ,linestyle='-.')
ax.plot([0,1], [3,3], linewidth=10 ,linestyle=':')

plt.show()

# フォント family, size, weght
fig, ax = plt.subplots()

ax.set_title('set_title', family='fantasy', size=20, weight='bold')
ax.set_xlabel('set_xlabel', family='DejaVu Sans', size=30, weight='light')
ax.set_ylabel('set_ylabel', family='monospace', size=25, weight='heavy')

plt.show()

# フォントはまとめてディクショナリにできる
fig, ax = plt.subplots()

fontdict = {
    'family': 'fantasy',
    'size': 20,
    'weight': 'normal',
    }

ax.set_title('set_title', fontdict=fontdict, size=40)
ax.set_xlabel('set_xlabel', fontdict=fontdict)
ax.set_ylabel('set_ylabel', fontdict=fontdict)

plt.show()

# グラフにテキストを描く
fig, ax = plt.subplots()

ax.text(  0,   0, 'text', size=10)
ax.text(0.2, 0.2, 'text', size=20)
ax.text(0.5, 0.5, 'text', size=30)
ax.text(1.0, 1.0, 'text', size=40)
plt.show()

# ---- end of scripts ----

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280

281

282

283

284

285

286

287

288

289

290

291

292

293

294

295

296

297

298

299

300

301

302

303

304

305

306

307

308

309

310

311

312

313

314

315

316

317

318

319

320

321

322

323

324

325

326

327

328

329

330

331

332

333

334

335

336

337

338

339

340

341

342

343

344

345

346

347

348

349

350

351

352

353

354

355

356

357

358

359

360

361

362

363

364

365

366

367

# matplotlib

import matplotlib.pyplot as plt

import matplotlib.style

#ggplotを使用する

matplotlib.style.use('ggplot')

# MATLABスタイル

matplotlib.style.use('ggplot')

x = [0,1,2,3,4]

y = [0,1,2,4,8]

plt.plot(x,y)

plt.title('MATLAB-STYLE')

Text(0.5,1,'MATLAB-STYLE')

# オブジェクト指向スタイル

x = [0,1,2,3,4]

y = [0,1,2,4,8]

#スタイルの指定は matplotlib.style.available で確認できる

matplotlib.style.use('ggplot')

# ２行２列のプロットを用意する

fig, axes = plt.subplots(nrows=2,ncols=2)

# １行１列にプロットする

axes[0,0].plot(x, y, label='legend_001')

axes[0,0].legend(loc='best') # 凡例外配置は loc='bbox_to_anchor'

# 個別のグラフ axes を装飾する

axes[0,0].set_title('axes[0,0].set_title') # タイトル

axes[0,0].set_xlabel('axes[0,0].set_xlabel') # x軸ラベル

axes[0,0].set_ylabel('axes[0,0].set_ylabel') # y軸ラベル

# 全体 fig を装飾する

fig.suptitle('fig.suptitle')

# グラフを保存する

fig.savefig('data/savefig.png')

# グラフを表示する

plt.show()

# 縦棒グラフ ax.bar

fig, axes = plt.subplots(1,2)

matplotlib.style.use('ggplot')

x = [0,1,2]

y = [2,4,5]

# x軸ラベルを任意のラベルにする

labels = ['label_0','label_1','label_2']

axes[0].bar(x, y, tick_label=labels)

plt.show()

# 横棒グラフ ax.barh

fig, axes = plt.subplots(1,2)

matplotlib.style.use('ggplot')

x = [0,1,2]

y = [2,4,5]

# x軸ラベルを任意のラベルにする

labels = ['label_0','label_1','label_2']

axes[0].barh(x, y, tick_label=labels)

plt.show()

# 縦棒グラフ２本並べる ax.bar

fig, axes = plt.subplots(1,2)

matplotlib.style.use('ggplot')

x1 = [0,1,2]

y1 = [2,4,5]

y2 = [3,5,7]

# x軸ラベルを任意のラベルにする

labels = ['label_0','label_1','label_2']

# 棒の幅を決める y1

width = 0.4

axes[0].bar(x1, y1, tick_label=labels, width=width, label='y1')

axes[0].legend(loc='best')

# 棒の幅の分をx軸の正方向にずれた位置に y2 の棒グラフを書く

x2 = [i + width for i in x1]

axes[0].bar(x2, y2, tick_label=labels, width=width, label='y2')

axes[0].legend(loc='best')

plt.show()

# 積み上げ棒グラフ

fig, axes = plt.subplots(1,2)

matplotlib.style.use('ggplot')

x = [0,1,2]

y1 = [2,4,5]

y2 = [3,5,7]

# x軸ラベルを任意のラベルにする

labels = ['label_0','label_1','label_2']

# y1とy2 を足した　y_total = y1 + y2 を作成する

y_total = [i + j for i, j in zip(y1, y2)]

# y_total の上に y2 で塗りつぶし、残りの部分を y1 と見立てる

axes[0].bar(x,y_total, tick_label=labels, label='y1')

axes[0].legend(loc='best')

axes[0].bar(x,y2, tick_label=labels, label='y2')

axes[0].legend(loc='best')

plt.show()

# 散布図

fig, ax = plt.subplots()

# ランダム値を生成

import numpy as np

np.random.seed(0)

x = np.random.randn(1000)

y = np.random.randn(1000)

# 各種マーカーを使用してみる

ax.scatter(x[0:100], y[0:100], marker='v', label='triangle down', color='red')

ax.scatter(x[100:200], y[100:200], marker='^', label='triangle up', color='blue')

ax.scatter(x[200:300], y[200:300], marker='s', label='square', color='green')

ax.scatter(x[300:400], y[300:400], marker='*', label='star', color='yellow')

ax.scatter(x[400:500], y[400:500], marker='x', label='x', color='black')

ax.scatter(x[500:600], y[500:600], marker='+', label='+', color='cyan')

plt.legend(loc='best')

<matplotlib.legend.Legend at 0x176cffce710>

# ヒストグラム

np.random.seed(1)

ave = 100

std = 15

x = np.random.normal(ave, std, 1000)

fig, ax = plt.subplots()

n, bins, patches = ax.hist(x, bins=20)

plt.show()

n # 各棒の度数

bins # 各棒の境界値

patches # 各棒の描画情報

# ヒストグラム横棒

np.random.seed(1)

ave = 100

std = 15

x = np.random.normal(ave, std, 1000)

fig, ax = plt.subplots()

n, bins, patches = ax.hist(x, bins=20, orientation='horizontal')

plt.show()

# ヒストグラムを並べる

np.random.seed(2)

# 正規分布に従うデータを３つ用意する

x0 = np.random.normal(10,10,1000)

x1 = np.random.normal(10,20,1000)

x2 = np.random.normal(10,30,1000)

# ヒストグラムを書く

fig, ax = plt.subplots()

labels = ['x0', 'x1', 'x2']

ax.hist([x0,x1,x2],label=labels)

plt.legend(loc='best')

<matplotlib.legend.Legend at 0x176bad74470>

# ヒストグラムを積み上げる

np.random.seed(2)

# 正規分布に従うデータを３つ用意する

x0 = np.random.normal(10,10,1000)

x1 = np.random.normal(10,20,1000)

x2 = np.random.normal(10,30,1000)

# ヒストグラムを書く

fig, ax = plt.subplots()

labels = ['x0', 'x1', 'x2']

ax.hist([x0,x1,x2],label=labels, stacked=True)

plt.legend(loc='best')

<matplotlib.legend.Legend at 0x176cfeeeef0>

# 箱ひげ図 .boxplot

# 正規分布に従うデータを３つ用意する

np.random.seed(0)

x0 = np.random.normal(10,10,1000)

x1 = np.random.normal(10,20,1000)

x2 = np.random.normal(10,30,1000)

fig, ax = plt.subplots()

labels = ['x0', 'x1', 'x2']

ax.boxplot([x0,x1,x2], labels=labels)

plt.show()

# 箱ひげ図.boxplot（横向き vert=False）

# 正規分布に従うデータを３つ用意する

np.random.seed(0)

x0 = np.random.normal(10,10,1000)

x1 = np.random.normal(10,20,1000)

x2 = np.random.normal(10,30,1000)

fig, ax = plt.subplots()

labels = ['x0', 'x1', 'x2']

ax.boxplot([x0,x1,x2], labels=labels, vert=False)

plt.show()

# 円グラフちょっと斜め上から

x = [3,5,7]

labels = labels = ['x0', 'x1', 'x2']

fig, ax = plt.subplots()

ax.pie(x, labels=labels)

plt.show()

# 円グラフ　真上から ax.axis('equal')

x = [3,5,7]

labels = labels = ['x0', 'x1', 'x2']

fig, ax = plt.subplots()

ax.pie(x, labels=labels )

ax.axis('equal') # 真上から

plt.show()

# 円グラフ　真上から ax.axis('equal')

# 12時(startangle=90) から時計回り(counterclock=False) で

# 影をつける shadow=True

# %を入れる autopct='%1.2f%%'

# 一部を切り離す explode

x = [3,5,7]

labels = labels = ['x0', 'x1', 'x2']

fig, ax = plt.subplots()

explode =[0,0.1,0] # ２番めのデータだけ切り離す

ax.pie(x, labels=labels, startangle=90, counterclock=False, shadow=True, autopct='%1.2f%%', explode=explode)

ax.axis('equal')

plt.show()

# グラフを組み合わせる棒グラフ-折れ線グラフ

fig, ax = plt.subplots()

x1 = [0,1,2,3]

y1 = [1,3,5,7]

x2 = [0,1,2,3]

y2 = [10,8,20,10]

ax.bar(x1, y1, label='y1') # 棒グラフ ax.bar()

ax.plot(x2, y2, label='y2') # 折れ線グラフ ax.plot()

ax.legend(loc='best')

plt.show()

# グラフを組み合わせるヒストグラム-折れ線グラフ

fig, ax = plt.subplots()

# サンプルデータを生成する

np.random.seed(0)

x = np.random.randn(1000)

# ヒストグラムを描く

counts, edges, patches = ax.hist(x, bins=30)

#中点を求める(何故かこれで求まるらしい)

x_fit = (edges[:-1] + edges[1:])/ 2

y=1000 * np.diff(edges) *np.exp(-x_fit**2 / 2)

np.sqrt(2 * np.pi)

ax.plot(x_fit, y)

plt.show()

counts

# array([ 9., 20., 70., 146., 217., 239., 160., 86., 38., 15.])

edges

# array([-3.04614305, -2.46559324, -1.88504342, -1.3044936 , -0.72394379,

# -0.14339397, 0.43715585, 1.01770566, 1.59825548, 2.1788053 ,

# 2.75935511])

array([-3.04614305, -2.46559324, -1.88504342, -1.3044936 , -0.72394379,

-0.14339397, 0.43715585, 1.01770566, 1.59825548, 2.1788053 ,

2.75935511])

edges[1:]

array([-2.46559324, -1.88504342, -1.3044936 , -0.72394379, -0.14339397,

0.43715585, 1.01770566, 1.59825548, 2.1788053 , 2.75935511])

edges[:-1]

array([-3.04614305, -2.46559324, -1.88504342, -1.3044936 , -0.72394379,

-0.14339397, 0.43715585, 1.01770566, 1.59825548, 2.1788053 ])

# スタイル

fig, ax = plt.subplots()

# 色 color=名称'red' １６進数RGB'#0000FF' RGBAをfloatで

ax.plot([0,1], [1,1], color='red')

ax.plot([0,1], [2,2], color='#0000FF')

ax.plot([0,1], [3,3], color=[0.2, 1.0, 0.2, 1.0])

plt.show()

# 色 color=名称'red' １６進数RGB'#0000FF' RGBAをfloatで

fig, ax = plt.subplots()

# 棒グラフは color と　edgecolor を設定できる

ax.bar([1], [3], color='red')

ax.bar([2], [4], color='cyan' , edgecolor='black')

plt.show()

# 線のスタイル幅linewidth ラインスタイルlinestyle

fig, ax = plt.subplots()

ax.plot([0,1], [0,0])

ax.plot([0,1], [1,1], linewidth=1 ,linestyle='--')

ax.plot([0,1], [2,2], linewidth=5 ,linestyle='-.')

ax.plot([0,1], [3,3], linewidth=10 ,linestyle=':')

plt.show()

# フォント family, size, weght

fig, ax = plt.subplots()

ax.set_title('set_title', family='fantasy', size=20, weight='bold')

ax.set_xlabel('set_xlabel', family='DejaVu Sans', size=30, weight='light')

ax.set_ylabel('set_ylabel', family='monospace', size=25, weight='heavy')

plt.show()

# フォントはまとめてディクショナリにできる

fig, ax = plt.subplots()

fontdict = {

'family': 'fantasy',

'size': 20,

'weight': 'normal',

}

ax.set_title('set_title', fontdict=fontdict, size=40)

ax.set_xlabel('set_xlabel', fontdict=fontdict)

ax.set_ylabel('set_ylabel', fontdict=fontdict)

plt.show()

# グラフにテキストを描く

fig, ax = plt.subplots()

ax.text( 0, 0, 'text', size=10)

ax.text(0.2, 0.2, 'text', size=20)

ax.text(0.5, 0.5, 'text', size=30)

ax.text(1.0, 1.0, 'text', size=40)

plt.show()

# ---- end of scripts ----

Python : pandas

どーも　Keita_Nakamori(´・ω・`)です。pandas の基本操作を一通りやりましたので、置いておきます。

pandas_for_text_of _data_science.html

pandas_for_text_of _data_science.ipynb

べた貼りです。上記のhtmlのほうが見やすいです。

In [2]:
import pandas as pd
In [3]:
# Seriesを作成する
li = [1,2,3,4,5]
ser = pd.Series(li)
ser
Out[3]:
0    1
1    2
2    3
3    4
4    5
dtype: int64
In [4]:
# DataFrameを作成する
li = [['aaa', 1, True],
      ['bbb', 2, False],
      ['ccc', 3, False]]
df = pd.DataFrame(li)
df
# 一つの列に文字列が混在すると演算できなくなるので注意
Out[4]:

0
1
2
0
aaa
1
True
1
bbb
2
False
2
ccc
3
False
In [5]:
# DataFrameを観察する
import numpy as np
import pandas as pd

df =pd.DataFrame(np.arange(100).reshape(25,4))
df.head(3) #データの頭の3行を表示する
df.tail(3) #データの尾の3行を表示する
df.shape   #(25, 4)  25行 x 4列
Out[5]:
(25, 4)
In [6]:
# DataFrameのindex とcolumns　を定義する

df = pd.DataFrame(np.arange(6).reshape(3,2))

df.index = ['001', '002', '003']
df.columns =['Value_1', 'Value_2']
df
Out[6]:

Value_1
Value_2
001
0
1
002
2
3
003
4
5
In [7]:
# index指定
df[0:2]
Out[7]:

Value_1
Value_2
001
0
1
002
2
3
In [8]:
# columns指定
df['Value_1']
Out[8]:
001    0
002    2
003    4
Name: Value_1, dtype: int32
In [9]:
# columns指定　複数の場合はリストで渡す
df[['Value_1','Value_2']]
Out[9]:

Value_1
Value_2
001
0
1
002
2
3
003
4
5
In [10]:
# ディクショナリから DataFrameを作成する
dic ={'aaa':[1,2,3,4], 'bbb':[5,6,7,8], 'c':[9,10,11,12]}
df = pd.DataFrame(dic)
df
Out[10]:

aaa
bbb
c
0
1
5
9
1
2
6
10
2
3
7
11
3
4
8
12
In [11]:
# ロケーション指定 loc , iloc 
import numpy as np
import pandas as pd

# 24行x 4列のDataFrameを生成
df = pd.DataFrame(np.arange(5*4).reshape(5,4))
df.index = ['row1', 'row2', 'row3', 'row4', 'row5']
df.columns =['A', 'B', 'C', 'D', ]
df
Out[11]:

A
B
C
D
row1
0
1
2
3
row2
4
5
6
7
row3
8
9
10
11
row4
12
13
14
15
row5
16
17
18
19
In [12]:
df.loc[:,:] # 必ず index columnsの両方を指定するので曖昧さがない
df.loc[:,'B']
Out[12]:
row1     1
row2     5
row3     9
row4    13
row5    17
Name: B, dtype: int32
In [13]:
df.loc['row3','B']
Out[13]:
9
In [14]:
df.loc[['row1', 'row2'], 'B']
Out[14]:
row1    1
row2    5
Name: B, dtype: int32
In [15]:
df.iloc[0,0] # 0
df.iloc[2:4, :]
Out[15]:

A
B
C
D
row3
8
9
10
11
row4
12
13
14
15
In [16]:
# データの読み込み
df_csv = pd.read_csv('data/sample_data.csv', encoding='utf-8', index_col=0, parse_dates=True)
df_excel = pd.read_excel('data/sample_data.xlsx', encoding='utf-8', index_col=0, parse_dates=True)
df = df_csv
In [17]:
# htmlのtableから表を抜き出す
# url = ""
# tables = pd.read_html(url)
# df_html = tables[0]
In [18]:
# データの書き込み
df.to_csv('data/write_data.csv')       # csvデータ
df.to_excel('data/write_data.xlsx')    # エクセルデータ
df.to_pickle('data/write_data.pickle') # ピクルデータ
In [19]:
# 保存したデータの読み込み
df_csv = pd.read_csv('data/sample_data.csv', encoding='utf-8')
df_pickle = pd.read_pickle('data/write_data.pickle')
In [20]:
df_pickle
Out[20]:

column_1
column_2
column_3
column_4
column_5
column_6
rows






row1
1
1.01
aaa
True
aaa
aaa
row2
2
2.01
bbb
False
bbb
bbb
row3
3
3.01
aaa
True
NaN
4.01
row4
4
4.01
bbb
False
NaN
5.01
row5
5
5.01
aaa
True
NaN
7
row6
6
6.01
bbb
False
bbb
8
row7
7
7.01
aaa
True
aaa
NaN
row8
8
8.01
bbb
False
bbb
NaN
row9
9
9.01
aaa
True
aaa
FALSE
row10
10
10.01
bbb
False
bbb
TRUE
In [21]:
# 条件抽出
df_bool = df_pickle['column_2'] >= 5
df_bool
Out[21]:
rows
row1     False
row2     False
row3     False
row4     False
row5      True
row6      True
row7      True
row8      True
row9      True
row10     True
Name: column_2, dtype: bool
In [22]:
df_selected = df_pickle[df_pickle['column_2'] > 5]
df_selected
Out[22]:

column_1
column_2
column_3
column_4
column_5
column_6
rows






row5
5
5.01
aaa
True
NaN
7
row6
6
6.01
bbb
False
bbb
8
row7
7
7.01
aaa
True
aaa
NaN
row8
8
8.01
bbb
False
bbb
NaN
row9
9
9.01
aaa
True
aaa
FALSE
row10
10
10.01
bbb
False
bbb
TRUE
In [23]:
# 条件抽出 SQLのようにqueryメソドを使用する
df_pickle.query('column_2 >= 5 and column_2 <= 9')
Out[23]:

column_1
column_2
column_3
column_4
column_5
column_6
rows






row5
5
5.01
aaa
True
NaN
7
row6
6
6.01
bbb
False
bbb
8
row7
7
7.01
aaa
True
aaa
NaN
row8
8
8.01
bbb
False
bbb
NaN
In [24]:
# 各列の型を確認する　df.dtypes
df_pickle.dtypes
Out[24]:
column_1      int64
column_2    float64
column_3     object
column_4       bool
column_5     object
column_6     object
dtype: object
In [25]:
# 型を変更する
df = df_pickle # 以後説明しやすいように名前を変更しておきます。

df.loc[:,'date'] = df.loc[:,'column_1']
df['date'] = df['date'].apply(pd.to_datetime)
df
Out[25]:

column_1
column_2
column_3
column_4
column_5
column_6
date
rows







row1
1
1.01
aaa
True
aaa
aaa
1970-01-01 00:00:00.000000001
row2
2
2.01
bbb
False
bbb
bbb
1970-01-01 00:00:00.000000002
row3
3
3.01
aaa
True
NaN
4.01
1970-01-01 00:00:00.000000003
row4
4
4.01
bbb
False
NaN
5.01
1970-01-01 00:00:00.000000004
row5
5
5.01
aaa
True
NaN
7
1970-01-01 00:00:00.000000005
row6
6
6.01
bbb
False
bbb
8
1970-01-01 00:00:00.000000006
row7
7
7.01
aaa
True
aaa
NaN
1970-01-01 00:00:00.000000007
row8
8
8.01
bbb
False
bbb
NaN
1970-01-01 00:00:00.000000008
row9
9
9.01
aaa
True
aaa
FALSE
1970-01-01 00:00:00.000000009
row10
10
10.01
bbb
False
bbb
TRUE
1970-01-01 00:00:00.000000010
In [26]:
# int から floatに型を変更する
df['float'] = df['column_1'].astype(np.float32)
df
Out[26]:

column_1
column_2
column_3
column_4
column_5
column_6
date
float
rows








row1
1
1.01
aaa
True
aaa
aaa
1970-01-01 00:00:00.000000001
1.0
row2
2
2.01
bbb
False
bbb
bbb
1970-01-01 00:00:00.000000002
2.0
row3
3
3.01
aaa
True
NaN
4.01
1970-01-01 00:00:00.000000003
3.0
row4
4
4.01
bbb
False
NaN
5.01
1970-01-01 00:00:00.000000004
4.0
row5
5
5.01
aaa
True
NaN
7
1970-01-01 00:00:00.000000005
5.0
row6
6
6.01
bbb
False
bbb
8
1970-01-01 00:00:00.000000006
6.0
row7
7
7.01
aaa
True
aaa
NaN
1970-01-01 00:00:00.000000007
7.0
row8
8
8.01
bbb
False
bbb
NaN
1970-01-01 00:00:00.000000008
8.0
row9
9
9.01
aaa
True
aaa
FALSE
1970-01-01 00:00:00.000000009
9.0
row10
10
10.01
bbb
False
bbb
TRUE
1970-01-01 00:00:00.000000010
10.0
In [27]:
# 並べ替え .sort()
df.sort_values(by = 'column_2', ascending=True)  # 昇順
df.sort_values(by = 'column_2', ascending=False) # 降順
Out[27]:

column_1
column_2
column_3
column_4
column_5
column_6
date
float
rows








row10
10
10.01
bbb
False
bbb
TRUE
1970-01-01 00:00:00.000000010
10.0
row9
9
9.01
aaa
True
aaa
FALSE
1970-01-01 00:00:00.000000009
9.0
row8
8
8.01
bbb
False
bbb
NaN
1970-01-01 00:00:00.000000008
8.0
row7
7
7.01
aaa
True
aaa
NaN
1970-01-01 00:00:00.000000007
7.0
row6
6
6.01
bbb
False
bbb
8
1970-01-01 00:00:00.000000006
6.0
row5
5
5.01
aaa
True
NaN
7
1970-01-01 00:00:00.000000005
5.0
row4
4
4.01
bbb
False
NaN
5.01
1970-01-01 00:00:00.000000004
4.0
row3
3
3.01
aaa
True
NaN
4.01
1970-01-01 00:00:00.000000003
3.0
row2
2
2.01
bbb
False
bbb
bbb
1970-01-01 00:00:00.000000002
2.0
row1
1
1.01
aaa
True
aaa
aaa
1970-01-01 00:00:00.000000001
1.0
In [28]:
# 関数を使って条件分岐する
def judge(value):
    if value >= 7:
        return 'good'
    if value >=4:
        return 'nomal'
    else:
        return 'bad'
    
df['judged'] = df['column_2'].apply(judge)    
df
Out[28]:

column_1
column_2
column_3
column_4
column_5
column_6
date
float
judged
rows









row1
1
1.01
aaa
True
aaa
aaa
1970-01-01 00:00:00.000000001
1.0
bad
row2
2
2.01
bbb
False
bbb
bbb
1970-01-01 00:00:00.000000002
2.0
bad
row3
3
3.01
aaa
True
NaN
4.01
1970-01-01 00:00:00.000000003
3.0
bad
row4
4
4.01
bbb
False
NaN
5.01
1970-01-01 00:00:00.000000004
4.0
nomal
row5
5
5.01
aaa
True
NaN
7
1970-01-01 00:00:00.000000005
5.0
nomal
row6
6
6.01
bbb
False
bbb
8
1970-01-01 00:00:00.000000006
6.0
nomal
row7
7
7.01
aaa
True
aaa
NaN
1970-01-01 00:00:00.000000007
7.0
good
row8
8
8.01
bbb
False
bbb
NaN
1970-01-01 00:00:00.000000008
8.0
good
row9
9
9.01
aaa
True
aaa
FALSE
1970-01-01 00:00:00.000000009
9.0
good
row10
10
10.01
bbb
False
bbb
TRUE
1970-01-01 00:00:00.000000010
10.0
good
In [29]:
# One-Hot エンコーディングをする
df_moved = pd.get_dummies(df['judged'], prefix='J')
df_moved
Out[29]:

J_bad
J_good
J_nomal
rows



row1
1
0
0
row2
1
0
0
row3
1
0
0
row4
0
0
1
row5
0
0
1
row6
0
0
1
row7
0
1
0
row8
0
1
0
row9
0
1
0
row10
0
1
0
In [30]:
# pickle保存しておく
pd.to_pickle(df_moved, 'data/df_moved.pickle')
In [31]:
# 時系列データの作成
dates = pd.date_range(start='2019-01-01', end='2019-1-30')
np.random.seed(0)
df =pd.DataFrame(np.random.randint(1,31,30), index=dates, columns=['rand_value'])
df.head()
Out[31]:

rand_value
2019-01-01
13
2019-01-02
16
2019-01-03
22
2019-01-04
1
2019-01-05
4
In [32]:
# 時系列データの作成２
dates = pd.date_range(start='2019-01-01', periods=365)
np.random.seed(1)
df = pd.DataFrame(np.random.randint(1, 31, 365), index=dates, columns=['rand_value'])
df.head()
Out[32]:

rand_value
2019-01-01
6
2019-01-02
12
2019-01-03
13
2019-01-04
9
2019-01-05
10
In [33]:
# 月平均を算出する .grooupby(pd.Grouper())
df.groupby(pd.Grouper(freq='M')).mean().head()
Out[33]:

rand_value
2019-01-31
14.870968
2019-02-28
15.000000
2019-03-31
15.387097
2019-04-30
15.700000
2019-05-31
14.193548
In [34]:
# 月平均を算出する２　.resample()
df['rand_value'].resample('M').mean().head()
# Serieseで返ってくる
Out[34]:
2019-01-31    14.870968
2019-02-28    15.000000
2019-03-31    15.387097
2019-04-30    15.700000
2019-05-31    14.193548
Freq: M, Name: rand_value, dtype: float64
In [35]:
# 年間の土曜日の日付データを作成する
pd.date_range(start='2019-01-01', end='2019-12-31', freq='W-SAT')
Out[35]:
DatetimeIndex(['2019-01-05', '2019-01-12', '2019-01-19', '2019-01-26',
               '2019-02-02', '2019-02-09', '2019-02-16', '2019-02-23',
               '2019-03-02', '2019-03-09', '2019-03-16', '2019-03-23',
               '2019-03-30', '2019-04-06', '2019-04-13', '2019-04-20',
               '2019-04-27', '2019-05-04', '2019-05-11', '2019-05-18',
               '2019-05-25', '2019-06-01', '2019-06-08', '2019-06-15',
               '2019-06-22', '2019-06-29', '2019-07-06', '2019-07-13',
               '2019-07-20', '2019-07-27', '2019-08-03', '2019-08-10',
               '2019-08-17', '2019-08-24', '2019-08-31', '2019-09-07',
               '2019-09-14', '2019-09-21', '2019-09-28', '2019-10-05',
               '2019-10-12', '2019-10-19', '2019-10-26', '2019-11-02',
               '2019-11-09', '2019-11-16', '2019-11-23', '2019-11-30',
               '2019-12-07', '2019-12-14', '2019-12-21', '2019-12-28'],
              dtype='datetime64[ns]', freq='W-SAT')
In [36]:
# 土曜日までの１週間単位でデータをまとめる
df_year = pd.DataFrame(df.groupby(pd.Grouper(freq='W-SAT')).sum(), columns=['rand_value'])
df_year.head()
Out[36]:

rand_value
2019-01-05
50
2019-01-12
67
2019-01-19
124
2019-01-26
127
2019-02-02
127
In [37]:
#欠損値の処理
df_nan = pd.read_pickle('data/write_data.pickle')

#欠損値の行を削除する
df_droped = df_nan.dropna()
df_droped
Out[37]:

column_1
column_2
column_3
column_4
column_5
column_6
rows






row1
1
1.01
aaa
True
aaa
aaa
row2
2
2.01
bbb
False
bbb
bbb
row6
6
6.01
bbb
False
bbb
8
row9
9
9.01
aaa
True
aaa
FALSE
row10
10
10.01
bbb
False
bbb
TRUE
In [38]:
#欠損値に0を代入して埋める
df_fillna = df_nan.fillna(0)
df_fillna
Out[38]:

column_1
column_2
column_3
column_4
column_5
column_6
rows






row1
1
1.01
aaa
True
aaa
aaa
row2
2
2.01
bbb
False
bbb
bbb
row3
3
3.01
aaa
True
0
4.01
row4
4
4.01
bbb
False
0
5.01
row5
5
5.01
aaa
True
0
7
row6
6
6.01
bbb
False
bbb
8
row7
7
7.01
aaa
True
aaa
0
row8
8
8.01
bbb
False
bbb
0
row9
9
9.01
aaa
True
aaa
FALSE
row10
10
10.01
bbb
False
bbb
TRUE
In [39]:
#欠損値を１つ手前の値で補完する
df_fill = df_nan.fillna(method='ffill')
df_fill
Out[39]:

column_1
column_2
column_3
column_4
column_5
column_6
rows






row1
1
1.01
aaa
True
aaa
aaa
row2
2
2.01
bbb
False
bbb
bbb
row3
3
3.01
aaa
True
bbb
4.01
row4
4
4.01
bbb
False
bbb
5.01
row5
5
5.01
aaa
True
bbb
7
row6
6
6.01
bbb
False
bbb
8
row7
7
7.01
aaa
True
aaa
8
row8
8
8.01
bbb
False
bbb
8
row9
9
9.01
aaa
True
aaa
FALSE
row10
10
10.01
bbb
False
bbb
TRUE
In [40]:
# データの連結
df = pd.read_pickle('data/df_sample.pickle')
df_moved = pd.read_pickle('data/df_moved.pickle')

# 列方向の連結
df_merged = pd.concat([df, df_moved], axis=1)
df_merged.head()

C:\Users\keita\AppData\Local\Continuum\anaconda3\lib\site-packages\pandas\core\indexes\api.py:107: RuntimeWarning: '<' not supported between instances of 'float' and 'str', sort order is undefined for incomparable objects
  result = result.union(other)
Out[40]:

column_2
column_3
column_4
column_5
column_6
c2*c4
jadged
judged
J_bad
J_good
J_nomal
1.0
1.01
aaa
True
aaa
aaa
1.01
bad
bad
NaN
NaN
NaN
2.0
2.01
bbb
False
bbb
bbb
0.00
bad
bad
NaN
NaN
NaN
3.0
3.01
aaa
True
NaN
4.01
3.01
bad
bad
NaN
NaN
NaN
4.0
4.01
bbb
False
NaN
5.01
0.00
nomal
nomal
NaN
NaN
NaN
5.0
5.01
aaa
True
NaN
7
5.01
nomal
nomal
NaN
NaN
NaN
In [41]:
# 行方向に連結する
df_1 = df.loc[1:2,:]
df_2 = df.loc[9:10,:]

df = pd.concat([df_1, df_2], axis=0, sort=True)
df 
Out[41]:

c2*c4
column_2
column_3
column_4
column_5
column_6
jadged
judged
float








1.0
1.01
1.01
aaa
True
aaa
aaa
bad
bad
2.0
0.00
2.01
bbb
False
bbb
bbb
bad
bad
9.0
9.01
9.01
aaa
True
aaa
FALSE
good
good
10.0
0.00
10.01
bbb
False
bbb
TRUE
good
good
In [42]:
# 基本的な統計量を算出する
np.random.seed(2)
df = pd.DataFrame(np.random.randint(0,11,100), columns=['value'])
print(df.loc[:,'value'].max(),
      df.loc[:,'value'].min(),
      df.loc[:,'value'].mode(), #最頻値
      df.loc[:,'value'].mean(),
      df.loc[:,'value'].median(),
      df.loc[:,'value'].std(ddof=0), # 母集団の標準偏差
      df.loc[:,'value'].std(ddof=1), # サンプルの標準偏差      
     )     

10 0 0    10
dtype: int32 5.55 6.0 3.1124748994971836 3.128154973039785
In [43]:
#カウント
df[df.loc[:,'value'] == 5].count()
Out[43]:
value    9
dtype: int64
In [44]:
# 要約された統計量を算出する
df.describe()
Out[44]:

value
count
100.000000
mean
5.550000
std
3.128155
min
0.000000
25%
3.000000
50%
6.000000
75%
8.000000
max
10.000000
In [45]:
# 相関係数
data = np.random.randn(300).reshape(100,3)
df = pd.DataFrame(data)
df.head()

df.corr()

from pandas.plotting import scatter_matrix
%matplotlib inline

_ = scatter_matrix(df)

 
In [46]:
# pandas.DataFrame から　numpy.arrayへの変換
df[0].values
Out[46]:
array([ 1.02210506e+00,  1.53636029e+00, -1.18854160e+00, -3.18840605e-01,
        1.95254214e-01,  1.20769783e+00,  4.17160217e-01,  1.20769557e-01,
        2.35854982e-01,  1.47630693e+00, -2.57855698e+00,  2.23092726e-01,
        5.48677242e-01,  1.29975337e-01,  1.33354447e-01, -1.63213498e+00,
        1.16837169e+00,  4.08842472e-02, -3.95195402e-01, -1.17113099e+00,
        5.57721015e-01,  2.10202473e-02,  1.96504656e-01,  6.38925860e-01,
       -3.77376397e-02,  9.26374048e-03, -4.32477714e-02,  8.19477959e-01,
       -2.74608267e-01, -1.11840069e+00,  1.02868791e+00, -9.17827897e-02,
        1.00139308e+00,  1.36927887e+00, -3.32376106e-01, -8.98514459e-01,
        6.60488981e-01,  1.30103340e+00,  5.00463181e-01, -3.79377283e-01,
       -5.18945829e-01,  9.09490540e-01, -1.08860575e+00, -2.81766922e-01,
       -8.00976861e-01,  1.37357822e+00, -1.28768987e+00, -9.37719104e-01,
       -7.47252631e-01, -5.76454194e-01, -1.41699281e+00, -1.36057075e-01,
       -8.81027234e-01, -1.77330774e+00,  3.31707535e-02, -1.04990183e-01,
       -1.71142690e+00, -9.12673226e-01, -1.08172822e+00,  1.99335230e+00,
       -3.86961106e-01, -2.09225941e-01, -4.27889084e-01,  6.06603798e-01,
       -3.36370275e-01,  1.80052517e+00,  8.33292653e-01,  1.33480770e+00,
       -1.44644975e+00,  6.66240193e-01, -1.64386955e+00,  6.11191152e-01,
        4.77865842e-01,  9.18109263e-01, -7.38847589e-01,  1.57718123e+00,
        8.67298665e-01, -2.42036059e-01, -3.21914568e-01,  1.01525122e+00,
       -5.69088895e-01,  8.48138843e-01, -2.13080187e-02,  1.73029626e+00,
        3.23823588e-01,  1.20917022e+00, -8.33636664e-01, -1.29003470e+00,
       -3.13110100e-01,  3.57341451e-01, -4.10464725e-01, -1.84265262e-03,
       -6.61755432e-01, -6.22129678e-01, -8.87283517e-01,  1.16993295e+00,
        3.32767248e-01, -4.41954269e-01,  4.31653084e-01, -1.20600785e+00])
In [ ]:
# ---- end of sript ----

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280

281

282

283

284

285

286

287

288

289

290

291

292

293

294

295

296

297

298

299

300

301

302

303

304

305

306

307

308

309

310

311

312

313

314

315

316

317

318

319

320

321

322

323

324

325

326

327

328

329

330

331

332

333

334

335

336

337

338

339

340

341

342

343

344

345

346

347

348

349

350

351

352

353

354

355

356

357

358

359

360

361

362

363

364

365

366

367

368

369

370

371

372

373

374

375

376

377

378

379

380

381

382

383

384

385

386

387

388

389

390

391

392

393

394

395

396

397

398

399

400

401

402

403

404

405

406

407

408

409

410

411

412

413

414

415

416

417

418

419

420

421

422

423

424

425

426

427

428

429

430

431

432

433

434

435

436

437

438

439

440

441

442

443

444

445

446

447

448

449

450

451

452

453

454

455

456

457

458

459

460

461

462

463

464

465

466

467

468

469

470

471

472

473

474

475

476

477

478

479

480

481

482

483

484

485

486

487

488

489

490

491

492

493

494

495

496

497

498

499

500

501

502

503

504

505

506

507

508

509

510

511

512

513

514

515

516

517

518

519

520

521

522

523

524

525

526

527

528

529

530

531

532

533

534

535

536

537

538

539

540

541

542

543

544

545

546

547

548

549

550

551

552

553

554

555

556

557

558

559

560

561

562

563

564

565

566

567

568

569

570

571

572

573

574

575

576

577

578

579

580

581

582

583

584

585

586

587

588

589

590

591

592

593

594

595

596

597

598

599

600

601

602

603

604

605

606

607

608

609

610

611

612

613

614

615

616

617

618

619

620

621

622

623

624

625

626

627

628

629

630

631

632

633

634

635

636

637

638

639

640

641

642

643

644

645

646

647

648

649

650

651

652

653

654

655

656

657

658

659

660

661

662

663

664

665

666

667

668

669

670

671

672

673

674

675

676

677

678

679

680

681

682

683

684

685

686

687

688

689

690

691

692

693

694

695

696

697

698

699

700

701

702

703

704

705

706

707

708

709

710

711

712

713

714

715

716

717

718

719

720

721

722

723

724

725

726

727

728

729

730

731

732

733

734

735

736

737

738

739

740

741

742

743

744

745

746

747

748

749

750

751

752

753

754

755

756

757

758

759

760

761

762

763

764

765

766

767

768

769

770

771

772

773

774

775

776

777

778

779

780

781

782

783

784

785

786

787

788

789

790

791

792

793

794

795

796

797

798

799

800

801

802

803

804

805

806

807

808

809

810

811

812

813

814

815

816

817

818

819

820

821

822

823

824

825

826

827

828

829

830

831

832

833

834

835

836

837

838

839

840

841

842

843

844

845

846

847

848

849

850

851

852

853

854

855

856

857

858

859

860

861

862

863

864

865

866

867

868

869

870

871

872

873

874

875

876

877

878

879

880

881

882

883

884

885

886

887

888

889

890

891

892

893

894

895

896

897

898

899

900

901

902

903

904

905

906

907

908

909

910

911

912

913

914

915

916

917

918

919

920

921

922

923

924

925

926

927

928

929

930

931

932

933

934

935

936

937

938

939

940

941

942

943

944

945

946

947

948

949

950

951

952

953

954

955

956

957

958

959

960

961

962

963

964

965

966

967

968

969

970

971

972

973

974

975

976

977

978

979

980

981

982

983

984

985

986

987

988

989

990

991

992

993

994

995

996

997

998

999

1000

1001

1002

1003

1004

1005

1006

1007

1008

1009

1010

1011

1012

1013

1014

1015

1016

1017

1018

1019

1020

1021

1022

1023

1024

1025

1026

1027

1028

1029

1030

1031

1032

1033

1034

1035

1036

1037

1038

1039

1040

1041

1042

1043

1044

1045

1046

1047

1048

1049

1050

1051

1052

1053

1054

1055

1056

1057

1058

1059

1060

1061

1062

1063

1064

1065

1066

1067

1068

1069

1070

1071

1072

1073

1074

1075

1076

1077

1078

1079

1080

1081

1082

1083

1084

1085

1086

1087

1088

1089

1090

1091

1092

1093

1094

1095

1096

1097

1098

1099

1100

1101

1102

1103

1104

1105

1106

1107

1108

1109

1110

1111

1112

1113

1114

1115

1116

1117

1118

1119

1120

1121

1122

1123

1124

1125

1126

1127

1128

1129

1130

1131

1132

1133

1134

1135

1136

1137

1138

1139

1140

1141

1142

1143

1144

1145

1146

1147

1148

1149

1150

1151

1152

1153

1154

1155

1156

1157

1158

1159

1160

1161

1162

1163

1164

1165

1166

1167

1168

1169

1170

1171

1172

1173

1174

1175

1176

1177

1178

1179

1180

1181

1182

1183

1184

1185

1186

1187

1188

1189

1190

1191

1192

1193

1194

1195

1196

1197

1198

1199

1200

1201

1202

1203

1204

1205

1206

1207

1208

1209

1210

1211

1212

1213

1214

1215

1216

1217

1218

1219

1220

1221

1222

1223

1224

1225

1226

1227

1228

1229

1230

1231

1232

1233

1234

1235

1236

1237

1238

1239

1240

1241

1242

1243

1244

1245

1246

1247

1248

1249

1250

1251

1252

1253

1254

1255

1256

1257

1258

1259

1260

1261

1262

1263

1264

1265

1266

1267

1268

1269

1270

1271

1272

1273

1274

1275

1276

1277

1278

1279

1280

1281

1282

1283

1284

1285

1286

1287

1288

1289

1290

1291

1292

1293

1294

1295

1296

1297

1298

1299

1300

1301

1302

1303

1304

1305

1306

1307

1308

1309

1310

1311

1312

1313

1314

1315

1316

1317

1318

1319

1320

1321

1322

1323

1324

1325

1326

1327

1328

1329

1330

1331

1332

1333

1334

1335

1336

1337

1338

1339

1340

1341

1342

1343

1344

1345

1346

1347

1348

1349

1350

1351

1352

1353

1354

1355

1356

1357

1358

1359

1360

1361

1362

1363

1364

1365

1366

1367

1368

1369

1370

1371

1372

1373

1374

1375

1376

1377

1378

1379

1380

1381

1382

1383

1384

1385

1386

1387

1388

1389

1390

1391

1392

1393

1394

1395

1396

1397

1398

1399

1400

1401

1402

1403

1404

1405

1406

1407

1408

1409

1410

1411

1412

1413

1414

1415

1416

1417

1418

1419

1420

1421

1422

1423

1424

1425

1426

1427

1428

1429

1430

1431

1432

1433

1434

1435

1436

1437

1438

1439

1440

1441

1442

1443

1444

1445

1446

1447

1448

1449

1450

1451

1452

1453

1454

1455

1456

1457

1458

1459

1460

1461

1462

1463

1464

1465

1466

1467

1468

1469

1470

1471

1472

1473

1474

1475

1476

1477

1478

1479

1480

1481

1482

1483

1484

1485

1486

1487

1488

1489

1490

1491

1492

1493

1494

1495

1496

1497

1498

1499

1500

1501

1502

1503

1504

1505

1506

1507

1508

1509

1510

1511

1512

1513

1514

1515

1516

1517

1518

1519

1520

1521

1522

1523

1524

1525

1526

1527

1528

1529

1530

1531

1532

1533

1534

1535

1536

1537

1538

1539

1540

1541

1542

1543

In [2]:

import pandas as pd

In [3]:

# Seriesを作成する

li = [1,2,3,4,5]

ser = pd.Series(li)

ser

Out[3]:

0 1

1 2

2 3

3 4

4 5

dtype: int64

In [4]:

# DataFrameを作成する

li = [['aaa', 1, True],

['bbb', 2, False],

['ccc', 3, False]]

df = pd.DataFrame(li)

# 一つの列に文字列が混在すると演算できなくなるので注意

Out[4]:

aaa

True

bbb

False

ccc

False

In [5]:

# DataFrameを観察する

import numpy as np

import pandas as pd

df =pd.DataFrame(np.arange(100).reshape(25,4))

df.head(3) #データの頭の3行を表示する

df.tail(3) #データの尾の3行を表示する

df.shape #(25, 4) 25行 x 4列

Out[5]:

(25, 4)

In [6]:

# DataFrameのindex とcolumns　を定義する

df = pd.DataFrame(np.arange(6).reshape(3,2))

df.index = ['001', '002', '003']

df.columns =['Value_1', 'Value_2']

Out[6]:

Value_1

Value_2

001

002

003

In [7]:

# index指定

df[0:2]

Out[7]:

Value_1

Value_2

001

002

In [8]:

# columns指定

df['Value_1']

Out[8]:

001 0

002 2

003 4

Name: Value_1, dtype: int32

In [9]:

# columns指定　複数の場合はリストで渡す

df[['Value_1','Value_2']]

Out[9]:

Value_1

Value_2

001

002

003

In [10]:

# ディクショナリから DataFrameを作成する

dic ={'aaa':[1,2,3,4], 'bbb':[5,6,7,8], 'c':[9,10,11,12]}

df = pd.DataFrame(dic)

Out[10]:

aaa

bbb

In [11]:

# ロケーション指定 loc , iloc

import numpy as np

import pandas as pd

# 24行x 4列のDataFrameを生成

df = pd.DataFrame(np.arange(5*4).reshape(5,4))

df.index = ['row1', 'row2', 'row3', 'row4', 'row5']

df.columns =['A', 'B', 'C', 'D', ]

Out[11]:

row1

row2

row3

row4

row5

In [12]:

df.loc[:,:] # 必ず index columnsの両方を指定するので曖昧さがない

df.loc[:,'B']

Out[12]:

row1 1

row2 5

row3 9

row4 13

row5 17

Name: B, dtype: int32

In [13]:

df.loc['row3','B']

Out[13]:

In [14]:

df.loc[['row1', 'row2'], 'B']

Out[14]:

row1 1

row2 5

Name: B, dtype: int32

In [15]:

df.iloc[0,0] # 0

df.iloc[2:4, :]

Out[15]:

row3

row4

In [16]:

# データの読み込み

df_csv = pd.read_csv('data/sample_data.csv', encoding='utf-8', index_col=0, parse_dates=True)

df_excel = pd.read_excel('data/sample_data.xlsx', encoding='utf-8', index_col=0, parse_dates=True)

df = df_csv

In [17]:

# htmlのtableから表を抜き出す

# url = ""

# tables = pd.read_html(url)

# df_html = tables[0]

In [18]:

# データの書き込み

df.to_csv('data/write_data.csv') # csvデータ

df.to_excel('data/write_data.xlsx') # エクセルデータ

df.to_pickle('data/write_data.pickle') # ピクルデータ

In [19]:

# 保存したデータの読み込み

df_csv = pd.read_csv('data/sample_data.csv', encoding='utf-8')

df_pickle = pd.read_pickle('data/write_data.pickle')

In [20]:

df_pickle

Out[20]:

column_1

column_2

column_3

column_4

column_5

column_6

rows

row1

1.01

aaa

True

aaa

row2

2.01

bbb

False

bbb

row3

3.01

aaa

True

NaN

4.01

row4

4.01

bbb

False

NaN

5.01

row5

5.01

aaa

True

NaN

row6

6.01

bbb

False

bbb

row7

7.01

aaa

True

aaa

NaN

row8

8.01

bbb

False

bbb

NaN

row9

9.01

aaa

True

aaa

FALSE

row10

10.01

bbb

False

bbb

TRUE

In [21]:

# 条件抽出

df_bool = df_pickle['column_2'] >= 5

df_bool

Out[21]:

rows

row1 False

row2 False

row3 False

row4 False

row5 True

row6 True

row7 True

row8 True

row9 True

row10 True

Name: column_2, dtype: bool

In [22]:

df_selected = df_pickle[df_pickle['column_2'] > 5]

df_selected

Out[22]:

column_1

column_2

column_3

column_4

column_5

column_6

rows

row5

5.01

aaa

True

NaN

row6

6.01

bbb

False

bbb

row7

7.01

aaa

True

aaa

NaN

row8

8.01

bbb

False

bbb

NaN

row9

9.01

aaa

True

aaa

FALSE

row10

10.01

bbb

False

bbb

TRUE

In [23]:

# 条件抽出 SQLのようにqueryメソドを使用する

df_pickle.query('column_2 >= 5 and column_2 <= 9')

Out[23]:

column_1

column_2

column_3

column_4

column_5

column_6

rows

row5

5.01

aaa

True

NaN

row6

6.01

bbb

False

bbb

row7

7.01

aaa

True

aaa

NaN

row8

8.01

bbb

False

bbb

NaN

In [24]:

# 各列の型を確認する　df.dtypes

df_pickle.dtypes

Out[24]:

column_1 int64

column_2 float64

column_3 object

column_4 bool

column_5 object

column_6 object

dtype: object

In [25]:

# 型を変更する

df = df_pickle # 以後説明しやすいように名前を変更しておきます。

df.loc[:,'date'] = df.loc[:,'column_1']

df['date'] = df['date'].apply(pd.to_datetime)

Out[25]:

column_1

column_2

column_3

column_4

column_5

column_6

date

rows

row1

1.01

aaa

True

aaa

1970-01-01 00:00:00.000000001

row2

2.01

bbb

False

bbb

1970-01-01 00:00:00.000000002

row3

3.01

aaa

True

NaN

4.01

1970-01-01 00:00:00.000000003

row4

4.01

bbb

False

NaN

5.01

1970-01-01 00:00:00.000000004

row5

5.01

aaa

True

NaN

1970-01-01 00:00:00.000000005

row6

6.01

bbb

False

bbb

1970-01-01 00:00:00.000000006

row7

7.01

aaa

True

aaa

NaN

1970-01-01 00:00:00.000000007

row8

8.01

bbb

False

bbb

NaN

1970-01-01 00:00:00.000000008

row9

9.01

aaa

True

aaa

FALSE

1970-01-01 00:00:00.000000009

row10

10.01

bbb

False

bbb

TRUE

1970-01-01 00:00:00.000000010

In [26]:

# int から floatに型を変更する

df['float'] = df['column_1'].astype(np.float32)

Out[26]:

column_1

column_2

column_3

column_4

column_5

column_6

date

float

rows

row1

1.01

aaa

True

aaa

1970-01-01 00:00:00.000000001

1.0

row2

2.01

bbb

False

bbb

1970-01-01 00:00:00.000000002

2.0

row3

3.01

aaa

True

NaN

4.01

1970-01-01 00:00:00.000000003

3.0

row4

4.01

bbb

False

NaN

5.01

1970-01-01 00:00:00.000000004

4.0

row5

5.01

aaa

True

NaN

1970-01-01 00:00:00.000000005

5.0

row6

6.01

bbb

False

bbb

1970-01-01 00:00:00.000000006

6.0

row7

7.01

aaa

True

aaa

NaN

1970-01-01 00:00:00.000000007

7.0

row8

8.01

bbb

False

bbb

NaN

1970-01-01 00:00:00.000000008

8.0

row9

9.01

aaa

True

aaa

FALSE

1970-01-01 00:00:00.000000009

9.0

row10

10.01

bbb

False

bbb

TRUE

1970-01-01 00:00:00.000000010

10.0

In [27]:

# 並べ替え .sort()

df.sort_values(by = 'column_2', ascending=True) # 昇順

df.sort_values(by = 'column_2', ascending=False) # 降順

Out[27]:

column_1

column_2

column_3

column_4

column_5

column_6

date

float

rows

row10

10.01

bbb

False

bbb

TRUE

1970-01-01 00:00:00.000000010

10.0

row9

9.01

aaa

True

aaa

FALSE

1970-01-01 00:00:00.000000009

9.0

row8

8.01

bbb

False

bbb

NaN

1970-01-01 00:00:00.000000008

8.0

row7

7.01

aaa

True

aaa

NaN

1970-01-01 00:00:00.000000007

7.0

row6

6.01

bbb

False

bbb

1970-01-01 00:00:00.000000006

6.0

row5

5.01

aaa

True

NaN

1970-01-01 00:00:00.000000005

5.0

row4

4.01

bbb

False

NaN

5.01

1970-01-01 00:00:00.000000004

4.0

row3

3.01

aaa

True

NaN

4.01

1970-01-01 00:00:00.000000003

3.0

row2

2.01

bbb

False

bbb

1970-01-01 00:00:00.000000002

2.0

row1

1.01

aaa

True

aaa

1970-01-01 00:00:00.000000001

1.0

In [28]:

# 関数を使って条件分岐する

def judge(value):

if value >= 7:

return 'good'

if value >=4:

return 'nomal'

else:

return 'bad'

df['judged'] = df['column_2'].apply(judge)

Out[28]:

column_1

column_2

column_3

column_4

column_5

column_6

date

float

judged

rows

row1

1.01

aaa

True

aaa

1970-01-01 00:00:00.000000001

1.0

bad

row2

2.01

bbb

False

bbb

1970-01-01 00:00:00.000000002

2.0

bad

row3

3.01

aaa

True

NaN

4.01

1970-01-01 00:00:00.000000003

3.0

bad

row4

4.01

bbb

False

NaN

5.01

1970-01-01 00:00:00.000000004

4.0

nomal

row5

5.01

aaa

True

NaN

1970-01-01 00:00:00.000000005

5.0

nomal

row6

6.01

bbb

False

bbb

1970-01-01 00:00:00.000000006

6.0

nomal

row7

7.01

aaa

True

aaa

NaN

1970-01-01 00:00:00.000000007

7.0

good

row8

8.01

bbb

False

bbb

NaN

1970-01-01 00:00:00.000000008

8.0

good

row9

9.01

aaa

True

aaa

FALSE

1970-01-01 00:00:00.000000009

9.0

good

row10

10.01

bbb

False

bbb

TRUE

1970-01-01 00:00:00.000000010

10.0

good

In [29]:

# One-Hot エンコーディングをする

df_moved = pd.get_dummies(df['judged'], prefix='J')

df_moved

Out[29]:

J_bad

J_good

J_nomal

rows

row1

row2

row3

row4

row5

row6

row7

row8

row9

row10

In [30]:

# pickle保存しておく

pd.to_pickle(df_moved, 'data/df_moved.pickle')

In [31]:

# 時系列データの作成

dates = pd.date_range(start='2019-01-01', end='2019-1-30')

np.random.seed(0)

df =pd.DataFrame(np.random.randint(1,31,30), index=dates, columns=['rand_value'])

df.head()

Out[31]:

rand_value

2019-01-01

2019-01-02

2019-01-03

2019-01-04

2019-01-05

In [32]:

# 時系列データの作成２

dates = pd.date_range(start='2019-01-01', periods=365)

np.random.seed(1)

df = pd.DataFrame(np.random.randint(1, 31, 365), index=dates, columns=['rand_value'])

df.head()

Out[32]:

rand_value

2019-01-01

2019-01-02

2019-01-03

2019-01-04

2019-01-05

In [33]:

# 月平均を算出する .grooupby(pd.Grouper())

df.groupby(pd.Grouper(freq='M')).mean().head()

Out[33]:

rand_value

2019-01-31

14.870968

2019-02-28

15.000000

2019-03-31

15.387097

2019-04-30

15.700000

2019-05-31

14.193548

In [34]:

# 月平均を算出する２　.resample()

df['rand_value'].resample('M').mean().head()

# Serieseで返ってくる

Out[34]:

2019-01-31 14.870968

2019-02-28 15.000000

2019-03-31 15.387097

2019-04-30 15.700000

2019-05-31 14.193548

Freq: M, Name: rand_value, dtype: float64

In [35]:

# 年間の土曜日の日付データを作成する

pd.date_range(start='2019-01-01', end='2019-12-31', freq='W-SAT')

Out[35]:

DatetimeIndex(['2019-01-05', '2019-01-12', '2019-01-19', '2019-01-26',

'2019-02-02', '2019-02-09', '2019-02-16', '2019-02-23',

'2019-03-02', '2019-03-09', '2019-03-16', '2019-03-23',

'2019-03-30', '2019-04-06', '2019-04-13', '2019-04-20',

'2019-04-27', '2019-05-04', '2019-05-11', '2019-05-18',

'2019-05-25', '2019-06-01', '2019-06-08', '2019-06-15',

'2019-06-22', '2019-06-29', '2019-07-06', '2019-07-13',

'2019-07-20', '2019-07-27', '2019-08-03', '2019-08-10',

'2019-08-17', '2019-08-24', '2019-08-31', '2019-09-07',

'2019-09-14', '2019-09-21', '2019-09-28', '2019-10-05',

'2019-10-12', '2019-10-19', '2019-10-26', '2019-11-02',

'2019-11-09', '2019-11-16', '2019-11-23', '2019-11-30',

'2019-12-07', '2019-12-14', '2019-12-21', '2019-12-28'],

dtype='datetime64[ns]', freq='W-SAT')

In [36]:

# 土曜日までの１週間単位でデータをまとめる

df_year = pd.DataFrame(df.groupby(pd.Grouper(freq='W-SAT')).sum(), columns=['rand_value'])

df_year.head()

Out[36]:

rand_value

2019-01-05

2019-01-12

2019-01-19

124

2019-01-26

127

2019-02-02

127

In [37]:

#欠損値の処理

df_nan = pd.read_pickle('data/write_data.pickle')

#欠損値の行を削除する

df_droped = df_nan.dropna()

df_droped

Out[37]:

column_1

column_2

column_3

column_4

column_5

column_6

rows

row1

1.01

aaa

True

aaa

row2

2.01

bbb

False

bbb

row6

6.01

bbb

False

bbb

row9

9.01

aaa

True

aaa

FALSE

row10

10.01

bbb

False

bbb

TRUE

In [38]:

#欠損値に0を代入して埋める

df_fillna = df_nan.fillna(0)

df_fillna

Out[38]:

column_1

column_2

column_3

column_4

column_5

column_6

rows

row1

1.01

aaa

True

aaa

row2

2.01

bbb

False

bbb

row3

3.01

aaa

True

4.01

row4

4.01

bbb

False

5.01

row5

5.01

aaa

True

row6

6.01

bbb

False

bbb

row7

7.01

aaa

True

aaa

row8

8.01

bbb

False

bbb

row9

9.01

aaa

True

aaa

FALSE

row10

10.01

bbb

False

bbb

TRUE

In [39]:

#欠損値を１つ手前の値で補完する

df_fill = df_nan.fillna(method='ffill')

df_fill

Out[39]:

column_1

column_2

column_3

column_4

column_5

column_6

rows

row1

1.01

aaa

True

aaa

row2

2.01

bbb

False

bbb

row3

3.01

aaa

True

bbb

4.01

row4

4.01

bbb

False

bbb

5.01

row5

5.01

aaa

True

bbb

row6

6.01

bbb

False

bbb

row7

7.01

aaa

True

aaa

row8

8.01

bbb

False

bbb

row9

9.01

aaa

True

aaa

FALSE

row10

10.01

bbb

False

bbb

TRUE

In [40]:

# データの連結

df = pd.read_pickle('data/df_sample.pickle')

df_moved = pd.read_pickle('data/df_moved.pickle')

# 列方向の連結

df_merged = pd.concat([df, df_moved], axis=1)

df_merged.head()

C:\Users\keita\AppData\Local\Continuum\anaconda3\lib\site-packages\pandas\core\indexes\api.py:107: RuntimeWarning: '<' not supported between instances of 'float' and 'str', sort order is undefined for incomparable objects

result = result.union(other)

Out[40]:

column_2

column_3

column_4

column_5

column_6

c2*c4

jadged

judged

J_bad

J_good

J_nomal

1.0

1.01

aaa

True

aaa

1.01

bad

NaN

2.0

2.01

bbb

False

bbb

0.00

bad

NaN

3.0

3.01

aaa

True

NaN

4.01

3.01

bad

NaN

4.0

4.01

bbb

False

NaN

5.01

0.00

nomal

NaN

5.0

5.01

aaa

True

NaN

5.01

nomal

NaN

In [41]:

# 行方向に連結する

df_1 = df.loc[1:2,:]

df_2 = df.loc[9:10,:]

df = pd.concat([df_1, df_2], axis=0, sort=True)

Out[41]:

c2*c4

column_2

column_3

column_4

column_5

column_6

jadged

judged

float

1.0

1.01

aaa

True

aaa

bad

2.0

0.00

2.01

bbb

False

bbb

bad

9.0

9.01

aaa

True

aaa

FALSE

good

10.0

0.00

10.01

bbb

False

bbb

TRUE

good

In [42]:

# 基本的な統計量を算出する

np.random.seed(2)

df = pd.DataFrame(np.random.randint(0,11,100), columns=['value'])

print(df.loc[:,'value'].max(),

df.loc[:,'value'].min(),

df.loc[:,'value'].mode(), #最頻値

df.loc[:,'value'].mean(),

df.loc[:,'value'].median(),

df.loc[:,'value'].std(ddof=0), # 母集団の標準偏差

df.loc[:,'value'].std(ddof=1), # サンプルの標準偏差

)

10 0 0 10

dtype: int32 5.55 6.0 3.1124748994971836 3.128154973039785

In [43]:

#カウント

df[df.loc[:,'value'] == 5].count()

Out[43]:

value 9

dtype: int64

In [44]:

# 要約された統計量を算出する

df.describe()

Out[44]:

value

count

100.000000

mean

5.550000

std

3.128155

min

0.000000

25%

3.000000

50%

6.000000

75%

8.000000

max

10.000000

In [45]:

# 相関係数

data = np.random.randn(300).reshape(100,3)

df = pd.DataFrame(data)

df.head()

df.corr()

from pandas.plotting import scatter_matrix

%matplotlib inline

_ = scatter_matrix(df)

In [46]:

# pandas.DataFrame から　numpy.arrayへの変換

df[0].values

Out[46]:

array([ 1.02210506e+00, 1.53636029e+00, -1.18854160e+00, -3.18840605e-01,

1.95254214e-01, 1.20769783e+00, 4.17160217e-01, 1.20769557e-01,

2.35854982e-01, 1.47630693e+00, -2.57855698e+00, 2.23092726e-01,

5.48677242e-01, 1.29975337e-01, 1.33354447e-01, -1.63213498e+00,

1.16837169e+00, 4.08842472e-02, -3.95195402e-01, -1.17113099e+00,

5.57721015e-01, 2.10202473e-02, 1.96504656e-01, 6.38925860e-01,

-3.77376397e-02, 9.26374048e-03, -4.32477714e-02, 8.19477959e-01,

-2.74608267e-01, -1.11840069e+00, 1.02868791e+00, -9.17827897e-02,

1.00139308e+00, 1.36927887e+00, -3.32376106e-01, -8.98514459e-01,

6.60488981e-01, 1.30103340e+00, 5.00463181e-01, -3.79377283e-01,

-5.18945829e-01, 9.09490540e-01, -1.08860575e+00, -2.81766922e-01,

-8.00976861e-01, 1.37357822e+00, -1.28768987e+00, -9.37719104e-01,

-7.47252631e-01, -5.76454194e-01, -1.41699281e+00, -1.36057075e-01,

-8.81027234e-01, -1.77330774e+00, 3.31707535e-02, -1.04990183e-01,

-1.71142690e+00, -9.12673226e-01, -1.08172822e+00, 1.99335230e+00,

-3.86961106e-01, -2.09225941e-01, -4.27889084e-01, 6.06603798e-01,

-3.36370275e-01, 1.80052517e+00, 8.33292653e-01, 1.33480770e+00,

-1.44644975e+00, 6.66240193e-01, -1.64386955e+00, 6.11191152e-01,

4.77865842e-01, 9.18109263e-01, -7.38847589e-01, 1.57718123e+00,

8.67298665e-01, -2.42036059e-01, -3.21914568e-01, 1.01525122e+00,

-5.69088895e-01, 8.48138843e-01, -2.13080187e-02, 1.73029626e+00,

3.23823588e-01, 1.20917022e+00, -8.33636664e-01, -1.29003470e+00,

-3.13110100e-01, 3.57341451e-01, -4.10464725e-01, -1.84265262e-03,

-6.61755432e-01, -6.22129678e-01, -8.87283517e-01, 1.16993295e+00,

3.32767248e-01, -4.41954269e-01, 4.31653084e-01, -1.20600785e+00])

In [ ]:

# ---- end of sript ----

MR:mirage solo のパススルー機能を使ってみた

どーもこんにちは、Keita_Nakamori@(´・ω・`)です。

捨てようかどうか迷っているMirage Soloについて、最後にMRをやってみようと思います。

環境

Windows10 home
Unity 2018.4.4f1
GoogleVRForUnity_1.200.0

ヒエラルキー

GvrBetaHeadset：新しいです
GvrControllerMain
GvrEventSystem
GvrEditorEmulator
GvrBetaControllerPointer：これも新しいです
PlayerというEmptyを作って、その中にMain CameraとGvrBetaControllerPointerwを入れておきます。

GvrBetaHeadsetの設定

起動と同時にMRが発動するように、インスペクターでGvrBetaHeadsetスクリプトのグルーバル変数であるInitial Camera Mode を　Tone Mapに、Initial Scene TypeをAugmentedに変更します。

カメラの設定とオブジェクト配置

カメラの背景はHolo Lenseと同じく完全透明のSolid color (0,0,0,0)への変更が必要です。

カメラの座標はカメラの親であるPlayerでy=1.5にします。カメラ自体は(0,0,0)です

オブジェクトは１ｍ角の枠とユニティちゃんを配しました。

ではビルドしましょう。やりかたはVRのときと全く同じです。

MRとVR(オブジェクトだけ）を切り替えたいとき

下記サイトを参考に、スクリプトをPlayerに貼り付けます。これで、Appボタンを押せば切り替えられるようになりました。

【Unity(C#)】MirageSoloのシースルーモード導入方法

スクリーンショットを貼っておきます（Volume Down ボタン+ DayDreamボタン（一番下））

スクリプト

念の為、置いておきます。

ViewModeChange.cs

using GoogleVR.Beta;
using UnityEngine;

public class ViewModeChange : MonoBehaviour
{

	GvrControllerInputDevice gvrControllerInputDevice;

	[SerializeField]
	GameObject[] hideDuringSeeThrough;

	void Start()
	{
		gvrControllerInputDevice = GvrControllerInput.GetDevice(GvrControllerHand.Dominant);

		bool supported = GvrBetaSettings.IsFeatureSupported(GvrBetaFeature.SeeThrough);
		bool enabled = GvrBetaSettings.IsFeatureEnabled(GvrBetaFeature.SeeThrough);
		if (supported && !enabled)
		{
			GvrBetaFeature[] features = new GvrBetaFeature[] { GvrBetaFeature.SeeThrough };
			GvrBetaSettings.RequestFeatures(features, null);
		}
	}

	void Update()
	{
		if (gvrControllerInputDevice.GetButtonUp(GvrControllerButton.App))
		{
			SeeThroughModes();
		}
	}

	void SeeThroughModes()
	{
		if (!GvrBetaSettings.IsFeatureEnabled(GvrBetaFeature.SeeThrough))
		{
			return;
		}

		GvrBetaSeeThroughCameraMode camMode = GvrBetaHeadset.CameraMode;
		GvrBetaSeeThroughSceneType sceneType = GvrBetaSeeThroughSceneType.Augmented;

		switch (camMode)
		{
			case GvrBetaSeeThroughCameraMode.Disabled:
				camMode = GvrBetaSeeThroughCameraMode.ToneMap;
				break;
			case GvrBetaSeeThroughCameraMode.ToneMap:
				sceneType = GvrBetaSeeThroughSceneType.Virtual;
				camMode = GvrBetaSeeThroughCameraMode.Disabled;
				break;
		}

		GvrBetaHeadset.SetSeeThroughConfig(camMode, sceneType);

		bool seethruEnabled = camMode != GvrBetaSeeThroughCameraMode.Disabled;
		foreach (var go in hideDuringSeeThrough)
		{
			go.SetActive(!seethruEnabled);
		}

	}
}

using GoogleVR.Beta;

using UnityEngine;

public class ViewModeChange : MonoBehaviour

{

GvrControllerInputDevice gvrControllerInputDevice;

[SerializeField]

GameObject[] hideDuringSeeThrough;

void Start()

{

gvrControllerInputDevice = GvrControllerInput.GetDevice(GvrControllerHand.Dominant);

bool supported = GvrBetaSettings.IsFeatureSupported(GvrBetaFeature.SeeThrough);

bool enabled = GvrBetaSettings.IsFeatureEnabled(GvrBetaFeature.SeeThrough);

if (supported && !enabled)

{

GvrBetaFeature[] features = new GvrBetaFeature[] { GvrBetaFeature.SeeThrough };

GvrBetaSettings.RequestFeatures(features, null);

}

void Update()

{

if (gvrControllerInputDevice.GetButtonUp(GvrControllerButton.App))

{

SeeThroughModes();

}

void SeeThroughModes()

{

if (!GvrBetaSettings.IsFeatureEnabled(GvrBetaFeature.SeeThrough))

{

return;

}

GvrBetaSeeThroughCameraMode camMode = GvrBetaHeadset.CameraMode;

GvrBetaSeeThroughSceneType sceneType = GvrBetaSeeThroughSceneType.Augmented;

switch (camMode)

{

case GvrBetaSeeThroughCameraMode.Disabled:

camMode = GvrBetaSeeThroughCameraMode.ToneMap;

break;

case GvrBetaSeeThroughCameraMode.ToneMap:

sceneType = GvrBetaSeeThroughSceneType.Virtual;

camMode = GvrBetaSeeThroughCameraMode.Disabled;

break;

}

GvrBetaHeadset.SetSeeThroughConfig(camMode, sceneType);

bool seethruEnabled = camMode != GvrBetaSeeThroughCameraMode.Disabled;

foreach (var go in hideDuringSeeThrough)

{

go.SetActive(!seethruEnabled);

}

弱点

オブジェクトの前になにも障害物がない状態では問題ないのですが、例えば、手をユニティちゃんの手前にかざすと、隠れるはずのユニティちゃんが隠れてくれません。

ここがホロレンズと違うところで、手はオブジェクトとして認識されているわけではありません。

よって、手はパススルーの背景と同じ扱いをされてしまいますので、手で遮っても、その上にユニティちゃん（オブジェクト）が乗ってくることになります。

このときに盛大な違和感を憶えます。

でも、手をオブジェクトの後ろに回すぶんにはなんの違和感もありませんし、むしろ自然な感じが良いです。

今後

パススルー画像をリアルタイムで解析して、
手の動きをオブジェクト化し、
ユニティちゃんの手前にかざし、ユニティちゃんが見えなくなるような方法を探る。

そんなことができるでしょうか。

Python : numpy

どーもこんにちは、Keita_Nakamoriです(´・ω・`)

Pythonを色々やってきた中で、何かしらマイルストーン的なものがほしいと思い

Python 3 エンジニア認定データ分析試験

なるものを受けてみようと思っております。

データ分析というからには、numpy , pandas, matplotlib, scikit-learn くらいは出るんだろうなあと漠然と考えていますが、今日はnumpyを学習したので、備忘録に貼っておきます。

numpy_text_for_data_analisys_with_Python.html

numpy_text_for_data_analisys_with_Python.zip

# Text for Data_Analisys with Python
import numpy as np

# １次元配列

li = [1,2,3,4,5]   # [1,2,3,4,5]
arr = np.array(li) # array([1, 2, 3, 4, 5]

type(arr)            # numpy.ndarray
arr.shape          #(5,)
(5,)
#２次元配列

li = [[1,2,3,4],[5,6,7,8]] # [[1, 2, 3, 4], [5, 6, 7, 8]]
arr = np.array(li)
    #array([[1, 2, 3, 4],
    #       [5, 6, 7, 8]])
    
arr.shape  # (2, 4) ２行４列
(2, 4)
# 変形　reshape

li = [1,2,3,4,5,6]
arr = np.array(li)

arr = arr.reshape(2,3) # ２行３列に変形
    #array([[1, 2, 3],
    #       [4, 5, 6]])
    
arr = arr.ravel() # "浅いコピー"で１次元配列にする
    # array([1, 2, 3, 4, 5, 6])
    
arr = arr.reshape(2,3) # 再び２行３列に変形
    #array([[1, 2, 3],
    #       [4, 5, 6]])
    
arr = arr.flatten() # "浅いコピー"で１次元配列にする
    # array([1, 2, 3, 4, 5, 6])

"""補足
np.reshape(引数)はタプルで与えても同じ。
arr.reshape((2,3))
"""
'補足\nnp.reshape(引数)はタプルで与えても同じ。\narr.reshape((2,3))\n'
li = [1,2,3,4,5,6]

# リストのスライスは深いコピー
li_deep = li[:]

# リストの代入は浅いコピー
li_shallow =li

#確認
li_deep[3]=100
li_deep     # [1, 2, 3, 100, 5, 6]

li         #[1, 2, 3, 4, 5, 6] 

li_shallow[4] = 200
li_shallow # [1, 2, 3, 4, 200, 6]
li         # [1, 2, 3, 4, 200, 6] #元リストにも影響あり

"""深いコピーをするときは
スライスをするとよい。li2 = li[:]

正統な方法としては、li2=li.copy()
がある。
"""
'深いコピーをするときは\nスライスをするとよい。li2 = li[:]\n\n正統な方法としては、li2=li.copy()\nがある。\n'
li = [1,2,3,4,5,6]
arr = np.array(li)

# np.array() のスライスは浅いコピー
arr_shallow = arr[:]
arr_shallow # array([1, 2, 3, 4, 5, 6])

# 確認
arr_shallow[3] = 300
arr_shallow # array([  1,   2,   3, 300,   5,   6])
arr         # array([  1,   2,   3, 300,   5,   6])

"""深いコピーするときは
li.copy()と同様に
arr.copy()をすればよい。
"""

li = [1,2,3,4,5,6]
arr = np.array(li)
arr_deep = arr.copy()
arr_deep[1] = 500
arr_deep # array([  1, 500,   3,   4,   5,   6])
arr      #array([1, 2, 3, 4, 5, 6])

"""
リストと　np.arrayの共通項を考慮すれば
深いコピーをするときは
li.copy()   arr.copy()
を使用すれば良い。
"""
'\nリストと\u3000np.arrayの共通項を考慮すれば\n深いコピーをするときは\nli.copy()   arr.copy()\nを使用すれば良い。\n'
# 数列を作成
np.arange(10)
# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

np.arange(3,10,2)
# array([3, 5, 7, 9])

np.arange
<function numpy.core.multiarray.arange>
# ====    乱数生成    ====

# 乱数 0 to 1 一様分布
np.random.seed(0)       #乱数シードの固定　シード番号0と定義
arr = np.random.random((3,2)) #３行２列　タプルで入れる
# array([[0.5488135 , 0.71518937],
#        [0.60276338, 0.54488318],
#        [0.4236548 , 0.64589411]])
# 乱数 0 to 1 一様分布
np.random.seed(1)
np.random.rand(3,2) # random.randomと違ってタプルにしなくていい。
# array([[4.17022005e-01, 7.20324493e-01],
#        [1.14374817e-04, 3.02332573e-01],
#        [1.46755891e-01, 9.23385948e-02]])
array([[4.17022005e-01, 7.20324493e-01],
       [1.14374817e-04, 3.02332573e-01],
       [1.46755891e-01, 9.23385948e-02]])
# 乱数　整数の一様分布
np.random.seed(2)
np.random.randint(10) # 8
np.random.randint(0,10,(3,5))
# array([[8, 6, 2, 8, 7],
#        [2, 1, 5, 4, 4],
#        [5, 7, 3, 6, 4]])
array([[8, 6, 2, 8, 7],
       [2, 1, 5, 4, 4],
       [5, 7, 3, 6, 4]])
# 乱数  0.0以上　5,0未満の一様分布
np.random.seed(3)
np.random.uniform(0.0, 5.0, size=(2,3))

# array([[2.75398951, 3.54073911, 1.45452369],
#        [2.55413803, 4.46473477, 4.48146544]])
array([[2.75398951, 3.54073911, 1.45452369],
       [2.55413803, 4.46473477, 4.48146544]])
# 乱数　0-1 正規分布
np.random.seed(4)
np.random.randn(2,3)
# array([[ 0.05056171,  0.49995133, -0.99590893],
#        [ 0.69359851, -0.41830152, -1.58457724]])
array([[ 0.05056171,  0.49995133, -0.99590893],
       [ 0.69359851, -0.41830152, -1.58457724]])
# ====    特殊行列生成   ====

# ゼロ行列
np.zeros((2,3)) #タプル
# array([[0., 0., 0.],
#        [0., 0., 0.]])

# 単位行列
np.eye(2)
# array([[1., 0.],
#        [0., 1.]])

#１の行列
np.ones((2,3)) #タプル
# array([[1., 1., 1.],
#        [1., 1., 1.]])

# 任意の数の行列
np.full((2,3),2.71)
# array([[2.71, 2.71, 2.71],
#        [2.71, 2.71, 2.71]])

# np.nanの行列
np.array([1,2,np.nan,4]) 
# array([ 1.,  2., nan,  4.])

type(np.nan) # as float

"""
np.nanは floatとして扱われる。
numpyでは同じタイプでないと計算できない。
欠損値を扱うための措置
"""
print(np.nan * 100) # nan
nan
# ====    均等割り 0 - 5を 6等分    ====
np.linspace(0,5,6) #array([0., 1., 2., 3., 4., 5.])
array([0., 1., 2., 3., 4., 5.])
# ====    等差数列    ====
arr1 = np.array([1,1,2,3,4,4,6])
arr2 = np.diff(arr1) # array([0, 1, 1, 1, 0, 2])
# ====    連結    ====
arr3 = [1,2,3]
arr4 = [10,20,30]
arr_cat = np.concatenate([arr3,arr4])
 # array([ 1,  2,  3, 10, 20, 30])

# 連結　縦ベクトル（2次元配列）
arr = np.array([[1], [2], [3]])
# array([[1],
#        [2],
#        [3]])

arr1 = np.array([[4], [5] ,[6]])
# array([[4],
#        [5],
#        [6]])

arr_cat = np.concatenate([arr, arr1],axis=1) #軸を列に指定すること
# array([[1, 4],
#        [2, 5],
#        [3, 6]])

# 連結 np.hstack
arr = np.array([[1], [2], [3]])
arr1 = np.array([[4], [5] ,[6]])

arr_hstacked = np.hstack([arr,arr1])
# array([[1, 4],
#        [2, 5],
#        [3, 6]])


# 連結 np.vstack
arr = np.array([1,2,3,4,5])
arr1 = np.array([10,20,30,40,50])
arr_vstacked = np.vstack([arr,arr1])
# array([[ 1,  2,  3,  4,  5],
#        [10, 20, 30, 40, 50]])
# ====    分割    ====
np.random.seed(123)
arr = np.random.randn(12).reshape(3,4)

# array([[-1.0856306 ,  0.99734545,  0.2829785 , -1.50629471],
#        [-0.57860025,  1.65143654, -2.42667924, -0.42891263],
#        [ 1.26593626, -0.8667404 , -0.67888615, -0.09470897]])

#　列を分割 1つ目は3列　2つ目は残りの1列
arr_splited_1 = np.split(arr,[3],axis=1) 

arr_splited_1[0]
# array([[-1.0856306 ,  0.99734545,  0.2829785 ],
#       [-0.57860025,  1.65143654, -2.42667924],
#       [ 1.26593626, -0.8667404 , -0.67888615]])

arr_splited_1[1]
# array([[-1.50629471],
#        [-0.42891263],
#       [-0.09470897]])

# 行を分割 1つ目は2行　2つ目は残りの1行
arr_splited_0 = np.split(arr, [2],axis=0)
arr_splited_0[0]
# array([[-1.0856306 ,  0.99734545,  0.2829785 , -1.50629471],
#       [-0.57860025,  1.65143654, -2.42667924, -0.42891263]])

arr_splited_0[1]
# array([[ 1.26593626, -0.8667404 , -0.67888615, -0.09470897]])

print(arr.shape)
arr_3, arr_4 = np.hsplit(arr, [2]) # 機能しない
arr_5, arr_6 = np.vsplit(arr, [1]) # 機能しない
(3, 4)
#転置行列
arr = np.array([[1,2,3],[4,5,6]])
# array([[1, 2, 3],
#        [4, 5, 6]])

arr.T
# array([[1, 4],
#        [2, 5],
#        [3, 6]])
array([[1, 4],
       [2, 5],
       [3, 6]])
# 次元の追加
arr = np.array([1,2,3,4])
arr  # array([1, 2, 3, 4])

arr_1 = arr[np.newaxis,:] # array([[1, 2, 3, 4]])

arr_2 = arr[:,np.newaxis]
# array([[1],
#        [2],
#        [3],
#        [4]])
# メッシュグリッドデータの生成
arr_x = np.array([1,2,3,4,5])
arr_y = np.array([10,20,30])
xx, yy =np.meshgrid(arr_x, arr_y)

xx
# array([[1, 2, 3, 4, 5],
#        [1, 2, 3, 4, 5],
#        [1, 2, 3, 4, 5]])

yy
# array([[10, 10, 10, 10, 10],
#       [20, 20, 20, 20, 20],
#       [30, 30, 30, 30, 30]])
array([[10, 10, 10, 10, 10],
       [20, 20, 20, 20, 20],
       [30, 30, 30, 30, 30]])
# ユニバーサルファンクション（一括変換）

# 各成分を全て絶対値にする
arr = [5, -12, -3 , 2]
np.abs(arr) # array([ 5, 12,  3,  2])

# sin cos tan
arr = np.linspace(0, 2*np.pi, 100)
np.sin(arr)
array([ 0.00000000e+00,  6.34239197e-02,  1.26592454e-01,  1.89251244e-01,
        2.51147987e-01,  3.12033446e-01,  3.71662456e-01,  4.29794912e-01,
        4.86196736e-01,  5.40640817e-01,  5.92907929e-01,  6.42787610e-01,
        6.90079011e-01,  7.34591709e-01,  7.76146464e-01,  8.14575952e-01,
        8.49725430e-01,  8.81453363e-01,  9.09631995e-01,  9.34147860e-01,
        9.54902241e-01,  9.71811568e-01,  9.84807753e-01,  9.93838464e-01,
        9.98867339e-01,  9.99874128e-01,  9.96854776e-01,  9.89821442e-01,
        9.78802446e-01,  9.63842159e-01,  9.45000819e-01,  9.22354294e-01,
        8.95993774e-01,  8.66025404e-01,  8.32569855e-01,  7.95761841e-01,
        7.55749574e-01,  7.12694171e-01,  6.66769001e-01,  6.18158986e-01,
        5.67059864e-01,  5.13677392e-01,  4.58226522e-01,  4.00930535e-01,
        3.42020143e-01,  2.81732557e-01,  2.20310533e-01,  1.58001396e-01,
        9.50560433e-02,  3.17279335e-02, -3.17279335e-02, -9.50560433e-02,
       -1.58001396e-01, -2.20310533e-01, -2.81732557e-01, -3.42020143e-01,
       -4.00930535e-01, -4.58226522e-01, -5.13677392e-01, -5.67059864e-01,
       -6.18158986e-01, -6.66769001e-01, -7.12694171e-01, -7.55749574e-01,
       -7.95761841e-01, -8.32569855e-01, -8.66025404e-01, -8.95993774e-01,
       -9.22354294e-01, -9.45000819e-01, -9.63842159e-01, -9.78802446e-01,
       -9.89821442e-01, -9.96854776e-01, -9.99874128e-01, -9.98867339e-01,
       -9.93838464e-01, -9.84807753e-01, -9.71811568e-01, -9.54902241e-01,
       -9.34147860e-01, -9.09631995e-01, -8.81453363e-01, -8.49725430e-01,
       -8.14575952e-01, -7.76146464e-01, -7.34591709e-01, -6.90079011e-01,
       -6.42787610e-01, -5.92907929e-01, -5.40640817e-01, -4.86196736e-01,
       -4.29794912e-01, -3.71662456e-01, -3.12033446e-01, -2.51147987e-01,
       -1.89251244e-01, -1.26592454e-01, -6.34239197e-02, -2.44929360e-16])
# 自然対数　底 = ネピア数 e
arr = np.array([0, 1, 2, 3])
np.log(arr) #[      -inf 0.         0.69314718 1.09861229]

# 常用対数　底 = 10
np.log10(arr) #array([      -inf, 0.        , 0.30103   , 0.47712125])

# exp()
np.exp(1) # 2.718281828459045
C:\Users\omoiy\Anaconda3\lib\site-packages\ipykernel_launcher.py:3: RuntimeWarning: divide by zero encountered in log
  This is separate from the ipykernel package so we can avoid doing imports until
C:\Users\omoiy\Anaconda3\lib\site-packages\ipykernel_launcher.py:6: RuntimeWarning: divide by zero encountered in log10
  
2.718281828459045
# ブロードキャス（自動拡張計算）
arr = np.array([[1,2,3], [4,5,6]])
arr2 =np.array([10,10,10])
arr_sum = arr + arr2
# array([[11, 12, 13],   # 2行ともに和算されている
#        [14, 15, 16]])

arr = np.array([[1,2,3], [4,5,6]])
arr2 =np.array([10,10,10])
arr_sub = arr - arr2
# array([[-9, -8, -7], # 2行ともに差算されている
#       [-6, -5, -4]])

arr = np.array([[1,2,3], [4,5,6]])
arr2 =np.array([10,100,1000])
arr_multi = arr * arr2
# array([[  10,  200, 3000],  # 2行ともに乗算されている
#        [  40,  500, 6000]])


arr = np.array([1,2,3])
arr2 = np.array([[1], [2], [3]])
arr + arr2
# array([[2, 3, 4], # 3x3行列に和算される
#       [3, 4, 5],
#       [4, 5, 6]])

# 自分の平均からの距離をそれぞれ求める
arr = np.array([[1,2,3], [4,5,6]])
arr2 = arr - np.mean(arr)
# array([[-2.5, -1.5, -0.5],
#        [ 0.5,  1.5,  2.5]])

# スカラーを乗ずる
arr = np.array([[1,2,3], [4,5,6]])
arr2 = arr * 10
# array([[10, 20, 30],
#        [40, 50, 60]])

# 3乗する
arr = np.array([[1,2,3], [4,5,6]])
arr2 = arr ** 3 
# array([[  1,   8,  27],
#        [ 64, 125, 216]], dtype=int32)

# ゼロを含んだ行列で除算をするときのテクニック
arr = np.array([[1,2,3], [4,5,6]])
arr2 =np.array([0,10,100])
arr_div = arr / (arr2 + 1e-6)
# array([[1.00000000e+06, 1.99999980e-01, 2.99999997e-02],
#        [4.00000000e+06, 4.99999950e-01, 5.99999994e-02]])
# ドット積
arr = np.array([[1,2,3], [4,5,6]])
arr2 = np.array([[10], [20], [30]])
np.dot(arr, arr2)
# array([[140],
#        [320]])

"""
arr @ arr2 でも良い
"""
array([[140],
       [320]])
# 判定　論理値
arr = np.array([[1,2,3], [4,5,6]])
arr > 3
# array([[False, False, False],
#        [ True,  True,  True]])

# ゼロでない要素数をカウントする
np.count_nonzero(arr) # 6

# 論理式と共に使えば、条件にある要素数をカウントできる
np.count_nonzero(arr > 3) # 3

# sum を使ってもできる （True=1なので）
np.sum(arr > 3) # 3

# 全要素が条件に入るか
np.all(arr > 0) # True
np.all(arr > 1) # False

# 条件に入る要素だけを取り出す
arr_true = arr[arr > 2]
arr_true # array([3, 4, 5, 6])

# 比較
arr = np.array([[1,2,3], [4,5,6]])
arr2 =np.array([1,2,3])
arr == arr2
# array([[ True,  True,  True], #ブロードキャストが有効になっている
#        [False, False, False]])

# 条件に合うものだけを抽出
arr = np.array([[1,2,3], [4,5,6]])
arr2 = np.array([1,2,3])
arr3 = np.array([1,10,100])

arr4 = arr[(arr == arr2) | (arr > 5)]
# array([1, 2, 3, 6])

# 浮動小数点誤差を無視しながら行列が同等か調べる
arr = np.array([[1,2,3], [4,5,6]])
arr2 = np.array([[1,2,3], [4,5,7]])
np.allclose(arr, arr2, atol=1) # True
# arr2 の最後のみ誤差１を含んでいるが、atolの許容誤差以内なので
# 同じ行列とみなされる
True
# 関数　と　メソド どちらでもいい
arr = np.array([1,2,3,4,5])
np.sum(arr) # 関数 15
arr.sum()   # メソド

# arrを定義した時点でarrはクラスのインスタンスに
# なっているのでメソドが使用できる
15

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280

281

282

283

284

285

286

287

288

289

290

291

292

293

294

295

296

297

298

299

300

301

302

303

304

305

306

307

308

309

310

311

312

313

314

315

316

317

318

319

320

321

322

323

324

325

326

327

328

329

330

331

332

333

334

335

336

337

338

339

340

341

342

343

344

345

346

347

348

349

350

351

352

353

354

355

356

357

358

359

360

361

362

363

364

365

366

367

368

369

370

371

372

373

374

375

376

377

378

379

380

381

382

383

384

385

386

387

388

389

390

391

392

393

394

395

396

397

398

399

400

401

402

403

404

405

406

407

408

409

410

411

412

413

414

415

416

417

418

419

420

421

422

423

424

425

426

427

428

429

430

431

432

433

434

435

436

437

438

439

440

441

442

443

444

445

446

447

448

449

450

451

452

453

454

455

456

457

458

459

460

461

462

463

464

465

466

467

468

# Text for Data_Analisys with Python

import numpy as np

# １次元配列

li = [1,2,3,4,5] # [1,2,3,4,5]

arr = np.array(li) # array([1, 2, 3, 4, 5]

type(arr) # numpy.ndarray

arr.shape #(5,)

(5,)

#２次元配列

li = [[1,2,3,4],[5,6,7,8]] # [[1, 2, 3, 4], [5, 6, 7, 8]]

arr = np.array(li)

#array([[1, 2, 3, 4],

# [5, 6, 7, 8]])

arr.shape # (2, 4) ２行４列

(2, 4)

# 変形　reshape

li = [1,2,3,4,5,6]

arr = np.array(li)

arr = arr.reshape(2,3) # ２行３列に変形

#array([[1, 2, 3],

# [4, 5, 6]])

arr = arr.ravel() # "浅いコピー"で１次元配列にする

# array([1, 2, 3, 4, 5, 6])

arr = arr.reshape(2,3) # 再び２行３列に変形

#array([[1, 2, 3],

# [4, 5, 6]])

arr = arr.flatten() # "浅いコピー"で１次元配列にする

# array([1, 2, 3, 4, 5, 6])

"""補足

np.reshape(引数)はタプルで与えても同じ。

arr.reshape((2,3))

"""

'補足\nnp.reshape(引数)はタプルで与えても同じ。\narr.reshape((2,3))\n'

li = [1,2,3,4,5,6]

# リストのスライスは深いコピー

li_deep = li[:]

# リストの代入は浅いコピー

li_shallow =li

#確認

li_deep[3]=100

li_deep # [1, 2, 3, 100, 5, 6]

li #[1, 2, 3, 4, 5, 6]

li_shallow[4] = 200

li_shallow # [1, 2, 3, 4, 200, 6]

li # [1, 2, 3, 4, 200, 6] #元リストにも影響あり

"""深いコピーをするときは

スライスをするとよい。li2 = li[:]

正統な方法としては、li2=li.copy()

がある。

"""

'深いコピーをするときは\nスライスをするとよい。li2 = li[:]\n\n正統な方法としては、li2=li.copy()\nがある。\n'

li = [1,2,3,4,5,6]

arr = np.array(li)

# np.array() のスライスは浅いコピー

arr_shallow = arr[:]

arr_shallow # array([1, 2, 3, 4, 5, 6])

# 確認

arr_shallow[3] = 300

arr_shallow # array([ 1, 2, 3, 300, 5, 6])

arr # array([ 1, 2, 3, 300, 5, 6])

"""深いコピーするときは

li.copy()と同様に

arr.copy()をすればよい。

"""

li = [1,2,3,4,5,6]

arr = np.array(li)

arr_deep = arr.copy()

arr_deep[1] = 500

arr_deep # array([ 1, 500, 3, 4, 5, 6])

arr #array([1, 2, 3, 4, 5, 6])

"""

リストと　np.arrayの共通項を考慮すれば

深いコピーをするときは

li.copy() arr.copy()

を使用すれば良い。

"""

'\nリストと\u3000np.arrayの共通項を考慮すれば\n深いコピーをするときは\nli.copy() arr.copy()\nを使用すれば良い。\n'

# 数列を作成

np.arange(10)

# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

np.arange(3,10,2)

# array([3, 5, 7, 9])

np.arange

# ==== 乱数生成 ====

# 乱数 0 to 1 一様分布

np.random.seed(0) #乱数シードの固定　シード番号0と定義

arr = np.random.random((3,2)) #３行２列　タプルで入れる

# array([[0.5488135 , 0.71518937],

# [0.60276338, 0.54488318],

# [0.4236548 , 0.64589411]])

# 乱数 0 to 1 一様分布

np.random.seed(1)

np.random.rand(3,2) # random.randomと違ってタプルにしなくていい。

# array([[4.17022005e-01, 7.20324493e-01],

# [1.14374817e-04, 3.02332573e-01],

# [1.46755891e-01, 9.23385948e-02]])

array([[4.17022005e-01, 7.20324493e-01],

[1.14374817e-04, 3.02332573e-01],

[1.46755891e-01, 9.23385948e-02]])

# 乱数　整数の一様分布

np.random.seed(2)

np.random.randint(10) # 8

np.random.randint(0,10,(3,5))

# array([[8, 6, 2, 8, 7],

# [2, 1, 5, 4, 4],

# [5, 7, 3, 6, 4]])

array([[8, 6, 2, 8, 7],

[2, 1, 5, 4, 4],

[5, 7, 3, 6, 4]])

# 乱数 0.0以上　5,0未満の一様分布

np.random.seed(3)

np.random.uniform(0.0, 5.0, size=(2,3))

# array([[2.75398951, 3.54073911, 1.45452369],

# [2.55413803, 4.46473477, 4.48146544]])

array([[2.75398951, 3.54073911, 1.45452369],

[2.55413803, 4.46473477, 4.48146544]])

# 乱数　0-1 正規分布

np.random.seed(4)

np.random.randn(2,3)

# array([[ 0.05056171, 0.49995133, -0.99590893],

# [ 0.69359851, -0.41830152, -1.58457724]])

array([[ 0.05056171, 0.49995133, -0.99590893],

[ 0.69359851, -0.41830152, -1.58457724]])

# ==== 特殊行列生成 ====

# ゼロ行列

np.zeros((2,3)) #タプル

# array([[0., 0., 0.],

# [0., 0., 0.]])

# 単位行列

np.eye(2)

# array([[1., 0.],

# [0., 1.]])

#１の行列

np.ones((2,3)) #タプル

# array([[1., 1., 1.],

# [1., 1., 1.]])

# 任意の数の行列

np.full((2,3),2.71)

# array([[2.71, 2.71, 2.71],

# [2.71, 2.71, 2.71]])

# np.nanの行列

np.array([1,2,np.nan,4])

# array([ 1., 2., nan, 4.])

type(np.nan) # as float

"""

np.nanは floatとして扱われる。

numpyでは同じタイプでないと計算できない。

欠損値を扱うための措置

"""

print(np.nan * 100) # nan

nan

# ==== 均等割り 0 - 5を 6等分 ====

np.linspace(0,5,6) #array([0., 1., 2., 3., 4., 5.])

array([0., 1., 2., 3., 4., 5.])

# ==== 等差数列 ====

arr1 = np.array([1,1,2,3,4,4,6])

arr2 = np.diff(arr1) # array([0, 1, 1, 1, 0, 2])

# ==== 連結 ====

arr3 = [1,2,3]

arr4 = [10,20,30]

arr_cat = np.concatenate([arr3,arr4])

# array([ 1, 2, 3, 10, 20, 30])

# 連結　縦ベクトル（2次元配列）

arr = np.array([[1], [2], [3]])

# array([[1],

# [2],

# [3]])

arr1 = np.array([[4], [5] ,[6]])

# array([[4],

# [5],

# [6]])

arr_cat = np.concatenate([arr, arr1],axis=1) #軸を列に指定すること

# array([[1, 4],

# [2, 5],

# [3, 6]])

# 連結 np.hstack

arr = np.array([[1], [2], [3]])

arr1 = np.array([[4], [5] ,[6]])

arr_hstacked = np.hstack([arr,arr1])

# array([[1, 4],

# [2, 5],

# [3, 6]])

# 連結 np.vstack

arr = np.array([1,2,3,4,5])

arr1 = np.array([10,20,30,40,50])

arr_vstacked = np.vstack([arr,arr1])

# array([[ 1, 2, 3, 4, 5],

# [10, 20, 30, 40, 50]])

# ==== 分割 ====

np.random.seed(123)

arr = np.random.randn(12).reshape(3,4)

# array([[-1.0856306 , 0.99734545, 0.2829785 , -1.50629471],

# [-0.57860025, 1.65143654, -2.42667924, -0.42891263],

# [ 1.26593626, -0.8667404 , -0.67888615, -0.09470897]])

#　列を分割 1つ目は3列　2つ目は残りの1列

arr_splited_1 = np.split(arr,[3],axis=1)

arr_splited_1[0]

# array([[-1.0856306 , 0.99734545, 0.2829785 ],

# [-0.57860025, 1.65143654, -2.42667924],

# [ 1.26593626, -0.8667404 , -0.67888615]])

arr_splited_1[1]

# array([[-1.50629471],

# [-0.42891263],

# [-0.09470897]])

# 行を分割 1つ目は2行　2つ目は残りの1行

arr_splited_0 = np.split(arr, [2],axis=0)

arr_splited_0[0]

# array([[-1.0856306 , 0.99734545, 0.2829785 , -1.50629471],

# [-0.57860025, 1.65143654, -2.42667924, -0.42891263]])

arr_splited_0[1]

# array([[ 1.26593626, -0.8667404 , -0.67888615, -0.09470897]])

print(arr.shape)

arr_3, arr_4 = np.hsplit(arr, [2]) # 機能しない

arr_5, arr_6 = np.vsplit(arr, [1]) # 機能しない

(3, 4)

#転置行列

arr = np.array([[1,2,3],[4,5,6]])

# array([[1, 2, 3],

# [4, 5, 6]])

arr.T

# array([[1, 4],

# [2, 5],

# [3, 6]])

array([[1, 4],

[2, 5],

[3, 6]])

# 次元の追加

arr = np.array([1,2,3,4])

arr # array([1, 2, 3, 4])

arr_1 = arr[np.newaxis,:] # array([[1, 2, 3, 4]])

arr_2 = arr[:,np.newaxis]

# array([[1],

# [2],

# [3],

# [4]])

# メッシュグリッドデータの生成

arr_x = np.array([1,2,3,4,5])

arr_y = np.array([10,20,30])

xx, yy =np.meshgrid(arr_x, arr_y)

# array([[1, 2, 3, 4, 5],

# [1, 2, 3, 4, 5],

# [1, 2, 3, 4, 5]])

# array([[10, 10, 10, 10, 10],

# [20, 20, 20, 20, 20],

# [30, 30, 30, 30, 30]])

array([[10, 10, 10, 10, 10],

[20, 20, 20, 20, 20],

[30, 30, 30, 30, 30]])

# ユニバーサルファンクション（一括変換）

# 各成分を全て絶対値にする

arr = [5, -12, -3 , 2]

np.abs(arr) # array([ 5, 12, 3, 2])

# sin cos tan

arr = np.linspace(0, 2*np.pi, 100)

np.sin(arr)

array([ 0.00000000e+00, 6.34239197e-02, 1.26592454e-01, 1.89251244e-01,

2.51147987e-01, 3.12033446e-01, 3.71662456e-01, 4.29794912e-01,

4.86196736e-01, 5.40640817e-01, 5.92907929e-01, 6.42787610e-01,

6.90079011e-01, 7.34591709e-01, 7.76146464e-01, 8.14575952e-01,

8.49725430e-01, 8.81453363e-01, 9.09631995e-01, 9.34147860e-01,

9.54902241e-01, 9.71811568e-01, 9.84807753e-01, 9.93838464e-01,

9.98867339e-01, 9.99874128e-01, 9.96854776e-01, 9.89821442e-01,

9.78802446e-01, 9.63842159e-01, 9.45000819e-01, 9.22354294e-01,

8.95993774e-01, 8.66025404e-01, 8.32569855e-01, 7.95761841e-01,

7.55749574e-01, 7.12694171e-01, 6.66769001e-01, 6.18158986e-01,

5.67059864e-01, 5.13677392e-01, 4.58226522e-01, 4.00930535e-01,

3.42020143e-01, 2.81732557e-01, 2.20310533e-01, 1.58001396e-01,

9.50560433e-02, 3.17279335e-02, -3.17279335e-02, -9.50560433e-02,

-1.58001396e-01, -2.20310533e-01, -2.81732557e-01, -3.42020143e-01,

-4.00930535e-01, -4.58226522e-01, -5.13677392e-01, -5.67059864e-01,

-6.18158986e-01, -6.66769001e-01, -7.12694171e-01, -7.55749574e-01,

-7.95761841e-01, -8.32569855e-01, -8.66025404e-01, -8.95993774e-01,

-9.22354294e-01, -9.45000819e-01, -9.63842159e-01, -9.78802446e-01,

-9.89821442e-01, -9.96854776e-01, -9.99874128e-01, -9.98867339e-01,

-9.93838464e-01, -9.84807753e-01, -9.71811568e-01, -9.54902241e-01,

-9.34147860e-01, -9.09631995e-01, -8.81453363e-01, -8.49725430e-01,

-8.14575952e-01, -7.76146464e-01, -7.34591709e-01, -6.90079011e-01,

-6.42787610e-01, -5.92907929e-01, -5.40640817e-01, -4.86196736e-01,

-4.29794912e-01, -3.71662456e-01, -3.12033446e-01, -2.51147987e-01,

-1.89251244e-01, -1.26592454e-01, -6.34239197e-02, -2.44929360e-16])

# 自然対数　底 = ネピア数 e

arr = np.array([0, 1, 2, 3])

np.log(arr) #[ -inf 0. 0.69314718 1.09861229]

# 常用対数　底 = 10

np.log10(arr) #array([ -inf, 0. , 0.30103 , 0.47712125])

# exp()

np.exp(1) # 2.718281828459045

C:\Users\omoiy\Anaconda3\lib\site-packages\ipykernel_launcher.py:3: RuntimeWarning: divide by zero encountered in log

This is separate from the ipykernel package so we can avoid doing imports until

C:\Users\omoiy\Anaconda3\lib\site-packages\ipykernel_launcher.py:6: RuntimeWarning: divide by zero encountered in log10

2.718281828459045

# ブロードキャス（自動拡張計算）

arr = np.array([[1,2,3], [4,5,6]])

arr2 =np.array([10,10,10])

arr_sum = arr + arr2

# array([[11, 12, 13], # 2行ともに和算されている

# [14, 15, 16]])

arr = np.array([[1,2,3], [4,5,6]])

arr2 =np.array([10,10,10])

arr_sub = arr - arr2

# array([[-9, -8, -7], # 2行ともに差算されている

# [-6, -5, -4]])

arr = np.array([[1,2,3], [4,5,6]])

arr2 =np.array([10,100,1000])

arr_multi = arr * arr2

# array([[ 10, 200, 3000], # 2行ともに乗算されている

# [ 40, 500, 6000]])

arr = np.array([1,2,3])

arr2 = np.array([[1], [2], [3]])

arr + arr2

# array([[2, 3, 4], # 3x3行列に和算される

# [3, 4, 5],

# [4, 5, 6]])

# 自分の平均からの距離をそれぞれ求める

arr = np.array([[1,2,3], [4,5,6]])

arr2 = arr - np.mean(arr)

# array([[-2.5, -1.5, -0.5],

# [ 0.5, 1.5, 2.5]])

# スカラーを乗ずる

arr = np.array([[1,2,3], [4,5,6]])

arr2 = arr * 10

# array([[10, 20, 30],

# [40, 50, 60]])

# 3乗する

arr = np.array([[1,2,3], [4,5,6]])

arr2 = arr ** 3

# array([[ 1, 8, 27],

# [ 64, 125, 216]], dtype=int32)

# ゼロを含んだ行列で除算をするときのテクニック

arr = np.array([[1,2,3], [4,5,6]])

arr2 =np.array([0,10,100])

arr_div = arr / (arr2 + 1e-6)

# array([[1.00000000e+06, 1.99999980e-01, 2.99999997e-02],

# [4.00000000e+06, 4.99999950e-01, 5.99999994e-02]])

# ドット積

arr = np.array([[1,2,3], [4,5,6]])

arr2 = np.array([[10], [20], [30]])

np.dot(arr, arr2)

# array([[140],

# [320]])

"""

arr @ arr2 でも良い

"""

array([[140],

[320]])

# 判定　論理値

arr = np.array([[1,2,3], [4,5,6]])

arr > 3

# array([[False, False, False],

# [ True, True, True]])

# ゼロでない要素数をカウントする

np.count_nonzero(arr) # 6

# 論理式と共に使えば、条件にある要素数をカウントできる

np.count_nonzero(arr > 3) # 3

# sum を使ってもできる（True=1なので）

np.sum(arr > 3) # 3

# 全要素が条件に入るか

np.all(arr > 0) # True

np.all(arr > 1) # False

# 条件に入る要素だけを取り出す

arr_true = arr[arr > 2]

arr_true # array([3, 4, 5, 6])

# 比較

arr = np.array([[1,2,3], [4,5,6]])

arr2 =np.array([1,2,3])

arr == arr2

# array([[ True, True, True], #ブロードキャストが有効になっている

# [False, False, False]])

# 条件に合うものだけを抽出

arr = np.array([[1,2,3], [4,5,6]])

arr2 = np.array([1,2,3])

arr3 = np.array([1,10,100])

arr4 = arr[(arr == arr2) | (arr > 5)]

# array([1, 2, 3, 6])

# 浮動小数点誤差を無視しながら行列が同等か調べる

arr = np.array([[1,2,3], [4,5,6]])

arr2 = np.array([[1,2,3], [4,5,7]])

np.allclose(arr, arr2, atol=1) # True

# arr2 の最後のみ誤差１を含んでいるが、atolの許容誤差以内なので

# 同じ行列とみなされる

True

# 関数　と　メソドどちらでもいい

arr = np.array([1,2,3,4,5])

np.sum(arr) # 関数 15

arr.sum() # メソド

# arrを定義した時点でarrはクラスのインスタンスに

# なっているのでメソドが使用できる

月: 2019年7月

Jetson nano:始めました。OSをマイクロSDカードに入れます。

OSをマイクロSDカードに入れる

１．Jetson Nano Developer KitのSDカードイメージをダウンロード

２．Windows用のSDメモリカードフォーマッタをダウンロード

３．Etcherをダウンロード

次回

購入忘れ物

sklearn:サポートベクター分類

スクリプト

Python: sklearn プリ処理

スクリプト

Python：matplotlib

Python : pandas

MR:mirage solo のパススルー機能を使ってみた

環境

ヒエラルキー

GvrBetaHeadsetの設定

カメラの設定とオブジェクト配置

MRとVR(オブジェクトだけ）を切り替えたいとき

スクリプト

弱点

今後

Python : numpy

2019年7月
月	火	水	木	金	土	日
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30	31

OSをマイクロSDカードに入れる

１．Jetson Nano Developer KitのSDカードイメージを ダウンロード

２．Windows用のSDメモリカードフォーマッタをダウンロード

３．Etcherをダウンロード

次回

購入忘れ物

スクリプト

スクリプト

環境

ヒエラルキー

GvrBetaHeadsetの設定

カメラの設定とオブジェクト配置

MRとVR(オブジェクトだけ）を切り替えたいとき

スクリプト

弱点

今後

１．Jetson Nano Developer KitのSDカードイメージをダウンロード