Web Application: 第５回　npyデータからCNN

こんにちは Keita_Nakamori(´・ω・`)です。

前回はTensor Flowにインプットするnpyデータを作成しました。

今回はTensorflowとKerasで畳み込みニューラルネットワークを構築して、訓練・評価してみます。

keras公式ページのSequential-model-guideを参考にします。

スクリプト：cnn_test.py

VGG-likeなconvnet　を参考に動作を確認していきます。

import numpy as np
import tensorflow as tf
import keras

from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D, MaxPooling2D

from keras.optimizers import SGD, Adam
from keras.utils import np_utils


# initialize parameters
classes = ['car', 'motorbike'] # define 2 classses 
num_classes = len(classes)     # the number of classes
image_size = 150               # pixels of width or height

# load npy file
# need 'allow_pickle=True'
X_train, X_test, y_train, y_test = np.load('./image_files.npy', allow_pickle=True)

# one hot encording
y_train = np_utils.to_categorical(y_train, num_classes)
y_test = np_utils.to_categorical(y_test, num_classes)

# define model
model = Sequential()

model.add(Conv2D(32,(3, 3), activation='relu', input_shape=(image_size, image_size, 3)))
model.add(Conv2D(32,(3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2,2)))
model.add(Dropout(0.25)) # 25%のデータは捨てる

model.add(Flatten())
model.add(Dense(256, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes, activation='softmax'))

# define optimiser
opt = SGD(lr=0.01) # rmsprop, adam etc...
model.compile(loss='categorical_crossentropy', optimizer=opt, metrics=['accuracy'])

# trainning start
history = model.fit(X_train, y_train, batch_size=32, epochs=30)

# evaluation
score = model.evaluate(X_test, y_test, batch_size=32)
print()
print('Test loss:', score[0])
print('Test accuracy:', score[1])

import numpy as np

import tensorflow as tf

import keras

from keras.models import Sequential

from keras.layers import Dense, Dropout, Flatten

from keras.layers import Conv2D, MaxPooling2D

from keras.optimizers import SGD, Adam

from keras.utils import np_utils

# initialize parameters

classes = ['car', 'motorbike'] # define 2 classses

num_classes = len(classes) # the number of classes

image_size = 150 # pixels of width or height

# load npy file

# need 'allow_pickle=True'

X_train, X_test, y_train, y_test = np.load('./image_files.npy', allow_pickle=True)

# one hot encording

y_train = np_utils.to_categorical(y_train, num_classes)

y_test = np_utils.to_categorical(y_test, num_classes)

# define model

model = Sequential()

model.add(Conv2D(32,(3, 3), activation='relu', input_shape=(image_size, image_size, 3)))

model.add(Conv2D(32,(3, 3), activation='relu'))

model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Dropout(0.25)) # 25%のデータは捨てる

model.add(Flatten())

model.add(Dense(256, activation='relu'))

model.add(Dropout(0.5))

model.add(Dense(num_classes, activation='softmax'))

# define optimiser

opt = SGD(lr=0.01) # rmsprop, adam etc...

model.compile(loss='categorical_crossentropy', optimizer=opt, metrics=['accuracy'])

# trainning start

history = model.fit(X_train, y_train, batch_size=32, epochs=30)

# evaluation

score = model.evaluate(X_test, y_test, batch_size=32)

print()

print('Test loss:', score[0])

print('Test accuracy:', score[1])

実行

では　Anacondaプロンプトから　$ conda info -e で仮想環境リストを確認して

(base) C:\Users\keita>conda info -e
# conda environments:
#
base * C:\Users\keita\Anaconda3
djangoai C:\Users\keita\Anaconda3\envs\djangoai

(base) C:\Users\keita>conda info -e

# conda environments:

base * C:\Users\keita\Anaconda3

djangoai C:\Users\keita\Anaconda3\envs\djangoai

djangoaiが存在することを確認したら、$ conda activate djangoai　して仮想環境に入ります。

(base) C:\Users\keita>conda activate djangoai

(djangoai) C:\Users\keita>

(base) C:\Users\keita>conda activate djangoai

(djangoai) C:\Users\keita>

カレントディレクトリをcnn_test.pyがある場所まで移動して、実行します。

(djangoai) C:\Users\keita>cd anaconda_projects
(djangoai) C:\Users\keita\anaconda_projects>cd djangoai
(djangoai) C:\Users\keita\anaconda_projects\djangoai>python cnn_test.py

(djangoai) C:\Users\keita>cd anaconda_projects

(djangoai) C:\Users\keita\anaconda_projects>cd djangoai

(djangoai) C:\Users\keita\anaconda_projects\djangoai>python cnn_test.py

結果

エポック数３０回やった結果、精度はacc: 0.99まで向上しましたが、検証データではTest accuracy:0.81までしか出ていません。おそらく過学習になっていると思われます。まだまだ改善の余地ありです。

Epoch 5/30
600/600 [==============================] - 13s 22ms/step - loss: 0.5880 - acc: 0.7017
Epoch 10/30
600/600 [==============================] - 13s 22ms/step - loss: 0.4863 - acc: 0.7850
Epoch 15/30
600/600 [==============================] - 14s 23ms/step - loss: 0.3483 - acc: 0.8617
Epoch 20/30
600/600 [==============================] - 13s 22ms/step - loss: 0.2374 - acc: 0.9150
Epoch 25/30
600/600 [==============================] - 13s 22ms/step - loss: 0.1508 - acc: 0.9633
600/600 [==============================] - 14s 23ms/step - loss: 0.0626 - acc: 0.9900
200/200 [==============================] - 2s 8ms/step

Test loss: 0.37387794256210327
Test accuracy: 0.81

Epoch 5/30

600/600 [==============================] - 13s 22ms/step - loss: 0.5880 - acc: 0.7017

Epoch 10/30

600/600 [==============================] - 13s 22ms/step - loss: 0.4863 - acc: 0.7850

Epoch 15/30

600/600 [==============================] - 14s 23ms/step - loss: 0.3483 - acc: 0.8617

Epoch 20/30

600/600 [==============================] - 13s 22ms/step - loss: 0.2374 - acc: 0.9150

Epoch 25/30

600/600 [==============================] - 13s 22ms/step - loss: 0.1508 - acc: 0.9633

600/600 [==============================] - 14s 23ms/step - loss: 0.0626 - acc: 0.9900

200/200 [==============================] - 2s 8ms/step

Test loss: 0.37387794256210327

Test accuracy: 0.81

オプティマイザーを変更

SGDからAdamに切り替えてみました。大きく悪化しました。（笑）

Epoch 10/30
600/600 [==============================] - 19s 32ms/step - loss: 8.0859 - acc: 0.4983

Epoch 20/30
600/600 [==============================] - 17s 28ms/step - loss: 8.0859 - acc: 0.4983

Epoch 30/30
600/600 [==============================] - 17s 29ms/step - loss: 8.0859 - acc: 0.4983
200/200 [==============================] - 1s 7ms/step

Test loss: 7.978457450866699
Test accuracy: 0.505

Epoch 10/30

600/600 [==============================] - 19s 32ms/step - loss: 8.0859 - acc: 0.4983

Epoch 20/30

600/600 [==============================] - 17s 28ms/step - loss: 8.0859 - acc: 0.4983

Epoch 30/30

600/600 [==============================] - 17s 29ms/step - loss: 8.0859 - acc: 0.4983

200/200 [==============================] - 1s 7ms/step

Test loss: 7.978457450866699

Test accuracy: 0.505

可視化にチャレンジ

djangoai仮想環境内で$pip install matplotlib　します。

matplotlib-3.1.1　が入りました。

下記コードを最後に追加しました。オプティマイザーはSGDに戻しました。

import&nbsp;matplotlib.pyplot&nbsp;as&nbsp;plt

# visualizer
loss     = history.history['loss']

nb_epoch = len(loss)
plt.plot(range(nb_epoch), loss, marker='.', label='loss')

plt.legend(loc='best', fontsize=10)
plt.grid()
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()

import matplotlib.pyplot as plt

# visualizer

loss = history.history['loss']

nb_epoch = len(loss)

plt.plot(range(nb_epoch), loss, marker='.', label='loss')

plt.legend(loc='best', fontsize=10)

plt.grid()

plt.xlabel('epoch')

plt.ylabel('loss')

plt.show()

横軸にエポック数　縦軸に損失です。　きれいな右肩下がりです。

次回

Web Application: 第６回　はじめてのwebアプリ

Web Application: 第４回　画像データをnpyデータに変換

こんにちはKeita_Nakamori(´・ω・`)です。

前回flickrから取得した画像データをTensor Flowが読めるように数値データに変換していきます。

必要なモジュールをインストール

pip install Pillow :
pip install scikit-learn :

Pillow-6.1.0とscikit-learn-0.21.3が入りました

スクリプト：generate_inputdata.py

from PIL import Image # image operation
import os             # get file list
import glob           # image treatment
import numpy as np    # culculation
from sklearn.model_selection import train_test_split # split data

# initialize parameters
classes = ['car', 'motorbike'] # define 2 classses 
num_classes = len(classes)     # the number of classes
image_size = 150               # pixels of width or height

# read images and cnvert numpy array
X = [] # ready to make list
Y = [] # ready to make list

# numbering and 
for index, class_label in enumerate(classes):
    
    # create class_label directories (car or motorbike)
    photos_dir ='./' + class_label

    # search jpeg fileb and create files object
    files = glob.glob(photos_dir + '/*.jpg')

    for i, file in enumerate(files):

        # open image files as instance
        image = Image.open(file)

        # convert image into RGB value data
        image = image.convert('RGB')

        # align to the same size (just in case)
        image = image.resize((image_size, image_size))

        # convert RGB value into numpy array 
        data = np.asarray(image)

        # normalize
        data = data / 255.0

        # append value to list
        X.append(data)
        Y.append(index)

# convert list into numpy array
X = np.array(X)
Y = np.array(Y)

# split data (training and test)
X_train, X_test, y_train, y_test = train_test_split(X, Y)

# replace 1 variable
xy =(X_train, X_test, y_train, y_test)

# save values as npy file 
np.save('./image_files.npy', xy)

from PIL import Image # image operation

import os # get file list

import glob # image treatment

import numpy as np # culculation

from sklearn.model_selection import train_test_split # split data

# initialize parameters

classes = ['car', 'motorbike'] # define 2 classses

num_classes = len(classes) # the number of classes

image_size = 150 # pixels of width or height

# read images and cnvert numpy array

X = [] # ready to make list

Y = [] # ready to make list

# numbering and

for index, class_label in enumerate(classes):

# create class_label directories (car or motorbike)

photos_dir ='./' + class_label

# search jpeg fileb and create files object

files = glob.glob(photos_dir + '/*.jpg')

for i, file in enumerate(files):

# open image files as instance

image = Image.open(file)

# convert image into RGB value data

image = image.convert('RGB')

# align to the same size (just in case)

image = image.resize((image_size, image_size))

# convert RGB value into numpy array

data = np.asarray(image)

# normalize

data = data / 255.0

# append value to list

X.append(data)

Y.append(index)

# convert list into numpy array

X = np.array(X)

Y = np.array(Y)

# split data (training and test)

X_train, X_test, y_train, y_test = train_test_split(X, Y)

# replace 1 variable

xy =(X_train, X_test, y_train, y_test)

# save values as npy file

np.save('./image_files.npy', xy)

実行しましょう

(djangoai) C:\Users\keita\anaconda_projects\djangoai>python generate_inputdata.py

フォルダを見ると新しく「image_files.npy」　　609,516,317 （６０９MB？）のデータが生成されました。

次回

Web Application: 第５回　はじめてのwebアプリ

Web Application: 第３回　flickr（フリッカー）で画像収集

こんにちはKeita_Nakamori(´・ω・`)。

flickrのサイトから画像を引っ張ってきてTensorFlowに流すサンプルデータにしようと思います。

登録とAPIキーの取得

トップページの一番下のDeveloperをおしてAPIキーのリスエストを行います。まずはメルアドの登録などをやってサインアップします。

そうすると APIキーのリスエストができるようになりますので、APIキーを取得します。

flickrapiのインストール

flickrのapiにアクセスするためのモジュールflickrapiをインストールします。

VSコードのコマンドプロンプト内で、

PS C:\Users\keita\anaconda_projects\djangoai> pip install flickrapi

とすると、flickrapi-2.4.0 が入りました。が、これは使えません。

Anaconda プロンプトでconda activate djangoで仮想環境にはいり(djangoai) C:\Users\keita>pip install flickrapi　します。

flickrapi-2.4.0が入りました。

Imageをdownloadするスクリプト

ではflickrapiを使ってimageを取得していきましょう。djangoaiフォルダ内へ新たにdownload_images.pyを作成します。

from flickrapi import FlickrAPI
from urllib.request import urlretrieve
import os
import time
import sys

key = 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'
secret = 'xxxxxxxxxxxxxxxx'
wait_time = 1 # 1 request per 1 second

# 2nd argument  on cmd becomes searching keyword
keyword = sys.argv[1] 

# directry for saving image files
save_dir ='./' + keyword

# cliant object to access to api
flickr = FlickrAPI(key, secret, format='parsed-json')

# api excuted result
result =flickr.photos.search(
    text = keyword,
    per_page = 400,     # the number of images
    media = 'photos',   # define collecting type
    sort = 'relevance', # new images
    safe_serch= 1,      # to avoid violence
    extras = 'url_q, license' # with url and licence data
)

# extracted photos(as key) from result object
photos = result['photos']

# extract photo in order from photos object and do numbering
for i, photo in enumerate(photos['photo']):

    # extract url
    url_q = photo['url_q']

    # make filepath : directory / photo id .jpg
    filepath = save_dir + '/' +photo['id'] + '.jpg'

    # need to make directory(mkdir) in advance
    # before excution thins script
    if os.path.exists(filepath): continue
    
    # save download data
    # arg1= download url , arg2= save directory/file name
    urlretrieve(url_q, filepath)
    print('url_q, filepath : ', url_q,'  ', filepath)

    # download interval
    time.sleep(wait_time)

print('==== Script is done. ====')

from flickrapi import FlickrAPI

from urllib.request import urlretrieve

import os

import time

import sys

key = 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'

secret = 'xxxxxxxxxxxxxxxx'

wait_time = 1 # 1 request per 1 second

# 2nd argument on cmd becomes searching keyword

keyword = sys.argv[1]

# directry for saving image files

save_dir ='./' + keyword

# cliant object to access to api

flickr = FlickrAPI(key, secret, format='parsed-json')

# api excuted result

result =flickr.photos.search(

text = keyword,

per_page = 400, # the number of images

media = 'photos', # define collecting type

sort = 'relevance', # new images

safe_serch= 1, # to avoid violence

extras = 'url_q, license' # with url and licence data

)

# extracted photos(as key) from result object

photos = result['photos']

# extract photo in order from photos object and do numbering

for i, photo in enumerate(photos['photo']):

# extract url

url_q = photo['url_q']

# make filepath : directory / photo id .jpg

filepath = save_dir + '/' +photo['id'] + '.jpg'

# need to make directory(mkdir) in advance

# before excution thins script

if os.path.exists(filepath): continue

# save download data

# arg1= download url , arg2= save directory/file name

urlretrieve(url_q, filepath)

print('url_q, filepath : ', url_q,' ', filepath)

# download interval

time.sleep(wait_time)

print('==== Script is done. ====')

Imageを保存するフォルダを作成

車とバイクの画像をいれるフォルダを作っておきます。

(djangoai) C:\Users\keita\anaconda_projects\djangoai>mkdir car
(djangoai) C:\Users\keita\anaconda_projects\djangoai>mkdir motorbike

スクリプトを実行する。

仮想環境(conda activate djangoai)に入って、まずはモーターバイクの画像を収集しましょう。

(djangoai) C:\Users\keita\anaconda_projects\djangoai>python download_images.py motorbike

じゃんじゃん入ってきました。

次回

Web Application: 第４回　はじめてのwebアプリ

Web Application: 第２回　VS codeのインストールとセッティング

こんにちは　Keita_Nakamori(´・ω・`)　です。

前回はTensor Flowの試運転に成功しました。

今後アプリ開発をやっていく上でVSコードを使っていこうと思います。PyCharmよさようなら・・・。

VSコードのインストール

https://code.visualstudio.com/でWindows版を選択してインストーラーをダウンロードした後、実行します。

Pathは通しておきましょう。再起動後、画面左側にあるExtentionsボタンをおして、検索窓でpythonと入力して、pythonをインストールしましょう。

データ収集プログラムを作ってみる

では、左上のエクスプローラーボタンを押して、第１回目に作成した keita>Anaconda_projects>djangoaiフォルダを選択しましょう。

Jupyter Notebookで作成した tensorflow_test.ipynbが入っています。

練習のためHello World をやってみましょう

djangoaiフォルダの右側にNew Fileボタンを押してhello_world.pyを作ります。

右側のウィンドウにスクリプトが書けるように成りますのでテキトーにhello worldをプリント出力しましょう。

実行方法

どのPythonバージョンを使用するかの選択

メニュー>View>Command Pallet>Select interpriterで

第１回目で作成した仮想環境であるdjangoai:condaのPython3.7.4 64-bitを選択します。

画面の下に青い帯で変更されたことが確認できます。

ついでにpylintが入っていませんようと警告がでますのでInstallしましょう。condaかpipか聞かれますのでcondaにしてみました。

実行

スクリプト窓内で右クリックをしてrun python file in terminal　します。

するとコマンドプロンプト窓内で実行されます。

次回

Web Application: 第３回　はじめてのwebアプリ

graphvizのインストール

最初に行っておきますけど。

$ pip install graphviz　じゃだめでしたよ！！

警告

InvocationException: GraphViz’s executable “C:\Program Files (x86)\graphviz-2.38\release\bin\dot.exe” is not a file or doesn’t exist

どうやらdot.exe にパスを通しなさいと警告がでるのですが、そもそもpip install　された先がわかりませんでした。作戦変更です。

graphviz　公式サイトからのインストール

graphvizの公式webサイト

https://graphviz.gitlab.io/_pages/Download/Download_windows.html

からgraphvizのインストール graphviz-2.38.zip　をダウンロードして展開するとreleaseというフォルダが作成されます。

C:\\Program Files (x86)\\　の下に新規でgraphviz-2.38フォルダを作成して、そのさらに下にreleaseフォルダを移動します。

結果、dot.exeが

C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exe

の位置になります。（インストーラーがなさそうなので、フォルダ移動だけです。）

システム環境変数の追加

ではパスを通しましょう。

windowsボタンをおして検索に「システム環境変数」と入れます。システムのプロパティが開くので、環境変数ボタンを押して、システム環境変数のpathを編集します。

新規ボタンを押して、さっきのdot.exeのパスである

C:\\Program Files (x86)\\graphviz-2.38\\release\\bin\\dot.exe

をコピペします。

これでgraphvizが使えるようになったと思います。

以上、これで幸せになりました。

スクリプト

#sklearn_text_for_data_science
# sklearn
import numpy as np
import pandas as pd

# 欠損値を含む サンプルデータ・セットを作成
np.random.seed(0)
df = pd.DataFrame(np.random.randn(15).reshape(5,3))
df.loc[0,0] = np.nan
df.loc[1,1] = np.nan
df.loc[2,2] = np.nan
df
0	1	2
0	NaN	0.400157	0.978738
1	2.240893	NaN	-0.977278
2	0.950088	-0.151357	NaN
3	0.410599	0.144044	1.454274
4	0.761038	0.121675	0.443863
# 欠損値かどうかを調べる
df.isnull()
0	1	2
0	True	False	False
1	False	True	False
2	False	False	True
3	False	False	False
4	False	False	False
# 欠損値を含むindexを削除する
df_dropna = df.dropna()
df_dropna
0	1	2
3	0.410599	0.144044	1.454274
4	0.761038	0.121675	0.443863
# 欠損値を含むindexを meanで補完する
from sklearn.preprocessing import Imputer

# インスタンスを作成する
imp = Imputer(strategy='mean', axis=0)

#欠損値を分析して補完する
imp.fit(df)
imp.transform(df)
array([[ 1.09065446,  0.40015721,  0.97873798],
       [ 2.2408932 ,  0.12862965, -0.97727788],
       [ 0.95008842, -0.15135721,  0.47489921],
       [ 0.4105985 ,  0.14404357,  1.45427351],
       [ 0.76103773,  0.12167502,  0.44386323]])
# カテゴリー変数をエンコーディングする

# サンプルDataFrame
dic = {0:[0, 1, 2, 3, 4],
       1:['a', 'b', 'a', 'b', 'c']}
df = pd.DataFrame(dic)
df
0	1
0	0	a
1	1	b
2	2	a
3	3	b
4	4	c
# カテゴリー変数をラベルエンコーディングする

from sklearn.preprocessing import LabelEncoder

# LabelEncoderのインスタンスを作成する
le = LabelEncoder()
le.fit(df[1])
df[2] = le.transform(df[1]) # array([0, 1, 0, 1, 2])
df
0	1	2
0	0	a	0
1	1	b	1
2	2	a	0
3	3	b	1
4	4	c	2
# カテゴリー変数を　One-Hot　ラベルエンコーディングする
'''
pd.get_dummieと同じ機能。
pd.get_dummieのほうが使いやすいのでおすすめ
'''
from sklearn.preprocessing import LabelEncoder
from sklearn.preprocessing import OneHotEncoder

# サンプルDataFrame
dic = {'A':[0, 1, 2, 3, 4],
       'B':['a', 'b', 'a', 'b', 'c']}
df = pd.DataFrame(dic)

# DataFrameをコピー
df_ohe = df.copy()

df_ohe
A	B
0	0	a
1	1	b
2	2	a
3	3	b
4	4	c
# まず labelEncoder のインスタンスを作成
le = LabelEncoder()

# エンコードしたものを df_ohe[3]として新規作成する
df_ohe['B'] = le.fit_transform(df_ohe['B']) # a b c を含む列　を解析・変換
le.classes_

# OneHotEncoder のインスタンスを作成する
ohe = OneHotEncoder(categorical_features=[1]) # 変換する列の番号をリストとして指定する

# OneHotエンコーディングする
ohe.fit_transform(df_ohe).toarray() # .toarray():scipy.sparse形式からnumpy配列に変換
array([[1., 0., 0., 0.],
       [0., 1., 0., 1.],
       [1., 0., 0., 2.],
       [0., 1., 0., 3.],
       [0., 0., 1., 4.]])
# 正規化
# 分散正規化 StanderdScaler
"""
x' = (x - mean)/ stdev
"""
from sklearn.preprocessing import StandardScaler

# サンプルDataFrameを生成する
df_dict = {'A':[1,2,3,4,5],
           'B':[100,200,300,400,500]}
df = pd.DataFrame(df_dict)

# スタンダードスケーラーのインスタンスを生成する
stdsc =  StandardScaler()

# 解析して変換する
stdsc.fit(df)
stdsc.transform(df)
array([[-1.41421356, -1.41421356],
       [-0.70710678, -0.70710678],
       [ 0.        ,  0.        ],
       [ 0.70710678,  0.70710678],
       [ 1.41421356,  1.41421356]])
# 最小最大正規化 MinMaxScaler
"""
x' = (x - x_min) / (x_max - x\min)
"""
from sklearn.preprocessing import MinMaxScaler

# サンプルDataFrameを生成する
df_dict = {'A':[1,2,3,4,5],
           'B':[100,200,300,400,500]}
df = pd.DataFrame(df_dict)

# スタンダードスケーラーのインスタンスを生成する
mmsc =  MinMaxScaler()

# 解析して変換する
mmsc.fit(df)
mmsc.transform(df)
array([[0.  , 0.  ],
       [0.25, 0.25],
       [0.5 , 0.5 ],
       [0.75, 0.75],
       [1.  , 1.  ]])

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

#sklearn_text_for_data_science

# sklearn

import numpy as np

import pandas as pd

# 欠損値を含むサンプルデータ・セットを作成

np.random.seed(0)

df = pd.DataFrame(np.random.randn(15).reshape(5,3))

df.loc[0,0] = np.nan

df.loc[1,1] = np.nan

df.loc[2,2] = np.nan

0 1 2

0 NaN 0.400157 0.978738

1 2.240893 NaN -0.977278

2 0.950088 -0.151357 NaN

3 0.410599 0.144044 1.454274

4 0.761038 0.121675 0.443863

# 欠損値かどうかを調べる

df.isnull()

0 1 2

0 True False False

1 False True False

2 False False True

3 False False False

4 False False False

# 欠損値を含むindexを削除する

df_dropna = df.dropna()

df_dropna

0 1 2

3 0.410599 0.144044 1.454274

4 0.761038 0.121675 0.443863

# 欠損値を含むindexを meanで補完する

from sklearn.preprocessing import Imputer

# インスタンスを作成する

imp = Imputer(strategy='mean', axis=0)

#欠損値を分析して補完する

imp.fit(df)

imp.transform(df)

array([[ 1.09065446, 0.40015721, 0.97873798],

[ 2.2408932 , 0.12862965, -0.97727788],

[ 0.95008842, -0.15135721, 0.47489921],

[ 0.4105985 , 0.14404357, 1.45427351],

[ 0.76103773, 0.12167502, 0.44386323]])

# カテゴリー変数をエンコーディングする

# サンプルDataFrame

dic = {0:[0, 1, 2, 3, 4],

1:['a', 'b', 'a', 'b', 'c']}

df = pd.DataFrame(dic)

0 1

0 0 a

1 1 b

2 2 a

3 3 b

4 4 c

# カテゴリー変数をラベルエンコーディングする

from sklearn.preprocessing import LabelEncoder

# LabelEncoderのインスタンスを作成する

le = LabelEncoder()

le.fit(df[1])

df[2] = le.transform(df[1]) # array([0, 1, 0, 1, 2])

0 1 2

0 0 a 0

1 1 b 1

2 2 a 0

3 3 b 1

4 4 c 2

# カテゴリー変数を　One-Hot　ラベルエンコーディングする

'''

pd.get_dummieと同じ機能。

pd.get_dummieのほうが使いやすいのでおすすめ

'''

from sklearn.preprocessing import LabelEncoder

from sklearn.preprocessing import OneHotEncoder

# サンプルDataFrame

dic = {'A':[0, 1, 2, 3, 4],

'B':['a', 'b', 'a', 'b', 'c']}

df = pd.DataFrame(dic)

# DataFrameをコピー

df_ohe = df.copy()

df_ohe

A B

0 0 a

1 1 b

2 2 a

3 3 b

4 4 c

# まず labelEncoder のインスタンスを作成

le = LabelEncoder()

# エンコードしたものを df_ohe[3]として新規作成する

df_ohe['B'] = le.fit_transform(df_ohe['B']) # a b c を含む列　を解析・変換

le.classes_

# OneHotEncoder のインスタンスを作成する

ohe = OneHotEncoder(categorical_features=[1]) # 変換する列の番号をリストとして指定する

# OneHotエンコーディングする

ohe.fit_transform(df_ohe).toarray() # .toarray():scipy.sparse形式からnumpy配列に変換

array([[1., 0., 0., 0.],

[0., 1., 0., 1.],

[1., 0., 0., 2.],

[0., 1., 0., 3.],

[0., 0., 1., 4.]])

# 正規化

# 分散正規化 StanderdScaler

"""

x' = (x - mean)/ stdev

"""

from sklearn.preprocessing import StandardScaler

# サンプルDataFrameを生成する

df_dict = {'A':[1,2,3,4,5],

'B':[100,200,300,400,500]}

df = pd.DataFrame(df_dict)

# スタンダードスケーラーのインスタンスを生成する

stdsc = StandardScaler()

# 解析して変換する

stdsc.fit(df)

stdsc.transform(df)

array([[-1.41421356, -1.41421356],

[-0.70710678, -0.70710678],

[ 0. , 0. ],

[ 0.70710678, 0.70710678],

[ 1.41421356, 1.41421356]])

# 最小最大正規化 MinMaxScaler

"""

x' = (x - x_min) / (x_max - x\min)

"""

from sklearn.preprocessing import MinMaxScaler

# サンプルDataFrameを生成する

df_dict = {'A':[1,2,3,4,5],

'B':[100,200,300,400,500]}

df = pd.DataFrame(df_dict)

# スタンダードスケーラーのインスタンスを生成する

mmsc = MinMaxScaler()

# 解析して変換する

mmsc.fit(df)

mmsc.transform(df)

array([[0. , 0. ],

[0.25, 0.25],

[0.5 , 0.5 ],

[0.75, 0.75],

[1. , 1. ]])

Python：matplotlib

可視化の基本 matplotlibです。

貼っておきます。

matplotlib_taxt_for_data_science.html

matplotlib_taxt_for_data_science.ipynb

スクリプト

# matplotlib
import matplotlib.pyplot as plt
import matplotlib.style

#ggplotを使用する
matplotlib.style.use('ggplot')
# MATLABスタイル

matplotlib.style.use('ggplot')
x = [0,1,2,3,4]
y = [0,1,2,4,8]
plt.plot(x,y)
plt.title('MATLAB-STYLE')
Text(0.5,1,'MATLAB-STYLE')

# オブジェクト指向スタイル

x = [0,1,2,3,4]
y = [0,1,2,4,8]

#スタイルの指定は matplotlib.style.available で確認できる
matplotlib.style.use('ggplot') 

# ２行２列のプロットを用意する
fig, axes = plt.subplots(nrows=2,ncols=2)

# １行１列にプロットする 
axes[0,0].plot(x, y, label='legend_001')
axes[0,0].legend(loc='best') # 凡例 外配置は loc='bbox_to_anchor'

# 個別のグラフ axes を装飾する
axes[0,0].set_title('axes[0,0].set_title')   # タイトル
axes[0,0].set_xlabel('axes[0,0].set_xlabel') # x軸ラベル
axes[0,0].set_ylabel('axes[0,0].set_ylabel') # y軸ラベル

# 全体 fig を装飾する
fig.suptitle('fig.suptitle')

# グラフを保存する
fig.savefig('data/savefig.png')

# グラフを表示する
plt.show()

# 縦棒グラフ ax.bar
fig, axes = plt.subplots(1,2)
matplotlib.style.use('ggplot') 

x = [0,1,2]
y = [2,4,5]

# x軸ラベルを任意のラベルにする
labels = ['label_0','label_1','label_2']
axes[0].bar(x, y, tick_label=labels)
plt.show()

# 横棒グラフ ax.barh
fig, axes = plt.subplots(1,2)
matplotlib.style.use('ggplot') 

x = [0,1,2]
y = [2,4,5]

# x軸ラベルを任意のラベルにする
labels = ['label_0','label_1','label_2']
axes[0].barh(x, y, tick_label=labels)
plt.show()

# 縦棒グラフ ２本並べる ax.bar
fig, axes = plt.subplots(1,2)
matplotlib.style.use('ggplot') 

x1 = [0,1,2]
y1 = [2,4,5]
y2 = [3,5,7]

# x軸ラベルを任意のラベルにする
labels = ['label_0','label_1','label_2']

# 棒の幅を決める y1
width = 0.4
axes[0].bar(x1, y1, tick_label=labels, width=width, label='y1')
axes[0].legend(loc='best')

# 棒の幅の分をx軸の正方向にずれた位置に y2 の棒グラフを書く
x2 = [i + width for i in x1]
axes[0].bar(x2, y2, tick_label=labels, width=width, label='y2')
axes[0].legend(loc='best')

plt.show()

# 積み上げ棒グラフ
fig, axes = plt.subplots(1,2)
matplotlib.style.use('ggplot') 

x  = [0,1,2]
y1 = [2,4,5]
y2 = [3,5,7]

# x軸ラベルを任意のラベルにする
labels = ['label_0','label_1','label_2']

# y1とy2 を足した　y_total = y1 + y2 を作成する
y_total = [i + j for i, j in zip(y1, y2)]

# y_total の上に y2 で塗りつぶし、残りの部分を y1 と見立てる
axes[0].bar(x,y_total, tick_label=labels, label='y1')
axes[0].legend(loc='best')

axes[0].bar(x,y2, tick_label=labels, label='y2')
axes[0].legend(loc='best')

plt.show()

# 散布図
fig, ax = plt.subplots()

# ランダム値を生成
import numpy as np
np.random.seed(0)
x = np.random.randn(1000)
y = np.random.randn(1000)

# 各種マーカーを使用してみる
ax.scatter(x[0:100], y[0:100], marker='v', label='triangle down', color='red')
ax.scatter(x[100:200], y[100:200], marker='^', label='triangle up', color='blue')
ax.scatter(x[200:300], y[200:300], marker='s', label='square', color='green')
ax.scatter(x[300:400], y[300:400], marker='*', label='star', color='yellow')
ax.scatter(x[400:500], y[400:500], marker='x', label='x', color='black')
ax.scatter(x[500:600], y[500:600], marker='+', label='+', color='cyan')

plt.legend(loc='best')
<matplotlib.legend.Legend at 0x176cffce710>

# ヒストグラム
np.random.seed(1)
ave = 100
std = 15
x = np.random.normal(ave, std, 1000)

fig, ax = plt.subplots()
n, bins, patches = ax.hist(x, bins=20) 
plt.show()

n       # 各棒の度数
bins    # 各棒の境界値
patches # 各棒の描画情報

<a list of 20 Patch objects>
# ヒストグラム 横棒
np.random.seed(1)
ave = 100
std = 15
x = np.random.normal(ave, std, 1000)

fig, ax = plt.subplots()
n, bins, patches = ax.hist(x, bins=20, orientation='horizontal') 
plt.show()

# ヒストグラムを並べる
np.random.seed(2)

# 正規分布に従うデータを３つ用意する
x0 = np.random.normal(10,10,1000)
x1 = np.random.normal(10,20,1000)
x2 = np.random.normal(10,30,1000)

# ヒストグラムを書く
fig, ax = plt.subplots()
labels = ['x0', 'x1', 'x2']
ax.hist([x0,x1,x2],label=labels)
plt.legend(loc='best')
<matplotlib.legend.Legend at 0x176bad74470>

# ヒストグラムを積み上げる
np.random.seed(2)

# 正規分布に従うデータを３つ用意する
x0 = np.random.normal(10,10,1000)
x1 = np.random.normal(10,20,1000)
x2 = np.random.normal(10,30,1000)

# ヒストグラムを書く
fig, ax = plt.subplots()
labels = ['x0', 'x1', 'x2']
ax.hist([x0,x1,x2],label=labels, stacked=True)
plt.legend(loc='best')
<matplotlib.legend.Legend at 0x176cfeeeef0>

# 箱ひげ図 .boxplot

# 正規分布に従うデータを３つ用意する
np.random.seed(0)
x0 = np.random.normal(10,10,1000)
x1 = np.random.normal(10,20,1000)
x2 = np.random.normal(10,30,1000)

fig, ax = plt.subplots()
labels = ['x0', 'x1', 'x2']
ax.boxplot([x0,x1,x2], labels=labels)


plt.show()

# 箱ひげ図.boxplot（横向き vert=False） 

# 正規分布に従うデータを３つ用意する
np.random.seed(0)
x0 = np.random.normal(10,10,1000)
x1 = np.random.normal(10,20,1000)
x2 = np.random.normal(10,30,1000)

fig, ax = plt.subplots()
labels = ['x0', 'x1', 'x2']
ax.boxplot([x0,x1,x2], labels=labels, vert=False)


plt.show()

# 円グラフ ちょっと斜め上から

x = [3,5,7]
labels = labels = ['x0', 'x1', 'x2']

fig, ax = plt.subplots()
ax.pie(x, labels=labels)
plt.show()

# 円グラフ　真上から ax.axis('equal') 

x = [3,5,7]
labels = labels = ['x0', 'x1', 'x2']

fig, ax = plt.subplots()
ax.pie(x, labels=labels )
ax.axis('equal')         # 真上から
plt.show()

# 円グラフ　真上から ax.axis('equal')
# 12時(startangle=90) から 時計回り(counterclock=False) で
# 影をつける shadow=True
# %を入れる  autopct='%1.2f%%'
# 一部を切り離す explode

x = [3,5,7]
labels = labels = ['x0', 'x1', 'x2']

fig, ax = plt.subplots()
explode =[0,0.1,0] # ２番めのデータだけ切り離す
ax.pie(x, labels=labels, startangle=90, counterclock=False, shadow=True, autopct='%1.2f%%', explode=explode)
ax.axis('equal')
plt.show()

# グラフを組み合わせる 棒グラフ-折れ線グラフ
fig, ax = plt.subplots()

x1 = [0,1,2,3]
y1 = [1,3,5,7]

x2 = [0,1,2,3]
y2 = [10,8,20,10]

ax.bar(x1, y1, label='y1')  # 棒グラフ     ax.bar()
ax.plot(x2, y2, label='y2') # 折れ線グラフ ax.plot()
ax.legend(loc='best')

plt.show()

# グラフを組み合わせる ヒストグラム-折れ線グラフ

fig, ax = plt.subplots()

# サンプルデータを生成する
np.random.seed(0)
x = np.random.randn(1000)

# ヒストグラムを描く
counts, edges, patches = ax.hist(x, bins=30)

#中点を求める(何故かこれで求まるらしい)
x_fit = (edges[:-1] + edges[1:])/ 2
y=1000 * np.diff(edges) *np.exp(-x_fit**2 / 2)
np.sqrt(2 * np.pi)
ax.plot(x_fit, y)

plt.show()

counts
# array([  9.,  20.,  70., 146., 217., 239., 160.,  86.,  38.,  15.])

edges
# array([-3.04614305, -2.46559324, -1.88504342, -1.3044936 , -0.72394379,
#        -0.14339397,  0.43715585,  1.01770566,  1.59825548,  2.1788053 ,
#         2.75935511])
array([-3.04614305, -2.46559324, -1.88504342, -1.3044936 , -0.72394379,
       -0.14339397,  0.43715585,  1.01770566,  1.59825548,  2.1788053 ,
        2.75935511])
edges[1:]
array([-2.46559324, -1.88504342, -1.3044936 , -0.72394379, -0.14339397,
        0.43715585,  1.01770566,  1.59825548,  2.1788053 ,  2.75935511])
edges[:-1]
array([-3.04614305, -2.46559324, -1.88504342, -1.3044936 , -0.72394379,
       -0.14339397,  0.43715585,  1.01770566,  1.59825548,  2.1788053 ])
# スタイル
fig, ax = plt.subplots()

# 色 color=名称'red' １６進数RGB'#0000FF' RGBAをfloatで

ax.plot([0,1], [1,1], color='red')
ax.plot([0,1], [2,2], color='#0000FF')
ax.plot([0,1], [3,3], color=[0.2, 1.0, 0.2, 1.0])

plt.show()

# 色 color=名称'red' １６進数RGB'#0000FF' RGBAをfloatで
fig, ax = plt.subplots()

# 棒グラフは color と　edgecolor を設定できる
ax.bar([1], [3], color='red')
ax.bar([2], [4], color='cyan' , edgecolor='black')

plt.show()

# 線のスタイル 幅linewidth ラインスタイルlinestyle
fig, ax = plt.subplots()

ax.plot([0,1], [0,0])
ax.plot([0,1], [1,1], linewidth=1  ,linestyle='--')
ax.plot([0,1], [2,2], linewidth=5  ,linestyle='-.')
ax.plot([0,1], [3,3], linewidth=10 ,linestyle=':')

plt.show()

# フォント family, size, weght
fig, ax = plt.subplots()

ax.set_title('set_title', family='fantasy', size=20, weight='bold')
ax.set_xlabel('set_xlabel', family='DejaVu Sans', size=30, weight='light')
ax.set_ylabel('set_ylabel', family='monospace', size=25, weight='heavy')

plt.show()

# フォントはまとめてディクショナリにできる
fig, ax = plt.subplots()

fontdict = {
    'family': 'fantasy',
    'size': 20,
    'weight': 'normal',
    }

ax.set_title('set_title', fontdict=fontdict, size=40)
ax.set_xlabel('set_xlabel', fontdict=fontdict)
ax.set_ylabel('set_ylabel', fontdict=fontdict)

plt.show()

# グラフにテキストを描く
fig, ax = plt.subplots()

ax.text(  0,   0, 'text', size=10)
ax.text(0.2, 0.2, 'text', size=20)
ax.text(0.5, 0.5, 'text', size=30)
ax.text(1.0, 1.0, 'text', size=40)
plt.show()

# ---- end of scripts ----

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280

281

282

283

284

285

286

287

288

289

290

291

292

293

294

295

296

297

298

299

300

301

302

303

304

305

306

307

308

309

310

311

312

313

314

315

316

317

318

319

320

321

322

323

324

325

326

327

328

329

330

331

332

333

334

335

336

337

338

339

340

341

342

343

344

345

346

347

348

349

350

351

352

353

354

355

356

357

358

359

360

361

362

363

364

365

366

367

# matplotlib

import matplotlib.pyplot as plt

import matplotlib.style

#ggplotを使用する

matplotlib.style.use('ggplot')

# MATLABスタイル

matplotlib.style.use('ggplot')

x = [0,1,2,3,4]

y = [0,1,2,4,8]

plt.plot(x,y)

plt.title('MATLAB-STYLE')

Text(0.5,1,'MATLAB-STYLE')

# オブジェクト指向スタイル

x = [0,1,2,3,4]

y = [0,1,2,4,8]

#スタイルの指定は matplotlib.style.available で確認できる

matplotlib.style.use('ggplot')

# ２行２列のプロットを用意する

fig, axes = plt.subplots(nrows=2,ncols=2)

# １行１列にプロットする

axes[0,0].plot(x, y, label='legend_001')

axes[0,0].legend(loc='best') # 凡例外配置は loc='bbox_to_anchor'

# 個別のグラフ axes を装飾する

axes[0,0].set_title('axes[0,0].set_title') # タイトル

axes[0,0].set_xlabel('axes[0,0].set_xlabel') # x軸ラベル

axes[0,0].set_ylabel('axes[0,0].set_ylabel') # y軸ラベル

# 全体 fig を装飾する

fig.suptitle('fig.suptitle')

# グラフを保存する

fig.savefig('data/savefig.png')

# グラフを表示する

plt.show()

# 縦棒グラフ ax.bar

fig, axes = plt.subplots(1,2)

matplotlib.style.use('ggplot')

x = [0,1,2]

y = [2,4,5]

# x軸ラベルを任意のラベルにする

labels = ['label_0','label_1','label_2']

axes[0].bar(x, y, tick_label=labels)

plt.show()

# 横棒グラフ ax.barh

fig, axes = plt.subplots(1,2)

matplotlib.style.use('ggplot')

x = [0,1,2]

y = [2,4,5]

# x軸ラベルを任意のラベルにする

labels = ['label_0','label_1','label_2']

axes[0].barh(x, y, tick_label=labels)

plt.show()

# 縦棒グラフ２本並べる ax.bar

fig, axes = plt.subplots(1,2)

matplotlib.style.use('ggplot')

x1 = [0,1,2]

y1 = [2,4,5]

y2 = [3,5,7]

# x軸ラベルを任意のラベルにする

labels = ['label_0','label_1','label_2']

# 棒の幅を決める y1

width = 0.4

axes[0].bar(x1, y1, tick_label=labels, width=width, label='y1')

axes[0].legend(loc='best')

# 棒の幅の分をx軸の正方向にずれた位置に y2 の棒グラフを書く

x2 = [i + width for i in x1]

axes[0].bar(x2, y2, tick_label=labels, width=width, label='y2')

axes[0].legend(loc='best')

plt.show()

# 積み上げ棒グラフ

fig, axes = plt.subplots(1,2)

matplotlib.style.use('ggplot')

x = [0,1,2]

y1 = [2,4,5]

y2 = [3,5,7]

# x軸ラベルを任意のラベルにする

labels = ['label_0','label_1','label_2']

# y1とy2 を足した　y_total = y1 + y2 を作成する

y_total = [i + j for i, j in zip(y1, y2)]

# y_total の上に y2 で塗りつぶし、残りの部分を y1 と見立てる

axes[0].bar(x,y_total, tick_label=labels, label='y1')

axes[0].legend(loc='best')

axes[0].bar(x,y2, tick_label=labels, label='y2')

axes[0].legend(loc='best')

plt.show()

# 散布図

fig, ax = plt.subplots()

# ランダム値を生成

import numpy as np

np.random.seed(0)

x = np.random.randn(1000)

y = np.random.randn(1000)

# 各種マーカーを使用してみる

ax.scatter(x[0:100], y[0:100], marker='v', label='triangle down', color='red')

ax.scatter(x[100:200], y[100:200], marker='^', label='triangle up', color='blue')

ax.scatter(x[200:300], y[200:300], marker='s', label='square', color='green')

ax.scatter(x[300:400], y[300:400], marker='*', label='star', color='yellow')

ax.scatter(x[400:500], y[400:500], marker='x', label='x', color='black')

ax.scatter(x[500:600], y[500:600], marker='+', label='+', color='cyan')

plt.legend(loc='best')

<matplotlib.legend.Legend at 0x176cffce710>

# ヒストグラム

np.random.seed(1)

ave = 100

std = 15

x = np.random.normal(ave, std, 1000)

fig, ax = plt.subplots()

n, bins, patches = ax.hist(x, bins=20)

plt.show()

n # 各棒の度数

bins # 各棒の境界値

patches # 各棒の描画情報

# ヒストグラム横棒

np.random.seed(1)

ave = 100

std = 15

x = np.random.normal(ave, std, 1000)

fig, ax = plt.subplots()

n, bins, patches = ax.hist(x, bins=20, orientation='horizontal')

plt.show()

# ヒストグラムを並べる

np.random.seed(2)

# 正規分布に従うデータを３つ用意する

x0 = np.random.normal(10,10,1000)

x1 = np.random.normal(10,20,1000)

x2 = np.random.normal(10,30,1000)

# ヒストグラムを書く

fig, ax = plt.subplots()

labels = ['x0', 'x1', 'x2']

ax.hist([x0,x1,x2],label=labels)

plt.legend(loc='best')

<matplotlib.legend.Legend at 0x176bad74470>

# ヒストグラムを積み上げる

np.random.seed(2)

# 正規分布に従うデータを３つ用意する

x0 = np.random.normal(10,10,1000)

x1 = np.random.normal(10,20,1000)

x2 = np.random.normal(10,30,1000)

# ヒストグラムを書く

fig, ax = plt.subplots()

labels = ['x0', 'x1', 'x2']

ax.hist([x0,x1,x2],label=labels, stacked=True)

plt.legend(loc='best')

<matplotlib.legend.Legend at 0x176cfeeeef0>

# 箱ひげ図 .boxplot

# 正規分布に従うデータを３つ用意する

np.random.seed(0)

x0 = np.random.normal(10,10,1000)

x1 = np.random.normal(10,20,1000)

x2 = np.random.normal(10,30,1000)

fig, ax = plt.subplots()

labels = ['x0', 'x1', 'x2']

ax.boxplot([x0,x1,x2], labels=labels)

plt.show()

# 箱ひげ図.boxplot（横向き vert=False）

# 正規分布に従うデータを３つ用意する

np.random.seed(0)

x0 = np.random.normal(10,10,1000)

x1 = np.random.normal(10,20,1000)

x2 = np.random.normal(10,30,1000)

fig, ax = plt.subplots()

labels = ['x0', 'x1', 'x2']

ax.boxplot([x0,x1,x2], labels=labels, vert=False)

plt.show()

# 円グラフちょっと斜め上から

x = [3,5,7]

labels = labels = ['x0', 'x1', 'x2']

fig, ax = plt.subplots()

ax.pie(x, labels=labels)

plt.show()

# 円グラフ　真上から ax.axis('equal')

x = [3,5,7]

labels = labels = ['x0', 'x1', 'x2']

fig, ax = plt.subplots()

ax.pie(x, labels=labels )

ax.axis('equal') # 真上から

plt.show()

# 円グラフ　真上から ax.axis('equal')

# 12時(startangle=90) から時計回り(counterclock=False) で

# 影をつける shadow=True

# %を入れる autopct='%1.2f%%'

# 一部を切り離す explode

x = [3,5,7]

labels = labels = ['x0', 'x1', 'x2']

fig, ax = plt.subplots()

explode =[0,0.1,0] # ２番めのデータだけ切り離す

ax.pie(x, labels=labels, startangle=90, counterclock=False, shadow=True, autopct='%1.2f%%', explode=explode)

ax.axis('equal')

plt.show()

# グラフを組み合わせる棒グラフ-折れ線グラフ

fig, ax = plt.subplots()

x1 = [0,1,2,3]

y1 = [1,3,5,7]

x2 = [0,1,2,3]

y2 = [10,8,20,10]

ax.bar(x1, y1, label='y1') # 棒グラフ ax.bar()

ax.plot(x2, y2, label='y2') # 折れ線グラフ ax.plot()

ax.legend(loc='best')

plt.show()

# グラフを組み合わせるヒストグラム-折れ線グラフ

fig, ax = plt.subplots()

# サンプルデータを生成する

np.random.seed(0)

x = np.random.randn(1000)

# ヒストグラムを描く

counts, edges, patches = ax.hist(x, bins=30)

#中点を求める(何故かこれで求まるらしい)

x_fit = (edges[:-1] + edges[1:])/ 2

y=1000 * np.diff(edges) *np.exp(-x_fit**2 / 2)

np.sqrt(2 * np.pi)

ax.plot(x_fit, y)

plt.show()

counts

# array([ 9., 20., 70., 146., 217., 239., 160., 86., 38., 15.])

edges

# array([-3.04614305, -2.46559324, -1.88504342, -1.3044936 , -0.72394379,

# -0.14339397, 0.43715585, 1.01770566, 1.59825548, 2.1788053 ,

# 2.75935511])

array([-3.04614305, -2.46559324, -1.88504342, -1.3044936 , -0.72394379,

-0.14339397, 0.43715585, 1.01770566, 1.59825548, 2.1788053 ,

2.75935511])

edges[1:]

array([-2.46559324, -1.88504342, -1.3044936 , -0.72394379, -0.14339397,

0.43715585, 1.01770566, 1.59825548, 2.1788053 , 2.75935511])

edges[:-1]

array([-3.04614305, -2.46559324, -1.88504342, -1.3044936 , -0.72394379,

-0.14339397, 0.43715585, 1.01770566, 1.59825548, 2.1788053 ])

# スタイル

fig, ax = plt.subplots()

# 色 color=名称'red' １６進数RGB'#0000FF' RGBAをfloatで

ax.plot([0,1], [1,1], color='red')

ax.plot([0,1], [2,2], color='#0000FF')

ax.plot([0,1], [3,3], color=[0.2, 1.0, 0.2, 1.0])

plt.show()

# 色 color=名称'red' １６進数RGB'#0000FF' RGBAをfloatで

fig, ax = plt.subplots()

# 棒グラフは color と　edgecolor を設定できる

ax.bar([1], [3], color='red')

ax.bar([2], [4], color='cyan' , edgecolor='black')

plt.show()

# 線のスタイル幅linewidth ラインスタイルlinestyle

fig, ax = plt.subplots()

ax.plot([0,1], [0,0])

ax.plot([0,1], [1,1], linewidth=1 ,linestyle='--')

ax.plot([0,1], [2,2], linewidth=5 ,linestyle='-.')

ax.plot([0,1], [3,3], linewidth=10 ,linestyle=':')

plt.show()

# フォント family, size, weght

fig, ax = plt.subplots()

ax.set_title('set_title', family='fantasy', size=20, weight='bold')

ax.set_xlabel('set_xlabel', family='DejaVu Sans', size=30, weight='light')

ax.set_ylabel('set_ylabel', family='monospace', size=25, weight='heavy')

plt.show()

# フォントはまとめてディクショナリにできる

fig, ax = plt.subplots()

fontdict = {

'family': 'fantasy',

'size': 20,

'weight': 'normal',

}

ax.set_title('set_title', fontdict=fontdict, size=40)

ax.set_xlabel('set_xlabel', fontdict=fontdict)

ax.set_ylabel('set_ylabel', fontdict=fontdict)

plt.show()

# グラフにテキストを描く

fig, ax = plt.subplots()

ax.text( 0, 0, 'text', size=10)

ax.text(0.2, 0.2, 'text', size=20)

ax.text(0.5, 0.5, 'text', size=30)

ax.text(1.0, 1.0, 'text', size=40)

plt.show()

# ---- end of scripts ----

Python : pandas

どーも　Keita_Nakamori(´・ω・`)です。pandas の基本操作を一通りやりましたので、置いておきます。

pandas_for_text_of _data_science.html

pandas_for_text_of _data_science.ipynb

べた貼りです。上記のhtmlのほうが見やすいです。

In [2]:
import pandas as pd
In [3]:
# Seriesを作成する
li = [1,2,3,4,5]
ser = pd.Series(li)
ser
Out[3]:
0    1
1    2
2    3
3    4
4    5
dtype: int64
In [4]:
# DataFrameを作成する
li = [['aaa', 1, True],
      ['bbb', 2, False],
      ['ccc', 3, False]]
df = pd.DataFrame(li)
df
# 一つの列に文字列が混在すると演算できなくなるので注意
Out[4]:

0
1
2
0
aaa
1
True
1
bbb
2
False
2
ccc
3
False
In [5]:
# DataFrameを観察する
import numpy as np
import pandas as pd

df =pd.DataFrame(np.arange(100).reshape(25,4))
df.head(3) #データの頭の3行を表示する
df.tail(3) #データの尾の3行を表示する
df.shape   #(25, 4)  25行 x 4列
Out[5]:
(25, 4)
In [6]:
# DataFrameのindex とcolumns　を定義する

df = pd.DataFrame(np.arange(6).reshape(3,2))

df.index = ['001', '002', '003']
df.columns =['Value_1', 'Value_2']
df
Out[6]:

Value_1
Value_2
001
0
1
002
2
3
003
4
5
In [7]:
# index指定
df[0:2]
Out[7]:

Value_1
Value_2
001
0
1
002
2
3
In [8]:
# columns指定
df['Value_1']
Out[8]:
001    0
002    2
003    4
Name: Value_1, dtype: int32
In [9]:
# columns指定　複数の場合はリストで渡す
df[['Value_1','Value_2']]
Out[9]:

Value_1
Value_2
001
0
1
002
2
3
003
4
5
In [10]:
# ディクショナリから DataFrameを作成する
dic ={'aaa':[1,2,3,4], 'bbb':[5,6,7,8], 'c':[9,10,11,12]}
df = pd.DataFrame(dic)
df
Out[10]:

aaa
bbb
c
0
1
5
9
1
2
6
10
2
3
7
11
3
4
8
12
In [11]:
# ロケーション指定 loc , iloc 
import numpy as np
import pandas as pd

# 24行x 4列のDataFrameを生成
df = pd.DataFrame(np.arange(5*4).reshape(5,4))
df.index = ['row1', 'row2', 'row3', 'row4', 'row5']
df.columns =['A', 'B', 'C', 'D', ]
df
Out[11]:

A
B
C
D
row1
0
1
2
3
row2
4
5
6
7
row3
8
9
10
11
row4
12
13
14
15
row5
16
17
18
19
In [12]:
df.loc[:,:] # 必ず index columnsの両方を指定するので曖昧さがない
df.loc[:,'B']
Out[12]:
row1     1
row2     5
row3     9
row4    13
row5    17
Name: B, dtype: int32
In [13]:
df.loc['row3','B']
Out[13]:
9
In [14]:
df.loc[['row1', 'row2'], 'B']
Out[14]:
row1    1
row2    5
Name: B, dtype: int32
In [15]:
df.iloc[0,0] # 0
df.iloc[2:4, :]
Out[15]:

A
B
C
D
row3
8
9
10
11
row4
12
13
14
15
In [16]:
# データの読み込み
df_csv = pd.read_csv('data/sample_data.csv', encoding='utf-8', index_col=0, parse_dates=True)
df_excel = pd.read_excel('data/sample_data.xlsx', encoding='utf-8', index_col=0, parse_dates=True)
df = df_csv
In [17]:
# htmlのtableから表を抜き出す
# url = ""
# tables = pd.read_html(url)
# df_html = tables[0]
In [18]:
# データの書き込み
df.to_csv('data/write_data.csv')       # csvデータ
df.to_excel('data/write_data.xlsx')    # エクセルデータ
df.to_pickle('data/write_data.pickle') # ピクルデータ
In [19]:
# 保存したデータの読み込み
df_csv = pd.read_csv('data/sample_data.csv', encoding='utf-8')
df_pickle = pd.read_pickle('data/write_data.pickle')
In [20]:
df_pickle
Out[20]:

column_1
column_2
column_3
column_4
column_5
column_6
rows






row1
1
1.01
aaa
True
aaa
aaa
row2
2
2.01
bbb
False
bbb
bbb
row3
3
3.01
aaa
True
NaN
4.01
row4
4
4.01
bbb
False
NaN
5.01
row5
5
5.01
aaa
True
NaN
7
row6
6
6.01
bbb
False
bbb
8
row7
7
7.01
aaa
True
aaa
NaN
row8
8
8.01
bbb
False
bbb
NaN
row9
9
9.01
aaa
True
aaa
FALSE
row10
10
10.01
bbb
False
bbb
TRUE
In [21]:
# 条件抽出
df_bool = df_pickle['column_2'] >= 5
df_bool
Out[21]:
rows
row1     False
row2     False
row3     False
row4     False
row5      True
row6      True
row7      True
row8      True
row9      True
row10     True
Name: column_2, dtype: bool
In [22]:
df_selected = df_pickle[df_pickle['column_2'] > 5]
df_selected
Out[22]:

column_1
column_2
column_3
column_4
column_5
column_6
rows






row5
5
5.01
aaa
True
NaN
7
row6
6
6.01
bbb
False
bbb
8
row7
7
7.01
aaa
True
aaa
NaN
row8
8
8.01
bbb
False
bbb
NaN
row9
9
9.01
aaa
True
aaa
FALSE
row10
10
10.01
bbb
False
bbb
TRUE
In [23]:
# 条件抽出 SQLのようにqueryメソドを使用する
df_pickle.query('column_2 >= 5 and column_2 <= 9')
Out[23]:

column_1
column_2
column_3
column_4
column_5
column_6
rows






row5
5
5.01
aaa
True
NaN
7
row6
6
6.01
bbb
False
bbb
8
row7
7
7.01
aaa
True
aaa
NaN
row8
8
8.01
bbb
False
bbb
NaN
In [24]:
# 各列の型を確認する　df.dtypes
df_pickle.dtypes
Out[24]:
column_1      int64
column_2    float64
column_3     object
column_4       bool
column_5     object
column_6     object
dtype: object
In [25]:
# 型を変更する
df = df_pickle # 以後説明しやすいように名前を変更しておきます。

df.loc[:,'date'] = df.loc[:,'column_1']
df['date'] = df['date'].apply(pd.to_datetime)
df
Out[25]:

column_1
column_2
column_3
column_4
column_5
column_6
date
rows







row1
1
1.01
aaa
True
aaa
aaa
1970-01-01 00:00:00.000000001
row2
2
2.01
bbb
False
bbb
bbb
1970-01-01 00:00:00.000000002
row3
3
3.01
aaa
True
NaN
4.01
1970-01-01 00:00:00.000000003
row4
4
4.01
bbb
False
NaN
5.01
1970-01-01 00:00:00.000000004
row5
5
5.01
aaa
True
NaN
7
1970-01-01 00:00:00.000000005
row6
6
6.01
bbb
False
bbb
8
1970-01-01 00:00:00.000000006
row7
7
7.01
aaa
True
aaa
NaN
1970-01-01 00:00:00.000000007
row8
8
8.01
bbb
False
bbb
NaN
1970-01-01 00:00:00.000000008
row9
9
9.01
aaa
True
aaa
FALSE
1970-01-01 00:00:00.000000009
row10
10
10.01
bbb
False
bbb
TRUE
1970-01-01 00:00:00.000000010
In [26]:
# int から floatに型を変更する
df['float'] = df['column_1'].astype(np.float32)
df
Out[26]:

column_1
column_2
column_3
column_4
column_5
column_6
date
float
rows








row1
1
1.01
aaa
True
aaa
aaa
1970-01-01 00:00:00.000000001
1.0
row2
2
2.01
bbb
False
bbb
bbb
1970-01-01 00:00:00.000000002
2.0
row3
3
3.01
aaa
True
NaN
4.01
1970-01-01 00:00:00.000000003
3.0
row4
4
4.01
bbb
False
NaN
5.01
1970-01-01 00:00:00.000000004
4.0
row5
5
5.01
aaa
True
NaN
7
1970-01-01 00:00:00.000000005
5.0
row6
6
6.01
bbb
False
bbb
8
1970-01-01 00:00:00.000000006
6.0
row7
7
7.01
aaa
True
aaa
NaN
1970-01-01 00:00:00.000000007
7.0
row8
8
8.01
bbb
False
bbb
NaN
1970-01-01 00:00:00.000000008
8.0
row9
9
9.01
aaa
True
aaa
FALSE
1970-01-01 00:00:00.000000009
9.0
row10
10
10.01
bbb
False
bbb
TRUE
1970-01-01 00:00:00.000000010
10.0
In [27]:
# 並べ替え .sort()
df.sort_values(by = 'column_2', ascending=True)  # 昇順
df.sort_values(by = 'column_2', ascending=False) # 降順
Out[27]:

column_1
column_2
column_3
column_4
column_5
column_6
date
float
rows








row10
10
10.01
bbb
False
bbb
TRUE
1970-01-01 00:00:00.000000010
10.0
row9
9
9.01
aaa
True
aaa
FALSE
1970-01-01 00:00:00.000000009
9.0
row8
8
8.01
bbb
False
bbb
NaN
1970-01-01 00:00:00.000000008
8.0
row7
7
7.01
aaa
True
aaa
NaN
1970-01-01 00:00:00.000000007
7.0
row6
6
6.01
bbb
False
bbb
8
1970-01-01 00:00:00.000000006
6.0
row5
5
5.01
aaa
True
NaN
7
1970-01-01 00:00:00.000000005
5.0
row4
4
4.01
bbb
False
NaN
5.01
1970-01-01 00:00:00.000000004
4.0
row3
3
3.01
aaa
True
NaN
4.01
1970-01-01 00:00:00.000000003
3.0
row2
2
2.01
bbb
False
bbb
bbb
1970-01-01 00:00:00.000000002
2.0
row1
1
1.01
aaa
True
aaa
aaa
1970-01-01 00:00:00.000000001
1.0
In [28]:
# 関数を使って条件分岐する
def judge(value):
    if value >= 7:
        return 'good'
    if value >=4:
        return 'nomal'
    else:
        return 'bad'
    
df['judged'] = df['column_2'].apply(judge)    
df
Out[28]:

column_1
column_2
column_3
column_4
column_5
column_6
date
float
judged
rows









row1
1
1.01
aaa
True
aaa
aaa
1970-01-01 00:00:00.000000001
1.0
bad
row2
2
2.01
bbb
False
bbb
bbb
1970-01-01 00:00:00.000000002
2.0
bad
row3
3
3.01
aaa
True
NaN
4.01
1970-01-01 00:00:00.000000003
3.0
bad
row4
4
4.01
bbb
False
NaN
5.01
1970-01-01 00:00:00.000000004
4.0
nomal
row5
5
5.01
aaa
True
NaN
7
1970-01-01 00:00:00.000000005
5.0
nomal
row6
6
6.01
bbb
False
bbb
8
1970-01-01 00:00:00.000000006
6.0
nomal
row7
7
7.01
aaa
True
aaa
NaN
1970-01-01 00:00:00.000000007
7.0
good
row8
8
8.01
bbb
False
bbb
NaN
1970-01-01 00:00:00.000000008
8.0
good
row9
9
9.01
aaa
True
aaa
FALSE
1970-01-01 00:00:00.000000009
9.0
good
row10
10
10.01
bbb
False
bbb
TRUE
1970-01-01 00:00:00.000000010
10.0
good
In [29]:
# One-Hot エンコーディングをする
df_moved = pd.get_dummies(df['judged'], prefix='J')
df_moved
Out[29]:

J_bad
J_good
J_nomal
rows



row1
1
0
0
row2
1
0
0
row3
1
0
0
row4
0
0
1
row5
0
0
1
row6
0
0
1
row7
0
1
0
row8
0
1
0
row9
0
1
0
row10
0
1
0
In [30]:
# pickle保存しておく
pd.to_pickle(df_moved, 'data/df_moved.pickle')
In [31]:
# 時系列データの作成
dates = pd.date_range(start='2019-01-01', end='2019-1-30')
np.random.seed(0)
df =pd.DataFrame(np.random.randint(1,31,30), index=dates, columns=['rand_value'])
df.head()
Out[31]:

rand_value
2019-01-01
13
2019-01-02
16
2019-01-03
22
2019-01-04
1
2019-01-05
4
In [32]:
# 時系列データの作成２
dates = pd.date_range(start='2019-01-01', periods=365)
np.random.seed(1)
df = pd.DataFrame(np.random.randint(1, 31, 365), index=dates, columns=['rand_value'])
df.head()
Out[32]:

rand_value
2019-01-01
6
2019-01-02
12
2019-01-03
13
2019-01-04
9
2019-01-05
10
In [33]:
# 月平均を算出する .grooupby(pd.Grouper())
df.groupby(pd.Grouper(freq='M')).mean().head()
Out[33]:

rand_value
2019-01-31
14.870968
2019-02-28
15.000000
2019-03-31
15.387097
2019-04-30
15.700000
2019-05-31
14.193548
In [34]:
# 月平均を算出する２　.resample()
df['rand_value'].resample('M').mean().head()
# Serieseで返ってくる
Out[34]:
2019-01-31    14.870968
2019-02-28    15.000000
2019-03-31    15.387097
2019-04-30    15.700000
2019-05-31    14.193548
Freq: M, Name: rand_value, dtype: float64
In [35]:
# 年間の土曜日の日付データを作成する
pd.date_range(start='2019-01-01', end='2019-12-31', freq='W-SAT')
Out[35]:
DatetimeIndex(['2019-01-05', '2019-01-12', '2019-01-19', '2019-01-26',
               '2019-02-02', '2019-02-09', '2019-02-16', '2019-02-23',
               '2019-03-02', '2019-03-09', '2019-03-16', '2019-03-23',
               '2019-03-30', '2019-04-06', '2019-04-13', '2019-04-20',
               '2019-04-27', '2019-05-04', '2019-05-11', '2019-05-18',
               '2019-05-25', '2019-06-01', '2019-06-08', '2019-06-15',
               '2019-06-22', '2019-06-29', '2019-07-06', '2019-07-13',
               '2019-07-20', '2019-07-27', '2019-08-03', '2019-08-10',
               '2019-08-17', '2019-08-24', '2019-08-31', '2019-09-07',
               '2019-09-14', '2019-09-21', '2019-09-28', '2019-10-05',
               '2019-10-12', '2019-10-19', '2019-10-26', '2019-11-02',
               '2019-11-09', '2019-11-16', '2019-11-23', '2019-11-30',
               '2019-12-07', '2019-12-14', '2019-12-21', '2019-12-28'],
              dtype='datetime64[ns]', freq='W-SAT')
In [36]:
# 土曜日までの１週間単位でデータをまとめる
df_year = pd.DataFrame(df.groupby(pd.Grouper(freq='W-SAT')).sum(), columns=['rand_value'])
df_year.head()
Out[36]:

rand_value
2019-01-05
50
2019-01-12
67
2019-01-19
124
2019-01-26
127
2019-02-02
127
In [37]:
#欠損値の処理
df_nan = pd.read_pickle('data/write_data.pickle')

#欠損値の行を削除する
df_droped = df_nan.dropna()
df_droped
Out[37]:

column_1
column_2
column_3
column_4
column_5
column_6
rows






row1
1
1.01
aaa
True
aaa
aaa
row2
2
2.01
bbb
False
bbb
bbb
row6
6
6.01
bbb
False
bbb
8
row9
9
9.01
aaa
True
aaa
FALSE
row10
10
10.01
bbb
False
bbb
TRUE
In [38]:
#欠損値に0を代入して埋める
df_fillna = df_nan.fillna(0)
df_fillna
Out[38]:

column_1
column_2
column_3
column_4
column_5
column_6
rows






row1
1
1.01
aaa
True
aaa
aaa
row2
2
2.01
bbb
False
bbb
bbb
row3
3
3.01
aaa
True
0
4.01
row4
4
4.01
bbb
False
0
5.01
row5
5
5.01
aaa
True
0
7
row6
6
6.01
bbb
False
bbb
8
row7
7
7.01
aaa
True
aaa
0
row8
8
8.01
bbb
False
bbb
0
row9
9
9.01
aaa
True
aaa
FALSE
row10
10
10.01
bbb
False
bbb
TRUE
In [39]:
#欠損値を１つ手前の値で補完する
df_fill = df_nan.fillna(method='ffill')
df_fill
Out[39]:

column_1
column_2
column_3
column_4
column_5
column_6
rows






row1
1
1.01
aaa
True
aaa
aaa
row2
2
2.01
bbb
False
bbb
bbb
row3
3
3.01
aaa
True
bbb
4.01
row4
4
4.01
bbb
False
bbb
5.01
row5
5
5.01
aaa
True
bbb
7
row6
6
6.01
bbb
False
bbb
8
row7
7
7.01
aaa
True
aaa
8
row8
8
8.01
bbb
False
bbb
8
row9
9
9.01
aaa
True
aaa
FALSE
row10
10
10.01
bbb
False
bbb
TRUE
In [40]:
# データの連結
df = pd.read_pickle('data/df_sample.pickle')
df_moved = pd.read_pickle('data/df_moved.pickle')

# 列方向の連結
df_merged = pd.concat([df, df_moved], axis=1)
df_merged.head()

C:\Users\keita\AppData\Local\Continuum\anaconda3\lib\site-packages\pandas\core\indexes\api.py:107: RuntimeWarning: '<' not supported between instances of 'float' and 'str', sort order is undefined for incomparable objects
  result = result.union(other)
Out[40]:

column_2
column_3
column_4
column_5
column_6
c2*c4
jadged
judged
J_bad
J_good
J_nomal
1.0
1.01
aaa
True
aaa
aaa
1.01
bad
bad
NaN
NaN
NaN
2.0
2.01
bbb
False
bbb
bbb
0.00
bad
bad
NaN
NaN
NaN
3.0
3.01
aaa
True
NaN
4.01
3.01
bad
bad
NaN
NaN
NaN
4.0
4.01
bbb
False
NaN
5.01
0.00
nomal
nomal
NaN
NaN
NaN
5.0
5.01
aaa
True
NaN
7
5.01
nomal
nomal
NaN
NaN
NaN
In [41]:
# 行方向に連結する
df_1 = df.loc[1:2,:]
df_2 = df.loc[9:10,:]

df = pd.concat([df_1, df_2], axis=0, sort=True)
df 
Out[41]:

c2*c4
column_2
column_3
column_4
column_5
column_6
jadged
judged
float








1.0
1.01
1.01
aaa
True
aaa
aaa
bad
bad
2.0
0.00
2.01
bbb
False
bbb
bbb
bad
bad
9.0
9.01
9.01
aaa
True
aaa
FALSE
good
good
10.0
0.00
10.01
bbb
False
bbb
TRUE
good
good
In [42]:
# 基本的な統計量を算出する
np.random.seed(2)
df = pd.DataFrame(np.random.randint(0,11,100), columns=['value'])
print(df.loc[:,'value'].max(),
      df.loc[:,'value'].min(),
      df.loc[:,'value'].mode(), #最頻値
      df.loc[:,'value'].mean(),
      df.loc[:,'value'].median(),
      df.loc[:,'value'].std(ddof=0), # 母集団の標準偏差
      df.loc[:,'value'].std(ddof=1), # サンプルの標準偏差      
     )     

10 0 0    10
dtype: int32 5.55 6.0 3.1124748994971836 3.128154973039785
In [43]:
#カウント
df[df.loc[:,'value'] == 5].count()
Out[43]:
value    9
dtype: int64
In [44]:
# 要約された統計量を算出する
df.describe()
Out[44]:

value
count
100.000000
mean
5.550000
std
3.128155
min
0.000000
25%
3.000000
50%
6.000000
75%
8.000000
max
10.000000
In [45]:
# 相関係数
data = np.random.randn(300).reshape(100,3)
df = pd.DataFrame(data)
df.head()

df.corr()

from pandas.plotting import scatter_matrix
%matplotlib inline

_ = scatter_matrix(df)

 
In [46]:
# pandas.DataFrame から　numpy.arrayへの変換
df[0].values
Out[46]:
array([ 1.02210506e+00,  1.53636029e+00, -1.18854160e+00, -3.18840605e-01,
        1.95254214e-01,  1.20769783e+00,  4.17160217e-01,  1.20769557e-01,
        2.35854982e-01,  1.47630693e+00, -2.57855698e+00,  2.23092726e-01,
        5.48677242e-01,  1.29975337e-01,  1.33354447e-01, -1.63213498e+00,
        1.16837169e+00,  4.08842472e-02, -3.95195402e-01, -1.17113099e+00,
        5.57721015e-01,  2.10202473e-02,  1.96504656e-01,  6.38925860e-01,
       -3.77376397e-02,  9.26374048e-03, -4.32477714e-02,  8.19477959e-01,
       -2.74608267e-01, -1.11840069e+00,  1.02868791e+00, -9.17827897e-02,
        1.00139308e+00,  1.36927887e+00, -3.32376106e-01, -8.98514459e-01,
        6.60488981e-01,  1.30103340e+00,  5.00463181e-01, -3.79377283e-01,
       -5.18945829e-01,  9.09490540e-01, -1.08860575e+00, -2.81766922e-01,
       -8.00976861e-01,  1.37357822e+00, -1.28768987e+00, -9.37719104e-01,
       -7.47252631e-01, -5.76454194e-01, -1.41699281e+00, -1.36057075e-01,
       -8.81027234e-01, -1.77330774e+00,  3.31707535e-02, -1.04990183e-01,
       -1.71142690e+00, -9.12673226e-01, -1.08172822e+00,  1.99335230e+00,
       -3.86961106e-01, -2.09225941e-01, -4.27889084e-01,  6.06603798e-01,
       -3.36370275e-01,  1.80052517e+00,  8.33292653e-01,  1.33480770e+00,
       -1.44644975e+00,  6.66240193e-01, -1.64386955e+00,  6.11191152e-01,
        4.77865842e-01,  9.18109263e-01, -7.38847589e-01,  1.57718123e+00,
        8.67298665e-01, -2.42036059e-01, -3.21914568e-01,  1.01525122e+00,
       -5.69088895e-01,  8.48138843e-01, -2.13080187e-02,  1.73029626e+00,
        3.23823588e-01,  1.20917022e+00, -8.33636664e-01, -1.29003470e+00,
       -3.13110100e-01,  3.57341451e-01, -4.10464725e-01, -1.84265262e-03,
       -6.61755432e-01, -6.22129678e-01, -8.87283517e-01,  1.16993295e+00,
        3.32767248e-01, -4.41954269e-01,  4.31653084e-01, -1.20600785e+00])
In [ ]:
# ---- end of sript ----

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280

281

282

283

284

285

286

287

288

289

290

291

292

293

294

295

296

297

298

299

300

301

302

303

304

305

306

307

308

309

310

311

312

313

314

315

316

317

318

319

320

321

322

323

324

325

326

327

328

329

330

331

332

333

334

335

336

337

338

339

340

341

342

343

344

345

346

347

348

349

350

351

352

353

354

355

356

357

358

359

360

361

362

363

364

365

366

367

368

369

370

371

372

373

374

375

376

377

378

379

380

381

382

383

384

385

386

387

388

389

390

391

392

393

394

395

396

397

398

399

400

401

402

403

404

405

406

407

408

409

410

411

412

413

414

415

416

417

418

419

420

421

422

423

424

425

426

427

428

429

430

431

432

433

434

435

436

437

438

439

440

441

442

443

444

445

446

447

448

449

450

451

452

453

454

455

456

457

458

459

460

461

462

463

464

465

466

467

468

469

470

471

472

473

474

475

476

477

478

479

480

481

482

483

484

485

486

487

488

489

490

491

492

493

494

495

496

497

498

499

500

501

502

503

504

505

506

507

508

509

510

511

512

513

514

515

516

517

518

519

520

521

522

523

524

525

526

527

528

529

530

531

532

533

534

535

536

537

538

539

540

541

542

543

544

545

546

547

548

549

550

551

552

553

554

555

556

557

558

559

560

561

562

563

564

565

566

567

568

569

570

571

572

573

574

575

576

577

578

579

580

581

582

583

584

585

586

587

588

589

590

591

592

593

594

595

596

597

598

599

600

601

602

603

604

605

606

607

608

609

610

611

612

613

614

615

616

617

618

619

620

621

622

623

624

625

626

627

628

629

630

631

632

633

634

635

636

637

638

639

640

641

642

643

644

645

646

647

648

649

650

651

652

653

654

655

656

657

658

659

660

661

662

663

664

665

666

667

668

669

670

671

672

673

674

675

676

677

678

679

680

681

682

683

684

685

686

687

688

689

690

691

692

693

694

695

696

697

698

699

700

701

702

703

704

705

706

707

708

709

710

711

712

713

714

715

716

717

718

719

720

721

722

723

724

725

726

727

728

729

730

731

732

733

734

735

736

737

738

739

740

741

742

743

744

745

746

747

748

749

750

751

752

753

754

755

756

757

758

759

760

761

762

763

764

765

766

767

768

769

770

771

772

773

774

775

776

777

778

779

780

781

782

783

784

785

786

787

788

789

790

791

792

793

794

795

796

797

798

799

800

801

802

803

804

805

806

807

808

809

810

811

812

813

814

815

816

817

818

819

820

821

822

823

824

825

826

827

828

829

830

831

832

833

834

835

836

837

838

839

840

841

842

843

844

845

846

847

848

849

850

851

852

853

854

855

856

857

858

859

860

861

862

863

864

865

866

867

868

869

870

871

872

873

874

875

876

877

878

879

880

881

882

883

884

885

886

887

888

889

890

891

892

893

894

895

896

897

898

899

900

901

902

903

904

905

906

907

908

909

910

911

912

913

914

915

916

917

918

919

920

921

922

923

924

925

926

927

928

929

930

931

932

933

934

935

936

937

938

939

940

941

942

943

944

945

946

947

948

949

950

951

952

953

954

955

956

957

958

959

960

961

962

963

964

965

966

967

968

969

970

971

972

973

974

975

976

977

978

979

980

981

982

983

984

985

986

987

988

989

990

991

992

993

994

995

996

997

998

999

1000

1001

1002

1003

1004

1005

1006

1007

1008

1009

1010

1011

1012

1013

1014

1015

1016

1017

1018

1019

1020

1021

1022

1023

1024

1025

1026

1027

1028

1029

1030

1031

1032

1033

1034

1035

1036

1037

1038

1039

1040

1041

1042

1043

1044

1045

1046

1047

1048

1049

1050

1051

1052

1053

1054

1055

1056

1057

1058

1059

1060

1061

1062

1063

1064

1065

1066

1067

1068

1069

1070

1071

1072

1073

1074

1075

1076

1077

1078

1079

1080

1081

1082

1083

1084

1085

1086

1087

1088

1089

1090

1091

1092

1093

1094

1095

1096

1097

1098

1099

1100

1101

1102

1103

1104

1105

1106

1107

1108

1109

1110

1111

1112

1113

1114

1115

1116

1117

1118

1119

1120

1121

1122

1123

1124

1125

1126

1127

1128

1129

1130

1131

1132

1133

1134

1135

1136

1137

1138

1139

1140

1141

1142

1143

1144

1145

1146

1147

1148

1149

1150

1151

1152

1153

1154

1155

1156

1157

1158

1159

1160

1161

1162

1163

1164

1165

1166

1167

1168

1169

1170

1171

1172

1173

1174

1175

1176

1177

1178

1179

1180

1181

1182

1183

1184

1185

1186

1187

1188

1189

1190

1191

1192

1193

1194

1195

1196

1197

1198

1199

1200

1201

1202

1203

1204

1205

1206

1207

1208

1209

1210

1211

1212

1213

1214

1215

1216

1217

1218

1219

1220

1221

1222

1223

1224

1225

1226

1227

1228

1229

1230

1231

1232

1233

1234

1235

1236

1237

1238

1239

1240

1241

1242

1243

1244

1245

1246

1247

1248

1249

1250

1251

1252

1253

1254

1255

1256

1257

1258

1259

1260

1261

1262

1263

1264

1265

1266

1267

1268

1269

1270

1271

1272

1273

1274

1275

1276

1277

1278

1279

1280

1281

1282

1283

1284

1285

1286

1287

1288

1289

1290

1291

1292

1293

1294

1295

1296

1297

1298

1299

1300

1301

1302

1303

1304

1305

1306

1307

1308

1309

1310

1311

1312

1313

1314

1315

1316

1317

1318

1319

1320

1321

1322

1323

1324

1325

1326

1327

1328

1329

1330

1331

1332

1333

1334

1335

1336

1337

1338

1339

1340

1341

1342

1343

1344

1345

1346

1347

1348

1349

1350

1351

1352

1353

1354

1355

1356

1357

1358

1359

1360

1361

1362

1363

1364

1365

1366

1367

1368

1369

1370

1371

1372

1373

1374

1375

1376

1377

1378

1379

1380

1381

1382

1383

1384

1385

1386

1387

1388

1389

1390

1391

1392

1393

1394

1395

1396

1397

1398

1399

1400

1401

1402

1403

1404

1405

1406

1407

1408

1409

1410

1411

1412

1413

1414

1415

1416

1417

1418

1419

1420

1421

1422

1423

1424

1425

1426

1427

1428

1429

1430

1431

1432

1433

1434

1435

1436

1437

1438

1439

1440

1441

1442

1443

1444

1445

1446

1447

1448

1449

1450

1451

1452

1453

1454

1455

1456

1457

1458

1459

1460

1461

1462

1463

1464

1465

1466

1467

1468

1469

1470

1471

1472

1473

1474

1475

1476

1477

1478

1479

1480

1481

1482

1483

1484

1485

1486

1487

1488

1489

1490

1491

1492

1493

1494

1495

1496

1497

1498

1499

1500

1501

1502

1503

1504

1505

1506

1507

1508

1509

1510

1511

1512

1513

1514

1515

1516

1517

1518

1519

1520

1521

1522

1523

1524

1525

1526

1527

1528

1529

1530

1531

1532

1533

1534

1535

1536

1537

1538

1539

1540

1541

1542

1543

In [2]:

import pandas as pd

In [3]:

# Seriesを作成する

li = [1,2,3,4,5]

ser = pd.Series(li)

ser

Out[3]:

0 1

1 2

2 3

3 4

4 5

dtype: int64

In [4]:

# DataFrameを作成する

li = [['aaa', 1, True],

['bbb', 2, False],

['ccc', 3, False]]

df = pd.DataFrame(li)

# 一つの列に文字列が混在すると演算できなくなるので注意

Out[4]:

aaa

True

bbb

False

ccc

False

In [5]:

# DataFrameを観察する

import numpy as np

import pandas as pd

df =pd.DataFrame(np.arange(100).reshape(25,4))

df.head(3) #データの頭の3行を表示する

df.tail(3) #データの尾の3行を表示する

df.shape #(25, 4) 25行 x 4列

Out[5]:

(25, 4)

In [6]:

# DataFrameのindex とcolumns　を定義する

df = pd.DataFrame(np.arange(6).reshape(3,2))

df.index = ['001', '002', '003']

df.columns =['Value_1', 'Value_2']

Out[6]:

Value_1

Value_2

001

002

003

In [7]:

# index指定

df[0:2]

Out[7]:

Value_1

Value_2

001

002

In [8]:

# columns指定

df['Value_1']

Out[8]:

001 0

002 2

003 4

Name: Value_1, dtype: int32

In [9]:

# columns指定　複数の場合はリストで渡す

df[['Value_1','Value_2']]

Out[9]:

Value_1

Value_2

001

002

003

In [10]:

# ディクショナリから DataFrameを作成する

dic ={'aaa':[1,2,3,4], 'bbb':[5,6,7,8], 'c':[9,10,11,12]}

df = pd.DataFrame(dic)

Out[10]:

aaa

bbb

In [11]:

# ロケーション指定 loc , iloc

import numpy as np

import pandas as pd

# 24行x 4列のDataFrameを生成

df = pd.DataFrame(np.arange(5*4).reshape(5,4))

df.index = ['row1', 'row2', 'row3', 'row4', 'row5']

df.columns =['A', 'B', 'C', 'D', ]

Out[11]:

row1

row2

row3

row4

row5

In [12]:

df.loc[:,:] # 必ず index columnsの両方を指定するので曖昧さがない

df.loc[:,'B']

Out[12]:

row1 1

row2 5

row3 9

row4 13

row5 17

Name: B, dtype: int32

In [13]:

df.loc['row3','B']

Out[13]:

In [14]:

df.loc[['row1', 'row2'], 'B']

Out[14]:

row1 1

row2 5

Name: B, dtype: int32

In [15]:

df.iloc[0,0] # 0

df.iloc[2:4, :]

Out[15]:

row3

row4

In [16]:

# データの読み込み

df_csv = pd.read_csv('data/sample_data.csv', encoding='utf-8', index_col=0, parse_dates=True)

df_excel = pd.read_excel('data/sample_data.xlsx', encoding='utf-8', index_col=0, parse_dates=True)

df = df_csv

In [17]:

# htmlのtableから表を抜き出す

# url = ""

# tables = pd.read_html(url)

# df_html = tables[0]

In [18]:

# データの書き込み

df.to_csv('data/write_data.csv') # csvデータ

df.to_excel('data/write_data.xlsx') # エクセルデータ

df.to_pickle('data/write_data.pickle') # ピクルデータ

In [19]:

# 保存したデータの読み込み

df_csv = pd.read_csv('data/sample_data.csv', encoding='utf-8')

df_pickle = pd.read_pickle('data/write_data.pickle')

In [20]:

df_pickle

Out[20]:

column_1

column_2

column_3

column_4

column_5

column_6

rows

row1

1.01

aaa

True

aaa

row2

2.01

bbb

False

bbb

row3

3.01

aaa

True

NaN

4.01

row4

4.01

bbb

False

NaN

5.01

row5

5.01

aaa

True

NaN

row6

6.01

bbb

False

bbb

row7

7.01

aaa

True

aaa

NaN

row8

8.01

bbb

False

bbb

NaN

row9

9.01

aaa

True

aaa

FALSE

row10

10.01

bbb

False

bbb

TRUE

In [21]:

# 条件抽出

df_bool = df_pickle['column_2'] >= 5

df_bool

Out[21]:

rows

row1 False

row2 False

row3 False

row4 False

row5 True

row6 True

row7 True

row8 True

row9 True

row10 True

Name: column_2, dtype: bool

In [22]:

df_selected = df_pickle[df_pickle['column_2'] > 5]

df_selected

Out[22]:

column_1

column_2

column_3

column_4

column_5

column_6

rows

row5

5.01

aaa

True

NaN

row6

6.01

bbb

False

bbb

row7

7.01

aaa

True

aaa

NaN

row8

8.01

bbb

False

bbb

NaN

row9

9.01

aaa

True

aaa

FALSE

row10

10.01

bbb

False

bbb

TRUE

In [23]:

# 条件抽出 SQLのようにqueryメソドを使用する

df_pickle.query('column_2 >= 5 and column_2 <= 9')

Out[23]:

column_1

column_2

column_3

column_4

column_5

column_6

rows

row5

5.01

aaa

True

NaN

row6

6.01

bbb

False

bbb

row7

7.01

aaa

True

aaa

NaN

row8

8.01

bbb

False

bbb

NaN

In [24]:

# 各列の型を確認する　df.dtypes

df_pickle.dtypes

Out[24]:

column_1 int64

column_2 float64

column_3 object

column_4 bool

column_5 object

column_6 object

dtype: object

In [25]:

# 型を変更する

df = df_pickle # 以後説明しやすいように名前を変更しておきます。

df.loc[:,'date'] = df.loc[:,'column_1']

df['date'] = df['date'].apply(pd.to_datetime)

Out[25]:

column_1

column_2

column_3

column_4

column_5

column_6

date

rows

row1

1.01

aaa

True

aaa

1970-01-01 00:00:00.000000001

row2

2.01

bbb

False

bbb

1970-01-01 00:00:00.000000002

row3

3.01

aaa

True

NaN

4.01

1970-01-01 00:00:00.000000003

row4

4.01

bbb

False

NaN

5.01

1970-01-01 00:00:00.000000004

row5

5.01

aaa

True

NaN

1970-01-01 00:00:00.000000005

row6

6.01

bbb

False

bbb

1970-01-01 00:00:00.000000006

row7

7.01

aaa

True

aaa

NaN

1970-01-01 00:00:00.000000007

row8

8.01

bbb

False

bbb

NaN

1970-01-01 00:00:00.000000008

row9

9.01

aaa

True

aaa

FALSE

1970-01-01 00:00:00.000000009

row10

10.01

bbb

False

bbb

TRUE

1970-01-01 00:00:00.000000010

In [26]:

# int から floatに型を変更する

df['float'] = df['column_1'].astype(np.float32)

Out[26]:

column_1

column_2

column_3

column_4

column_5

column_6

date

float

rows

row1

1.01

aaa

True

aaa

1970-01-01 00:00:00.000000001

1.0

row2

2.01

bbb

False

bbb

1970-01-01 00:00:00.000000002

2.0

row3

3.01

aaa

True

NaN

4.01

1970-01-01 00:00:00.000000003

3.0

row4

4.01

bbb

False

NaN

5.01

1970-01-01 00:00:00.000000004

4.0

row5

5.01

aaa

True

NaN

1970-01-01 00:00:00.000000005

5.0

row6

6.01

bbb

False

bbb

1970-01-01 00:00:00.000000006

6.0

row7

7.01

aaa

True

aaa

NaN

1970-01-01 00:00:00.000000007

7.0

row8

8.01

bbb

False

bbb

NaN

1970-01-01 00:00:00.000000008

8.0

row9

9.01

aaa

True

aaa

FALSE

1970-01-01 00:00:00.000000009

9.0

row10

10.01

bbb

False

bbb

TRUE

1970-01-01 00:00:00.000000010

10.0

In [27]:

# 並べ替え .sort()

df.sort_values(by = 'column_2', ascending=True) # 昇順

df.sort_values(by = 'column_2', ascending=False) # 降順

Out[27]:

column_1

column_2

column_3

column_4

column_5

column_6

date

float

rows

row10

10.01

bbb

False

bbb

TRUE

1970-01-01 00:00:00.000000010

10.0

row9

9.01

aaa

True

aaa

FALSE

1970-01-01 00:00:00.000000009

9.0

row8

8.01

bbb

False

bbb

NaN

1970-01-01 00:00:00.000000008

8.0

row7

7.01

aaa

True

aaa

NaN

1970-01-01 00:00:00.000000007

7.0

row6

6.01

bbb

False

bbb

1970-01-01 00:00:00.000000006

6.0

row5

5.01

aaa

True

NaN

1970-01-01 00:00:00.000000005

5.0

row4

4.01

bbb

False

NaN

5.01

1970-01-01 00:00:00.000000004

4.0

row3

3.01

aaa

True

NaN

4.01

1970-01-01 00:00:00.000000003

3.0

row2

2.01

bbb

False

bbb

1970-01-01 00:00:00.000000002

2.0

row1

1.01

aaa

True

aaa

1970-01-01 00:00:00.000000001

1.0

In [28]:

# 関数を使って条件分岐する

def judge(value):

if value >= 7:

return 'good'

if value >=4:

return 'nomal'

else:

return 'bad'

df['judged'] = df['column_2'].apply(judge)

Out[28]:

column_1

column_2

column_3

column_4

column_5

column_6

date

float

judged

rows

row1

1.01

aaa

True

aaa

1970-01-01 00:00:00.000000001

1.0

bad

row2

2.01

bbb

False

bbb

1970-01-01 00:00:00.000000002

2.0

bad

row3

3.01

aaa

True

NaN

4.01

1970-01-01 00:00:00.000000003

3.0

bad

row4

4.01

bbb

False

NaN

5.01

1970-01-01 00:00:00.000000004

4.0

nomal

row5

5.01

aaa

True

NaN

1970-01-01 00:00:00.000000005

5.0

nomal

row6

6.01

bbb

False

bbb

1970-01-01 00:00:00.000000006

6.0

nomal

row7

7.01

aaa

True

aaa

NaN

1970-01-01 00:00:00.000000007

7.0

good

row8

8.01

bbb

False

bbb

NaN

1970-01-01 00:00:00.000000008

8.0

good

row9

9.01

aaa

True

aaa

FALSE

1970-01-01 00:00:00.000000009

9.0

good

row10

10.01

bbb

False

bbb

TRUE

1970-01-01 00:00:00.000000010

10.0

good

In [29]:

# One-Hot エンコーディングをする

df_moved = pd.get_dummies(df['judged'], prefix='J')

df_moved

Out[29]:

J_bad

J_good

J_nomal

rows

row1

row2

row3

row4

row5

row6

row7

row8

row9

row10

In [30]:

# pickle保存しておく

pd.to_pickle(df_moved, 'data/df_moved.pickle')

In [31]:

# 時系列データの作成

dates = pd.date_range(start='2019-01-01', end='2019-1-30')

np.random.seed(0)

df =pd.DataFrame(np.random.randint(1,31,30), index=dates, columns=['rand_value'])

df.head()

Out[31]:

rand_value

2019-01-01

2019-01-02

2019-01-03

2019-01-04

2019-01-05

In [32]:

# 時系列データの作成２

dates = pd.date_range(start='2019-01-01', periods=365)

np.random.seed(1)

df = pd.DataFrame(np.random.randint(1, 31, 365), index=dates, columns=['rand_value'])

df.head()

Out[32]:

rand_value

2019-01-01

2019-01-02

2019-01-03

2019-01-04

2019-01-05

In [33]:

# 月平均を算出する .grooupby(pd.Grouper())

df.groupby(pd.Grouper(freq='M')).mean().head()

Out[33]:

rand_value

2019-01-31

14.870968

2019-02-28

15.000000

2019-03-31

15.387097

2019-04-30

15.700000

2019-05-31

14.193548

In [34]:

# 月平均を算出する２　.resample()

df['rand_value'].resample('M').mean().head()

# Serieseで返ってくる

Out[34]:

2019-01-31 14.870968

2019-02-28 15.000000

2019-03-31 15.387097

2019-04-30 15.700000

2019-05-31 14.193548

Freq: M, Name: rand_value, dtype: float64

In [35]:

# 年間の土曜日の日付データを作成する

pd.date_range(start='2019-01-01', end='2019-12-31', freq='W-SAT')

Out[35]:

DatetimeIndex(['2019-01-05', '2019-01-12', '2019-01-19', '2019-01-26',

'2019-02-02', '2019-02-09', '2019-02-16', '2019-02-23',

'2019-03-02', '2019-03-09', '2019-03-16', '2019-03-23',

'2019-03-30', '2019-04-06', '2019-04-13', '2019-04-20',

'2019-04-27', '2019-05-04', '2019-05-11', '2019-05-18',

'2019-05-25', '2019-06-01', '2019-06-08', '2019-06-15',

'2019-06-22', '2019-06-29', '2019-07-06', '2019-07-13',

'2019-07-20', '2019-07-27', '2019-08-03', '2019-08-10',

'2019-08-17', '2019-08-24', '2019-08-31', '2019-09-07',

'2019-09-14', '2019-09-21', '2019-09-28', '2019-10-05',

'2019-10-12', '2019-10-19', '2019-10-26', '2019-11-02',

'2019-11-09', '2019-11-16', '2019-11-23', '2019-11-30',

'2019-12-07', '2019-12-14', '2019-12-21', '2019-12-28'],

dtype='datetime64[ns]', freq='W-SAT')

In [36]:

# 土曜日までの１週間単位でデータをまとめる

df_year = pd.DataFrame(df.groupby(pd.Grouper(freq='W-SAT')).sum(), columns=['rand_value'])

df_year.head()

Out[36]:

rand_value

2019-01-05

2019-01-12

2019-01-19

124

2019-01-26

127

2019-02-02

127

In [37]:

#欠損値の処理

df_nan = pd.read_pickle('data/write_data.pickle')

#欠損値の行を削除する

df_droped = df_nan.dropna()

df_droped

Out[37]:

column_1

column_2

column_3

column_4

column_5

column_6

rows

row1

1.01

aaa

True

aaa

row2

2.01

bbb

False

bbb

row6

6.01

bbb

False

bbb

row9

9.01

aaa

True

aaa

FALSE

row10

10.01

bbb

False

bbb

TRUE

In [38]:

#欠損値に0を代入して埋める

df_fillna = df_nan.fillna(0)

df_fillna

Out[38]:

column_1

column_2

column_3

column_4

column_5

column_6

rows

row1

1.01

aaa

True

aaa

row2

2.01

bbb

False

bbb

row3

3.01

aaa

True

4.01

row4

4.01

bbb

False

5.01

row5

5.01

aaa

True

row6

6.01

bbb

False

bbb

row7

7.01

aaa

True

aaa

row8

8.01

bbb

False

bbb

row9

9.01

aaa

True

aaa

FALSE

row10

10.01

bbb

False

bbb

TRUE

In [39]:

#欠損値を１つ手前の値で補完する

df_fill = df_nan.fillna(method='ffill')

df_fill

Out[39]:

column_1

column_2

column_3

column_4

column_5

column_6

rows

row1

1.01

aaa

True

aaa

row2

2.01

bbb

False

bbb

row3

3.01

aaa

True

bbb

4.01

row4

4.01

bbb

False

bbb

5.01

row5

5.01

aaa

True

bbb

row6

6.01

bbb

False

bbb

row7

7.01

aaa

True

aaa

row8

8.01

bbb

False

bbb

row9

9.01

aaa

True

aaa

FALSE

row10

10.01

bbb

False

bbb

TRUE

In [40]:

# データの連結

df = pd.read_pickle('data/df_sample.pickle')

df_moved = pd.read_pickle('data/df_moved.pickle')

# 列方向の連結

df_merged = pd.concat([df, df_moved], axis=1)

df_merged.head()

C:\Users\keita\AppData\Local\Continuum\anaconda3\lib\site-packages\pandas\core\indexes\api.py:107: RuntimeWarning: '<' not supported between instances of 'float' and 'str', sort order is undefined for incomparable objects

result = result.union(other)

Out[40]:

column_2

column_3

column_4

column_5

column_6

c2*c4

jadged

judged

J_bad

J_good

J_nomal

1.0

1.01

aaa

True

aaa

1.01

bad

NaN

2.0

2.01

bbb

False

bbb

0.00

bad

NaN

3.0

3.01

aaa

True

NaN

4.01

3.01

bad

NaN

4.0

4.01

bbb

False

NaN

5.01

0.00

nomal

NaN

5.0

5.01

aaa

True

NaN

5.01

nomal

NaN

In [41]:

# 行方向に連結する

df_1 = df.loc[1:2,:]

df_2 = df.loc[9:10,:]

df = pd.concat([df_1, df_2], axis=0, sort=True)

Out[41]:

c2*c4

column_2

column_3

column_4

column_5

column_6

jadged

judged

float

1.0

1.01

aaa

True

aaa

bad

2.0

0.00

2.01

bbb

False

bbb

bad

9.0

9.01

aaa

True

aaa

FALSE

good

10.0

0.00

10.01

bbb

False

bbb

TRUE

good

In [42]:

# 基本的な統計量を算出する

np.random.seed(2)

df = pd.DataFrame(np.random.randint(0,11,100), columns=['value'])

print(df.loc[:,'value'].max(),

df.loc[:,'value'].min(),

df.loc[:,'value'].mode(), #最頻値

df.loc[:,'value'].mean(),

df.loc[:,'value'].median(),

df.loc[:,'value'].std(ddof=0), # 母集団の標準偏差

df.loc[:,'value'].std(ddof=1), # サンプルの標準偏差

)

10 0 0 10

dtype: int32 5.55 6.0 3.1124748994971836 3.128154973039785

In [43]:

#カウント

df[df.loc[:,'value'] == 5].count()

Out[43]:

value 9

dtype: int64

In [44]:

# 要約された統計量を算出する

df.describe()

Out[44]:

value

count

100.000000

mean

5.550000

std

3.128155

min

0.000000

25%

3.000000

50%

6.000000

75%

8.000000

max

10.000000

In [45]:

# 相関係数

data = np.random.randn(300).reshape(100,3)

df = pd.DataFrame(data)

df.head()

df.corr()

from pandas.plotting import scatter_matrix

%matplotlib inline

_ = scatter_matrix(df)

In [46]:

# pandas.DataFrame から　numpy.arrayへの変換

df[0].values

Out[46]:

array([ 1.02210506e+00, 1.53636029e+00, -1.18854160e+00, -3.18840605e-01,

1.95254214e-01, 1.20769783e+00, 4.17160217e-01, 1.20769557e-01,

2.35854982e-01, 1.47630693e+00, -2.57855698e+00, 2.23092726e-01,

5.48677242e-01, 1.29975337e-01, 1.33354447e-01, -1.63213498e+00,

1.16837169e+00, 4.08842472e-02, -3.95195402e-01, -1.17113099e+00,

5.57721015e-01, 2.10202473e-02, 1.96504656e-01, 6.38925860e-01,

-3.77376397e-02, 9.26374048e-03, -4.32477714e-02, 8.19477959e-01,

-2.74608267e-01, -1.11840069e+00, 1.02868791e+00, -9.17827897e-02,

1.00139308e+00, 1.36927887e+00, -3.32376106e-01, -8.98514459e-01,

6.60488981e-01, 1.30103340e+00, 5.00463181e-01, -3.79377283e-01,

-5.18945829e-01, 9.09490540e-01, -1.08860575e+00, -2.81766922e-01,

-8.00976861e-01, 1.37357822e+00, -1.28768987e+00, -9.37719104e-01,

-7.47252631e-01, -5.76454194e-01, -1.41699281e+00, -1.36057075e-01,

-8.81027234e-01, -1.77330774e+00, 3.31707535e-02, -1.04990183e-01,

-1.71142690e+00, -9.12673226e-01, -1.08172822e+00, 1.99335230e+00,

-3.86961106e-01, -2.09225941e-01, -4.27889084e-01, 6.06603798e-01,

-3.36370275e-01, 1.80052517e+00, 8.33292653e-01, 1.33480770e+00,

-1.44644975e+00, 6.66240193e-01, -1.64386955e+00, 6.11191152e-01,

4.77865842e-01, 9.18109263e-01, -7.38847589e-01, 1.57718123e+00,

8.67298665e-01, -2.42036059e-01, -3.21914568e-01, 1.01525122e+00,

-5.69088895e-01, 8.48138843e-01, -2.13080187e-02, 1.73029626e+00,

3.23823588e-01, 1.20917022e+00, -8.33636664e-01, -1.29003470e+00,

-3.13110100e-01, 3.57341451e-01, -4.10464725e-01, -1.84265262e-03,

-6.61755432e-01, -6.22129678e-01, -8.87283517e-01, 1.16993295e+00,

3.32767248e-01, -4.41954269e-01, 4.31653084e-01, -1.20600785e+00])

In [ ]:

# ---- end of sript ----

Python : numpy

どーもこんにちは、Keita_Nakamoriです(´・ω・`)

Pythonを色々やってきた中で、何かしらマイルストーン的なものがほしいと思い

Python 3 エンジニア認定データ分析試験

なるものを受けてみようと思っております。

データ分析というからには、numpy , pandas, matplotlib, scikit-learn くらいは出るんだろうなあと漠然と考えていますが、今日はnumpyを学習したので、備忘録に貼っておきます。

numpy_text_for_data_analisys_with_Python.html

numpy_text_for_data_analisys_with_Python.zip

# Text for Data_Analisys with Python
import numpy as np

# １次元配列

li = [1,2,3,4,5]   # [1,2,3,4,5]
arr = np.array(li) # array([1, 2, 3, 4, 5]

type(arr)            # numpy.ndarray
arr.shape          #(5,)
(5,)
#２次元配列

li = [[1,2,3,4],[5,6,7,8]] # [[1, 2, 3, 4], [5, 6, 7, 8]]
arr = np.array(li)
    #array([[1, 2, 3, 4],
    #       [5, 6, 7, 8]])
    
arr.shape  # (2, 4) ２行４列
(2, 4)
# 変形　reshape

li = [1,2,3,4,5,6]
arr = np.array(li)

arr = arr.reshape(2,3) # ２行３列に変形
    #array([[1, 2, 3],
    #       [4, 5, 6]])
    
arr = arr.ravel() # "浅いコピー"で１次元配列にする
    # array([1, 2, 3, 4, 5, 6])
    
arr = arr.reshape(2,3) # 再び２行３列に変形
    #array([[1, 2, 3],
    #       [4, 5, 6]])
    
arr = arr.flatten() # "浅いコピー"で１次元配列にする
    # array([1, 2, 3, 4, 5, 6])

"""補足
np.reshape(引数)はタプルで与えても同じ。
arr.reshape((2,3))
"""
'補足\nnp.reshape(引数)はタプルで与えても同じ。\narr.reshape((2,3))\n'
li = [1,2,3,4,5,6]

# リストのスライスは深いコピー
li_deep = li[:]

# リストの代入は浅いコピー
li_shallow =li

#確認
li_deep[3]=100
li_deep     # [1, 2, 3, 100, 5, 6]

li         #[1, 2, 3, 4, 5, 6] 

li_shallow[4] = 200
li_shallow # [1, 2, 3, 4, 200, 6]
li         # [1, 2, 3, 4, 200, 6] #元リストにも影響あり

"""深いコピーをするときは
スライスをするとよい。li2 = li[:]

正統な方法としては、li2=li.copy()
がある。
"""
'深いコピーをするときは\nスライスをするとよい。li2 = li[:]\n\n正統な方法としては、li2=li.copy()\nがある。\n'
li = [1,2,3,4,5,6]
arr = np.array(li)

# np.array() のスライスは浅いコピー
arr_shallow = arr[:]
arr_shallow # array([1, 2, 3, 4, 5, 6])

# 確認
arr_shallow[3] = 300
arr_shallow # array([  1,   2,   3, 300,   5,   6])
arr         # array([  1,   2,   3, 300,   5,   6])

"""深いコピーするときは
li.copy()と同様に
arr.copy()をすればよい。
"""

li = [1,2,3,4,5,6]
arr = np.array(li)
arr_deep = arr.copy()
arr_deep[1] = 500
arr_deep # array([  1, 500,   3,   4,   5,   6])
arr      #array([1, 2, 3, 4, 5, 6])

"""
リストと　np.arrayの共通項を考慮すれば
深いコピーをするときは
li.copy()   arr.copy()
を使用すれば良い。
"""
'\nリストと\u3000np.arrayの共通項を考慮すれば\n深いコピーをするときは\nli.copy()   arr.copy()\nを使用すれば良い。\n'
# 数列を作成
np.arange(10)
# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

np.arange(3,10,2)
# array([3, 5, 7, 9])

np.arange
<function numpy.core.multiarray.arange>
# ====    乱数生成    ====

# 乱数 0 to 1 一様分布
np.random.seed(0)       #乱数シードの固定　シード番号0と定義
arr = np.random.random((3,2)) #３行２列　タプルで入れる
# array([[0.5488135 , 0.71518937],
#        [0.60276338, 0.54488318],
#        [0.4236548 , 0.64589411]])
# 乱数 0 to 1 一様分布
np.random.seed(1)
np.random.rand(3,2) # random.randomと違ってタプルにしなくていい。
# array([[4.17022005e-01, 7.20324493e-01],
#        [1.14374817e-04, 3.02332573e-01],
#        [1.46755891e-01, 9.23385948e-02]])
array([[4.17022005e-01, 7.20324493e-01],
       [1.14374817e-04, 3.02332573e-01],
       [1.46755891e-01, 9.23385948e-02]])
# 乱数　整数の一様分布
np.random.seed(2)
np.random.randint(10) # 8
np.random.randint(0,10,(3,5))
# array([[8, 6, 2, 8, 7],
#        [2, 1, 5, 4, 4],
#        [5, 7, 3, 6, 4]])
array([[8, 6, 2, 8, 7],
       [2, 1, 5, 4, 4],
       [5, 7, 3, 6, 4]])
# 乱数  0.0以上　5,0未満の一様分布
np.random.seed(3)
np.random.uniform(0.0, 5.0, size=(2,3))

# array([[2.75398951, 3.54073911, 1.45452369],
#        [2.55413803, 4.46473477, 4.48146544]])
array([[2.75398951, 3.54073911, 1.45452369],
       [2.55413803, 4.46473477, 4.48146544]])
# 乱数　0-1 正規分布
np.random.seed(4)
np.random.randn(2,3)
# array([[ 0.05056171,  0.49995133, -0.99590893],
#        [ 0.69359851, -0.41830152, -1.58457724]])
array([[ 0.05056171,  0.49995133, -0.99590893],
       [ 0.69359851, -0.41830152, -1.58457724]])
# ====    特殊行列生成   ====

# ゼロ行列
np.zeros((2,3)) #タプル
# array([[0., 0., 0.],
#        [0., 0., 0.]])

# 単位行列
np.eye(2)
# array([[1., 0.],
#        [0., 1.]])

#１の行列
np.ones((2,3)) #タプル
# array([[1., 1., 1.],
#        [1., 1., 1.]])

# 任意の数の行列
np.full((2,3),2.71)
# array([[2.71, 2.71, 2.71],
#        [2.71, 2.71, 2.71]])

# np.nanの行列
np.array([1,2,np.nan,4]) 
# array([ 1.,  2., nan,  4.])

type(np.nan) # as float

"""
np.nanは floatとして扱われる。
numpyでは同じタイプでないと計算できない。
欠損値を扱うための措置
"""
print(np.nan * 100) # nan
nan
# ====    均等割り 0 - 5を 6等分    ====
np.linspace(0,5,6) #array([0., 1., 2., 3., 4., 5.])
array([0., 1., 2., 3., 4., 5.])
# ====    等差数列    ====
arr1 = np.array([1,1,2,3,4,4,6])
arr2 = np.diff(arr1) # array([0, 1, 1, 1, 0, 2])
# ====    連結    ====
arr3 = [1,2,3]
arr4 = [10,20,30]
arr_cat = np.concatenate([arr3,arr4])
 # array([ 1,  2,  3, 10, 20, 30])

# 連結　縦ベクトル（2次元配列）
arr = np.array([[1], [2], [3]])
# array([[1],
#        [2],
#        [3]])

arr1 = np.array([[4], [5] ,[6]])
# array([[4],
#        [5],
#        [6]])

arr_cat = np.concatenate([arr, arr1],axis=1) #軸を列に指定すること
# array([[1, 4],
#        [2, 5],
#        [3, 6]])

# 連結 np.hstack
arr = np.array([[1], [2], [3]])
arr1 = np.array([[4], [5] ,[6]])

arr_hstacked = np.hstack([arr,arr1])
# array([[1, 4],
#        [2, 5],
#        [3, 6]])


# 連結 np.vstack
arr = np.array([1,2,3,4,5])
arr1 = np.array([10,20,30,40,50])
arr_vstacked = np.vstack([arr,arr1])
# array([[ 1,  2,  3,  4,  5],
#        [10, 20, 30, 40, 50]])
# ====    分割    ====
np.random.seed(123)
arr = np.random.randn(12).reshape(3,4)

# array([[-1.0856306 ,  0.99734545,  0.2829785 , -1.50629471],
#        [-0.57860025,  1.65143654, -2.42667924, -0.42891263],
#        [ 1.26593626, -0.8667404 , -0.67888615, -0.09470897]])

#　列を分割 1つ目は3列　2つ目は残りの1列
arr_splited_1 = np.split(arr,[3],axis=1) 

arr_splited_1[0]
# array([[-1.0856306 ,  0.99734545,  0.2829785 ],
#       [-0.57860025,  1.65143654, -2.42667924],
#       [ 1.26593626, -0.8667404 , -0.67888615]])

arr_splited_1[1]
# array([[-1.50629471],
#        [-0.42891263],
#       [-0.09470897]])

# 行を分割 1つ目は2行　2つ目は残りの1行
arr_splited_0 = np.split(arr, [2],axis=0)
arr_splited_0[0]
# array([[-1.0856306 ,  0.99734545,  0.2829785 , -1.50629471],
#       [-0.57860025,  1.65143654, -2.42667924, -0.42891263]])

arr_splited_0[1]
# array([[ 1.26593626, -0.8667404 , -0.67888615, -0.09470897]])

print(arr.shape)
arr_3, arr_4 = np.hsplit(arr, [2]) # 機能しない
arr_5, arr_6 = np.vsplit(arr, [1]) # 機能しない
(3, 4)
#転置行列
arr = np.array([[1,2,3],[4,5,6]])
# array([[1, 2, 3],
#        [4, 5, 6]])

arr.T
# array([[1, 4],
#        [2, 5],
#        [3, 6]])
array([[1, 4],
       [2, 5],
       [3, 6]])
# 次元の追加
arr = np.array([1,2,3,4])
arr  # array([1, 2, 3, 4])

arr_1 = arr[np.newaxis,:] # array([[1, 2, 3, 4]])

arr_2 = arr[:,np.newaxis]
# array([[1],
#        [2],
#        [3],
#        [4]])
# メッシュグリッドデータの生成
arr_x = np.array([1,2,3,4,5])
arr_y = np.array([10,20,30])
xx, yy =np.meshgrid(arr_x, arr_y)

xx
# array([[1, 2, 3, 4, 5],
#        [1, 2, 3, 4, 5],
#        [1, 2, 3, 4, 5]])

yy
# array([[10, 10, 10, 10, 10],
#       [20, 20, 20, 20, 20],
#       [30, 30, 30, 30, 30]])
array([[10, 10, 10, 10, 10],
       [20, 20, 20, 20, 20],
       [30, 30, 30, 30, 30]])
# ユニバーサルファンクション（一括変換）

# 各成分を全て絶対値にする
arr = [5, -12, -3 , 2]
np.abs(arr) # array([ 5, 12,  3,  2])

# sin cos tan
arr = np.linspace(0, 2*np.pi, 100)
np.sin(arr)
array([ 0.00000000e+00,  6.34239197e-02,  1.26592454e-01,  1.89251244e-01,
        2.51147987e-01,  3.12033446e-01,  3.71662456e-01,  4.29794912e-01,
        4.86196736e-01,  5.40640817e-01,  5.92907929e-01,  6.42787610e-01,
        6.90079011e-01,  7.34591709e-01,  7.76146464e-01,  8.14575952e-01,
        8.49725430e-01,  8.81453363e-01,  9.09631995e-01,  9.34147860e-01,
        9.54902241e-01,  9.71811568e-01,  9.84807753e-01,  9.93838464e-01,
        9.98867339e-01,  9.99874128e-01,  9.96854776e-01,  9.89821442e-01,
        9.78802446e-01,  9.63842159e-01,  9.45000819e-01,  9.22354294e-01,
        8.95993774e-01,  8.66025404e-01,  8.32569855e-01,  7.95761841e-01,
        7.55749574e-01,  7.12694171e-01,  6.66769001e-01,  6.18158986e-01,
        5.67059864e-01,  5.13677392e-01,  4.58226522e-01,  4.00930535e-01,
        3.42020143e-01,  2.81732557e-01,  2.20310533e-01,  1.58001396e-01,
        9.50560433e-02,  3.17279335e-02, -3.17279335e-02, -9.50560433e-02,
       -1.58001396e-01, -2.20310533e-01, -2.81732557e-01, -3.42020143e-01,
       -4.00930535e-01, -4.58226522e-01, -5.13677392e-01, -5.67059864e-01,
       -6.18158986e-01, -6.66769001e-01, -7.12694171e-01, -7.55749574e-01,
       -7.95761841e-01, -8.32569855e-01, -8.66025404e-01, -8.95993774e-01,
       -9.22354294e-01, -9.45000819e-01, -9.63842159e-01, -9.78802446e-01,
       -9.89821442e-01, -9.96854776e-01, -9.99874128e-01, -9.98867339e-01,
       -9.93838464e-01, -9.84807753e-01, -9.71811568e-01, -9.54902241e-01,
       -9.34147860e-01, -9.09631995e-01, -8.81453363e-01, -8.49725430e-01,
       -8.14575952e-01, -7.76146464e-01, -7.34591709e-01, -6.90079011e-01,
       -6.42787610e-01, -5.92907929e-01, -5.40640817e-01, -4.86196736e-01,
       -4.29794912e-01, -3.71662456e-01, -3.12033446e-01, -2.51147987e-01,
       -1.89251244e-01, -1.26592454e-01, -6.34239197e-02, -2.44929360e-16])
# 自然対数　底 = ネピア数 e
arr = np.array([0, 1, 2, 3])
np.log(arr) #[      -inf 0.         0.69314718 1.09861229]

# 常用対数　底 = 10
np.log10(arr) #array([      -inf, 0.        , 0.30103   , 0.47712125])

# exp()
np.exp(1) # 2.718281828459045
C:\Users\omoiy\Anaconda3\lib\site-packages\ipykernel_launcher.py:3: RuntimeWarning: divide by zero encountered in log
  This is separate from the ipykernel package so we can avoid doing imports until
C:\Users\omoiy\Anaconda3\lib\site-packages\ipykernel_launcher.py:6: RuntimeWarning: divide by zero encountered in log10
  
2.718281828459045
# ブロードキャス（自動拡張計算）
arr = np.array([[1,2,3], [4,5,6]])
arr2 =np.array([10,10,10])
arr_sum = arr + arr2
# array([[11, 12, 13],   # 2行ともに和算されている
#        [14, 15, 16]])

arr = np.array([[1,2,3], [4,5,6]])
arr2 =np.array([10,10,10])
arr_sub = arr - arr2
# array([[-9, -8, -7], # 2行ともに差算されている
#       [-6, -5, -4]])

arr = np.array([[1,2,3], [4,5,6]])
arr2 =np.array([10,100,1000])
arr_multi = arr * arr2
# array([[  10,  200, 3000],  # 2行ともに乗算されている
#        [  40,  500, 6000]])


arr = np.array([1,2,3])
arr2 = np.array([[1], [2], [3]])
arr + arr2
# array([[2, 3, 4], # 3x3行列に和算される
#       [3, 4, 5],
#       [4, 5, 6]])

# 自分の平均からの距離をそれぞれ求める
arr = np.array([[1,2,3], [4,5,6]])
arr2 = arr - np.mean(arr)
# array([[-2.5, -1.5, -0.5],
#        [ 0.5,  1.5,  2.5]])

# スカラーを乗ずる
arr = np.array([[1,2,3], [4,5,6]])
arr2 = arr * 10
# array([[10, 20, 30],
#        [40, 50, 60]])

# 3乗する
arr = np.array([[1,2,3], [4,5,6]])
arr2 = arr ** 3 
# array([[  1,   8,  27],
#        [ 64, 125, 216]], dtype=int32)

# ゼロを含んだ行列で除算をするときのテクニック
arr = np.array([[1,2,3], [4,5,6]])
arr2 =np.array([0,10,100])
arr_div = arr / (arr2 + 1e-6)
# array([[1.00000000e+06, 1.99999980e-01, 2.99999997e-02],
#        [4.00000000e+06, 4.99999950e-01, 5.99999994e-02]])
# ドット積
arr = np.array([[1,2,3], [4,5,6]])
arr2 = np.array([[10], [20], [30]])
np.dot(arr, arr2)
# array([[140],
#        [320]])

"""
arr @ arr2 でも良い
"""
array([[140],
       [320]])
# 判定　論理値
arr = np.array([[1,2,3], [4,5,6]])
arr > 3
# array([[False, False, False],
#        [ True,  True,  True]])

# ゼロでない要素数をカウントする
np.count_nonzero(arr) # 6

# 論理式と共に使えば、条件にある要素数をカウントできる
np.count_nonzero(arr > 3) # 3

# sum を使ってもできる （True=1なので）
np.sum(arr > 3) # 3

# 全要素が条件に入るか
np.all(arr > 0) # True
np.all(arr > 1) # False

# 条件に入る要素だけを取り出す
arr_true = arr[arr > 2]
arr_true # array([3, 4, 5, 6])

# 比較
arr = np.array([[1,2,3], [4,5,6]])
arr2 =np.array([1,2,3])
arr == arr2
# array([[ True,  True,  True], #ブロードキャストが有効になっている
#        [False, False, False]])

# 条件に合うものだけを抽出
arr = np.array([[1,2,3], [4,5,6]])
arr2 = np.array([1,2,3])
arr3 = np.array([1,10,100])

arr4 = arr[(arr == arr2) | (arr > 5)]
# array([1, 2, 3, 6])

# 浮動小数点誤差を無視しながら行列が同等か調べる
arr = np.array([[1,2,3], [4,5,6]])
arr2 = np.array([[1,2,3], [4,5,7]])
np.allclose(arr, arr2, atol=1) # True
# arr2 の最後のみ誤差１を含んでいるが、atolの許容誤差以内なので
# 同じ行列とみなされる
True
# 関数　と　メソド どちらでもいい
arr = np.array([1,2,3,4,5])
np.sum(arr) # 関数 15
arr.sum()   # メソド

# arrを定義した時点でarrはクラスのインスタンスに
# なっているのでメソドが使用できる
15

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280

281

282

283

284

285

286

287

288

289

290

291

292

293

294

295

296

297

298

299

300

301

302

303

304

305

306

307

308

309

310

311

312

313

314

315

316

317

318

319

320

321

322

323

324

325

326

327

328

329

330

331

332

333

334

335

336

337

338

339

340

341

342

343

344

345

346

347

348

349

350

351

352

353

354

355

356

357

358

359

360

361

362

363

364

365

366

367

368

369

370

371

372

373

374

375

376

377

378

379

380

381

382

383

384

385

386

387

388

389

390

391

392

393

394

395

396

397

398

399

400

401

402

403

404

405

406

407

408

409

410

411

412

413

414

415

416

417

418

419

420

421

422

423

424

425

426

427

428

429

430

431

432

433

434

435

436

437

438

439

440

441

442

443

444

445

446

447

448

449

450

451

452

453

454

455

456

457

458

459

460

461

462

463

464

465

466

467

468

# Text for Data_Analisys with Python

import numpy as np

# １次元配列

li = [1,2,3,4,5] # [1,2,3,4,5]

arr = np.array(li) # array([1, 2, 3, 4, 5]

type(arr) # numpy.ndarray

arr.shape #(5,)

(5,)

#２次元配列

li = [[1,2,3,4],[5,6,7,8]] # [[1, 2, 3, 4], [5, 6, 7, 8]]

arr = np.array(li)

#array([[1, 2, 3, 4],

# [5, 6, 7, 8]])

arr.shape # (2, 4) ２行４列

(2, 4)

# 変形　reshape

li = [1,2,3,4,5,6]

arr = np.array(li)

arr = arr.reshape(2,3) # ２行３列に変形

#array([[1, 2, 3],

# [4, 5, 6]])

arr = arr.ravel() # "浅いコピー"で１次元配列にする

# array([1, 2, 3, 4, 5, 6])

arr = arr.reshape(2,3) # 再び２行３列に変形

#array([[1, 2, 3],

# [4, 5, 6]])

arr = arr.flatten() # "浅いコピー"で１次元配列にする

# array([1, 2, 3, 4, 5, 6])

"""補足

np.reshape(引数)はタプルで与えても同じ。

arr.reshape((2,3))

"""

'補足\nnp.reshape(引数)はタプルで与えても同じ。\narr.reshape((2,3))\n'

li = [1,2,3,4,5,6]

# リストのスライスは深いコピー

li_deep = li[:]

# リストの代入は浅いコピー

li_shallow =li

#確認

li_deep[3]=100

li_deep # [1, 2, 3, 100, 5, 6]

li #[1, 2, 3, 4, 5, 6]

li_shallow[4] = 200

li_shallow # [1, 2, 3, 4, 200, 6]

li # [1, 2, 3, 4, 200, 6] #元リストにも影響あり

"""深いコピーをするときは

スライスをするとよい。li2 = li[:]

正統な方法としては、li2=li.copy()

がある。

"""

'深いコピーをするときは\nスライスをするとよい。li2 = li[:]\n\n正統な方法としては、li2=li.copy()\nがある。\n'

li = [1,2,3,4,5,6]

arr = np.array(li)

# np.array() のスライスは浅いコピー

arr_shallow = arr[:]

arr_shallow # array([1, 2, 3, 4, 5, 6])

# 確認

arr_shallow[3] = 300

arr_shallow # array([ 1, 2, 3, 300, 5, 6])

arr # array([ 1, 2, 3, 300, 5, 6])

"""深いコピーするときは

li.copy()と同様に

arr.copy()をすればよい。

"""

li = [1,2,3,4,5,6]

arr = np.array(li)

arr_deep = arr.copy()

arr_deep[1] = 500

arr_deep # array([ 1, 500, 3, 4, 5, 6])

arr #array([1, 2, 3, 4, 5, 6])

"""

リストと　np.arrayの共通項を考慮すれば

深いコピーをするときは

li.copy() arr.copy()

を使用すれば良い。

"""

'\nリストと\u3000np.arrayの共通項を考慮すれば\n深いコピーをするときは\nli.copy() arr.copy()\nを使用すれば良い。\n'

# 数列を作成

np.arange(10)

# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

np.arange(3,10,2)

# array([3, 5, 7, 9])

np.arange

# ==== 乱数生成 ====

# 乱数 0 to 1 一様分布

np.random.seed(0) #乱数シードの固定　シード番号0と定義

arr = np.random.random((3,2)) #３行２列　タプルで入れる

# array([[0.5488135 , 0.71518937],

# [0.60276338, 0.54488318],

# [0.4236548 , 0.64589411]])

# 乱数 0 to 1 一様分布

np.random.seed(1)

np.random.rand(3,2) # random.randomと違ってタプルにしなくていい。

# array([[4.17022005e-01, 7.20324493e-01],

# [1.14374817e-04, 3.02332573e-01],

# [1.46755891e-01, 9.23385948e-02]])

array([[4.17022005e-01, 7.20324493e-01],

[1.14374817e-04, 3.02332573e-01],

[1.46755891e-01, 9.23385948e-02]])

# 乱数　整数の一様分布

np.random.seed(2)

np.random.randint(10) # 8

np.random.randint(0,10,(3,5))

# array([[8, 6, 2, 8, 7],

# [2, 1, 5, 4, 4],

# [5, 7, 3, 6, 4]])

array([[8, 6, 2, 8, 7],

[2, 1, 5, 4, 4],

[5, 7, 3, 6, 4]])

# 乱数 0.0以上　5,0未満の一様分布

np.random.seed(3)

np.random.uniform(0.0, 5.0, size=(2,3))

# array([[2.75398951, 3.54073911, 1.45452369],

# [2.55413803, 4.46473477, 4.48146544]])

array([[2.75398951, 3.54073911, 1.45452369],

[2.55413803, 4.46473477, 4.48146544]])

# 乱数　0-1 正規分布

np.random.seed(4)

np.random.randn(2,3)

# array([[ 0.05056171, 0.49995133, -0.99590893],

# [ 0.69359851, -0.41830152, -1.58457724]])

array([[ 0.05056171, 0.49995133, -0.99590893],

[ 0.69359851, -0.41830152, -1.58457724]])

# ==== 特殊行列生成 ====

# ゼロ行列

np.zeros((2,3)) #タプル

# array([[0., 0., 0.],

# [0., 0., 0.]])

# 単位行列

np.eye(2)

# array([[1., 0.],

# [0., 1.]])

#１の行列

np.ones((2,3)) #タプル

# array([[1., 1., 1.],

# [1., 1., 1.]])

# 任意の数の行列

np.full((2,3),2.71)

# array([[2.71, 2.71, 2.71],

# [2.71, 2.71, 2.71]])

# np.nanの行列

np.array([1,2,np.nan,4])

# array([ 1., 2., nan, 4.])

type(np.nan) # as float

"""

np.nanは floatとして扱われる。

numpyでは同じタイプでないと計算できない。

欠損値を扱うための措置

"""

print(np.nan * 100) # nan

nan

# ==== 均等割り 0 - 5を 6等分 ====

np.linspace(0,5,6) #array([0., 1., 2., 3., 4., 5.])

array([0., 1., 2., 3., 4., 5.])

# ==== 等差数列 ====

arr1 = np.array([1,1,2,3,4,4,6])

arr2 = np.diff(arr1) # array([0, 1, 1, 1, 0, 2])

# ==== 連結 ====

arr3 = [1,2,3]

arr4 = [10,20,30]

arr_cat = np.concatenate([arr3,arr4])

# array([ 1, 2, 3, 10, 20, 30])

# 連結　縦ベクトル（2次元配列）

arr = np.array([[1], [2], [3]])

# array([[1],

# [2],

# [3]])

arr1 = np.array([[4], [5] ,[6]])

# array([[4],

# [5],

# [6]])

arr_cat = np.concatenate([arr, arr1],axis=1) #軸を列に指定すること

# array([[1, 4],

# [2, 5],

# [3, 6]])

# 連結 np.hstack

arr = np.array([[1], [2], [3]])

arr1 = np.array([[4], [5] ,[6]])

arr_hstacked = np.hstack([arr,arr1])

# array([[1, 4],

# [2, 5],

# [3, 6]])

# 連結 np.vstack

arr = np.array([1,2,3,4,5])

arr1 = np.array([10,20,30,40,50])

arr_vstacked = np.vstack([arr,arr1])

# array([[ 1, 2, 3, 4, 5],

# [10, 20, 30, 40, 50]])

# ==== 分割 ====

np.random.seed(123)

arr = np.random.randn(12).reshape(3,4)

# array([[-1.0856306 , 0.99734545, 0.2829785 , -1.50629471],

# [-0.57860025, 1.65143654, -2.42667924, -0.42891263],

# [ 1.26593626, -0.8667404 , -0.67888615, -0.09470897]])

#　列を分割 1つ目は3列　2つ目は残りの1列

arr_splited_1 = np.split(arr,[3],axis=1)

arr_splited_1[0]

# array([[-1.0856306 , 0.99734545, 0.2829785 ],

# [-0.57860025, 1.65143654, -2.42667924],

# [ 1.26593626, -0.8667404 , -0.67888615]])

arr_splited_1[1]

# array([[-1.50629471],

# [-0.42891263],

# [-0.09470897]])

# 行を分割 1つ目は2行　2つ目は残りの1行

arr_splited_0 = np.split(arr, [2],axis=0)

arr_splited_0[0]

# array([[-1.0856306 , 0.99734545, 0.2829785 , -1.50629471],

# [-0.57860025, 1.65143654, -2.42667924, -0.42891263]])

arr_splited_0[1]

# array([[ 1.26593626, -0.8667404 , -0.67888615, -0.09470897]])

print(arr.shape)

arr_3, arr_4 = np.hsplit(arr, [2]) # 機能しない

arr_5, arr_6 = np.vsplit(arr, [1]) # 機能しない

(3, 4)

#転置行列

arr = np.array([[1,2,3],[4,5,6]])

# array([[1, 2, 3],

# [4, 5, 6]])

arr.T

# array([[1, 4],

# [2, 5],

# [3, 6]])

array([[1, 4],

[2, 5],

[3, 6]])

# 次元の追加

arr = np.array([1,2,3,4])

arr # array([1, 2, 3, 4])

arr_1 = arr[np.newaxis,:] # array([[1, 2, 3, 4]])

arr_2 = arr[:,np.newaxis]

# array([[1],

# [2],

# [3],

# [4]])

# メッシュグリッドデータの生成

arr_x = np.array([1,2,3,4,5])

arr_y = np.array([10,20,30])

xx, yy =np.meshgrid(arr_x, arr_y)

# array([[1, 2, 3, 4, 5],

# [1, 2, 3, 4, 5],

# [1, 2, 3, 4, 5]])

# array([[10, 10, 10, 10, 10],

# [20, 20, 20, 20, 20],

# [30, 30, 30, 30, 30]])

array([[10, 10, 10, 10, 10],

[20, 20, 20, 20, 20],

[30, 30, 30, 30, 30]])

# ユニバーサルファンクション（一括変換）

# 各成分を全て絶対値にする

arr = [5, -12, -3 , 2]

np.abs(arr) # array([ 5, 12, 3, 2])

# sin cos tan

arr = np.linspace(0, 2*np.pi, 100)

np.sin(arr)

array([ 0.00000000e+00, 6.34239197e-02, 1.26592454e-01, 1.89251244e-01,

2.51147987e-01, 3.12033446e-01, 3.71662456e-01, 4.29794912e-01,

4.86196736e-01, 5.40640817e-01, 5.92907929e-01, 6.42787610e-01,

6.90079011e-01, 7.34591709e-01, 7.76146464e-01, 8.14575952e-01,

8.49725430e-01, 8.81453363e-01, 9.09631995e-01, 9.34147860e-01,

9.54902241e-01, 9.71811568e-01, 9.84807753e-01, 9.93838464e-01,

9.98867339e-01, 9.99874128e-01, 9.96854776e-01, 9.89821442e-01,

9.78802446e-01, 9.63842159e-01, 9.45000819e-01, 9.22354294e-01,

8.95993774e-01, 8.66025404e-01, 8.32569855e-01, 7.95761841e-01,

7.55749574e-01, 7.12694171e-01, 6.66769001e-01, 6.18158986e-01,

5.67059864e-01, 5.13677392e-01, 4.58226522e-01, 4.00930535e-01,

3.42020143e-01, 2.81732557e-01, 2.20310533e-01, 1.58001396e-01,

9.50560433e-02, 3.17279335e-02, -3.17279335e-02, -9.50560433e-02,

-1.58001396e-01, -2.20310533e-01, -2.81732557e-01, -3.42020143e-01,

-4.00930535e-01, -4.58226522e-01, -5.13677392e-01, -5.67059864e-01,

-6.18158986e-01, -6.66769001e-01, -7.12694171e-01, -7.55749574e-01,

-7.95761841e-01, -8.32569855e-01, -8.66025404e-01, -8.95993774e-01,

-9.22354294e-01, -9.45000819e-01, -9.63842159e-01, -9.78802446e-01,

-9.89821442e-01, -9.96854776e-01, -9.99874128e-01, -9.98867339e-01,

-9.93838464e-01, -9.84807753e-01, -9.71811568e-01, -9.54902241e-01,

-9.34147860e-01, -9.09631995e-01, -8.81453363e-01, -8.49725430e-01,

-8.14575952e-01, -7.76146464e-01, -7.34591709e-01, -6.90079011e-01,

-6.42787610e-01, -5.92907929e-01, -5.40640817e-01, -4.86196736e-01,

-4.29794912e-01, -3.71662456e-01, -3.12033446e-01, -2.51147987e-01,

-1.89251244e-01, -1.26592454e-01, -6.34239197e-02, -2.44929360e-16])

# 自然対数　底 = ネピア数 e

arr = np.array([0, 1, 2, 3])

np.log(arr) #[ -inf 0. 0.69314718 1.09861229]

# 常用対数　底 = 10

np.log10(arr) #array([ -inf, 0. , 0.30103 , 0.47712125])

# exp()

np.exp(1) # 2.718281828459045

C:\Users\omoiy\Anaconda3\lib\site-packages\ipykernel_launcher.py:3: RuntimeWarning: divide by zero encountered in log

This is separate from the ipykernel package so we can avoid doing imports until

C:\Users\omoiy\Anaconda3\lib\site-packages\ipykernel_launcher.py:6: RuntimeWarning: divide by zero encountered in log10

2.718281828459045

# ブロードキャス（自動拡張計算）

arr = np.array([[1,2,3], [4,5,6]])

arr2 =np.array([10,10,10])

arr_sum = arr + arr2

# array([[11, 12, 13], # 2行ともに和算されている

# [14, 15, 16]])

arr = np.array([[1,2,3], [4,5,6]])

arr2 =np.array([10,10,10])

arr_sub = arr - arr2

# array([[-9, -8, -7], # 2行ともに差算されている

# [-6, -5, -4]])

arr = np.array([[1,2,3], [4,5,6]])

arr2 =np.array([10,100,1000])

arr_multi = arr * arr2

# array([[ 10, 200, 3000], # 2行ともに乗算されている

# [ 40, 500, 6000]])

arr = np.array([1,2,3])

arr2 = np.array([[1], [2], [3]])

arr + arr2

# array([[2, 3, 4], # 3x3行列に和算される

# [3, 4, 5],

# [4, 5, 6]])

# 自分の平均からの距離をそれぞれ求める

arr = np.array([[1,2,3], [4,5,6]])

arr2 = arr - np.mean(arr)

# array([[-2.5, -1.5, -0.5],

# [ 0.5, 1.5, 2.5]])

# スカラーを乗ずる

arr = np.array([[1,2,3], [4,5,6]])

arr2 = arr * 10

# array([[10, 20, 30],

# [40, 50, 60]])

# 3乗する

arr = np.array([[1,2,3], [4,5,6]])

arr2 = arr ** 3

# array([[ 1, 8, 27],

# [ 64, 125, 216]], dtype=int32)

# ゼロを含んだ行列で除算をするときのテクニック

arr = np.array([[1,2,3], [4,5,6]])

arr2 =np.array([0,10,100])

arr_div = arr / (arr2 + 1e-6)

# array([[1.00000000e+06, 1.99999980e-01, 2.99999997e-02],

# [4.00000000e+06, 4.99999950e-01, 5.99999994e-02]])

# ドット積

arr = np.array([[1,2,3], [4,5,6]])

arr2 = np.array([[10], [20], [30]])

np.dot(arr, arr2)

# array([[140],

# [320]])

"""

arr @ arr2 でも良い

"""

array([[140],

[320]])

# 判定　論理値

arr = np.array([[1,2,3], [4,5,6]])

arr > 3

# array([[False, False, False],

# [ True, True, True]])

# ゼロでない要素数をカウントする

np.count_nonzero(arr) # 6

# 論理式と共に使えば、条件にある要素数をカウントできる

np.count_nonzero(arr > 3) # 3

# sum を使ってもできる（True=1なので）

np.sum(arr > 3) # 3

# 全要素が条件に入るか

np.all(arr > 0) # True

np.all(arr > 1) # False

# 条件に入る要素だけを取り出す

arr_true = arr[arr > 2]

arr_true # array([3, 4, 5, 6])

# 比較

arr = np.array([[1,2,3], [4,5,6]])

arr2 =np.array([1,2,3])

arr == arr2

# array([[ True, True, True], #ブロードキャストが有効になっている

# [False, False, False]])

# 条件に合うものだけを抽出

arr = np.array([[1,2,3], [4,5,6]])

arr2 = np.array([1,2,3])

arr3 = np.array([1,10,100])

arr4 = arr[(arr == arr2) | (arr > 5)]

# array([1, 2, 3, 6])

# 浮動小数点誤差を無視しながら行列が同等か調べる

arr = np.array([[1,2,3], [4,5,6]])

arr2 = np.array([[1,2,3], [4,5,7]])

np.allclose(arr, arr2, atol=1) # True

# arr2 の最後のみ誤差１を含んでいるが、atolの許容誤差以内なので

# 同じ行列とみなされる

True

# 関数　と　メソドどちらでもいい

arr = np.array([1,2,3,4,5])

np.sum(arr) # 関数 15

arr.sum() # メソド

# arrを定義した時点でarrはクラスのインスタンスに

# なっているのでメソドが使用できる

機械学習：sklearnで３０日間の株価予測をやってみる

前回、pandas_datareaderで株価を取得してpandasで統計処理してmatplotlibで可視化するということをやりました。

今回は機械学習をやっていきましょう。

理屈：

ある１日の株価データのうち、High Low Open Close Volume AdjClose の６データと、さらにOpen Close から算出されるエンジニアリングデータ change　を含めて、計７つのデータを入力データとします。（ここまでは前回の話）

その正解データとして、３０日後の終値Closeを定義します。

数学モデルは線形回帰モデルを使います。複数の入力データがあるので重回帰分析と呼ばれています。

y : 正解データ
x1～x7：入力データ
a1～a7：回帰パラメータ　偏回帰係数とも呼ばれます
error：入力データと正解データの差（誤差）　数学モデル上では切片に相当します

y　=　(a1*x1) + (a2*x2) + (a3*x3) + (a4*x4) + (a5*x5) + (a6*x6) + (a7*x7) + ierror

たくさんの入力データ（１日１データ）をこのモデルに入力して、正解データと入力データの Σ(ai*xi) の部分との差 errorがトータルでできるだけ小さくなるように、最小二乗法を使って ai を決めていきます。

その結果、予測モデルが確定しますので、３０日前から現在までの入力データを代入すれば、それぞれの日に対して３０日後の終値が予測されます。

# 終値を30日間前にずらしたcolumnを作成します。

ずらされた部分はNaNという値なしの状態で埋められます。

# 機械学習
df_nvda["label"] = df_nvda["Close"].shift(-30) #30日間過去にずらした。
df_nvda.tail(35)

# 機械学習

df_nvda["label"] = df_nvda["Close"].shift(-30) #30日間過去にずらした。

df_nvda.tail(35)

# 入力データを作成します

# 入力データを作成する
# labelとSMA列は除外して　High Low Open Close Volume AdjClose change の計７列を使用する
X = np.array(df_nvda.drop(["label","SMA"],axis=1))
X.shape # (1172, 7)

# 入力データはスケーリングする（平均を引いて標準偏差で割る）
X = sklearn.preprocessing.scale(X) 

# ３０日前から現在までのデータを予測に使用する入力データとして定義
predict_data = X[ -30 : ]
predict_data.shape # (30, 7)

# 直近３０日間を除外した入力データ
X = X[ : -30]
X.shape #(1142, 7)

# 入力データを作成する

# labelとSMA列は除外して　High Low Open Close Volume AdjClose change の計７列を使用する

X = np.array(df_nvda.drop(["label","SMA"],axis=1))

X.shape # (1172, 7)

# 入力データはスケーリングする（平均を引いて標準偏差で割る）

X = sklearn.preprocessing.scale(X)

# ３０日前から現在までのデータを予測に使用する入力データとして定義

predict_data = X[ -30 : ]

predict_data.shape # (30, 7)

# 直近３０日間を除外した入力データ

X = X[ : -30]

X.shape #(1142, 7)

# 正解データを定義します

# 正解データを定義 :30日後の終値のこと
y = np.array(df_nvda["label"])
y.shape #(1172,)


# 正解データのない部分を削除
y = y[ : -30]
y.shape #(1142,)

plt.plot(y)

# 正解データを定義 :30日後の終値のこと

y = np.array(df_nvda["label"])

y.shape #(1172,)

# 正解データのない部分を削除

y = y[ : -30]

y.shape #(1142,)

plt.plot(y)

# データを訓練用と検証用に分割して、学習モデルを選択して、学習させて、検証します

# データを訓練用と検証用に分割する
X_train, X_test, y_train, y_test = sklearn.model_selection.train_test_split(X, y, test_size = 0.2)

# 学習モデルを定義する（インスタンスの作成）
lr = sklearn.linear_model.LinearRegression()

# 学習する（fitメソド実行）
lr.fit(X_train, y_train)

#検証する
accuracy = lr.score(X_test, y_test)
accuracy # 0.9232607206984768

# データを訓練用と検証用に分割する

X_train, X_test, y_train, y_test = sklearn.model_selection.train_test_split(X, y, test_size = 0.2)

# 学習モデルを定義する（インスタンスの作成）

lr = sklearn.linear_model.LinearRegression()

# 学習する（fitメソド実行）

lr.fit(X_train, y_train)

#検証する

accuracy = lr.score(X_test, y_test)

accuracy # 0.9232607206984768

精度：92％　って出ています。(´・ω・`)

# 過去３０日間の入力データ predict_data から、それぞれ３０日後の未来終値データ predicted_dataを予測します。

# 過去３０日間の入力データ predict_data から、
# それぞれ３０日後の未来終値データ predicted_dataを予測する
predicted_data=lr.predict(predict_data)
predicted_data.shape # (30,)
predicted_data

# 過去３０日間の入力データ predict_data から、

# それぞれ３０日後の未来終値データ predicted_dataを予測する

predicted_data=lr.predict(predict_data)

predicted_data.shape # (30,)

predicted_data

# 可視化：予測結果

# 予測済みデータをデータフレームに追加するため、
# 予め、空データを入れておく
df_nvda["Predicted"] = np.nan

# 最終日indexを取得する
last_date = df_nvda.iloc[-1].name # Timestamp('2019-09-27 03:00:00')

# 1日の数値を定義（決まっている）
one_day = 86400

# 最終日に１日足す
next_unix = last_date.timestamp() + one_day

# 予測済みデータ
for data in predicted_data:
    
    # 日付を定義
    next_date=datetime.datetime.fromtimestamp(next_unix)
    
    # 1日カウントアップ
    next_unix += one_day
    
    # index（未来の日付）に予測終値を追加していく
    df_nvda.loc[next_date] = np.append([np.nan]*(len(df_nvda.columns)-1),data)

# 可視化：終値と予測終値
df_nvda["Close"].plot(figsize=(16,5),color="green")
df_nvda["Predicted"].plot(figsize=(16,5),color="orange")

# fig 保存
plt.savefig("predict_result.png")
plt.show()

last_date　＃Timestamp('2019-06-28 00:00:00')

# 予測済みデータをデータフレームに追加するため、

# 予め、空データを入れておく

df_nvda["Predicted"] = np.nan

# 最終日indexを取得する

last_date = df_nvda.iloc[-1].name # Timestamp('2019-09-27 03:00:00')

# 1日の数値を定義（決まっている）

one_day = 86400

# 最終日に１日足す

next_unix = last_date.timestamp() + one_day

# 予測済みデータ

for data in predicted_data:

# 日付を定義

next_date=datetime.datetime.fromtimestamp(next_unix)

# 1日カウントアップ

next_unix += one_day

# index（未来の日付）に予測終値を追加していく

df_nvda.loc[next_date] = np.append([np.nan]*(len(df_nvda.columns)-1),data)

# 可視化：終値と予測終値

df_nvda["Close"].plot(figsize=(16,5),color="green")

df_nvda["Predicted"].plot(figsize=(16,5),color="orange")

# fig 保存

plt.savefig("predict_result.png")

plt.show()

last_date　＃Timestamp('2019-06-28 00:00:00')

後ろの黄色いやつが未来の３０日間の株価予想です。

Linear Regression でも　まあまあそれっぽい答えは帰ってきますね。

2024年4月
月	火	水	木	金	土	日
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30

スクリプト：cnn_test.py

実行

結果

オプティマイザーを変更

可視化にチャレンジ

次回

必要なモジュールをインストール

スクリプト：generate_inputdata.py

実行しましょう

次回

登録とAPIキーの取得

flickrapiのインストール

Imageをdownloadするスクリプト

Imageを保存するフォルダを作成

スクリプトを実行する。

次回

VSコードのインストール

実行方法

どのPythonバージョンを使用するかの選択

実行

次回

graphvizのインストール

警告

graphviz 公式サイトからのインストール

システム環境変数の追加

スクリプト

理屈：

# 終値を30日間前にずらしたcolumnを作成します。

# 入力データを作成します

# 正解データを定義します

# データを訓練用と検証用に分割して、学習モデルを選択して、学習させて、検証します

# 過去３０日間の入力データ predict_data から、それぞれ３０日後の未来終値データ predicted_dataを予測します。

# 可視化：予測結果

graphviz　公式サイトからのインストール