In [176]:
# Pandas
import numpy as np
import scipy as sp
import pandas as pd
from pandas import Series, DataFrame
import matplotlib.pyplot as plt
import matplotlib as mpl
import seaborn as sns
%matplotlib inline
%precision 3
Out[176]:
In [177]:
# 階層型インデックス
# サンプルデータ生成
np.random.seed(0)
df = DataFrame(np.random.randint(0,10,9).reshape((3,3)),
index = [
['a', 'a', 'b'],
[1, 1, 2]
],
columns = [
['Hakodate','Sapporo','Hakodate'],
['Blue','Red','Red']
] )
df
Out[177]:
In [178]:
# index に名前をつける
df.index.names=['index1','index2']
df
Out[178]:
In [179]:
# columns に名前をつける
df.columns.names = ['column1','column2']
df
Out[179]:
In [180]:
# columnsの絞り込み
df['Hakodate']
Out[180]:
In [181]:
# index2 を軸にした集計
df.sum(level = 'index2', axis=0)
Out[181]:
In [182]:
# column2 を軸にした集計
df.sum(level = 'column2', axis=1)
Out[182]:
In [183]:
# index要素の削除
# indexキーが２つあり、どちらも共通の場合はdropの引数をタプルにする必要がある。
df.drop(("a",1))
Out[183]:
In [184]:
# データの結合
data1 = {'id':[100,101,102,103],
'point':[10,11,12,13]}
data2 = {'id':[102,103,104,105],
'point':[55,66,77,88]}
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)
print(df1)
print('=================')
print(df2)
In [185]:
# inner join : 共通のキーがある場合にキーで結合（共通項目のみで共通でないキーは捨てられる）
pd.merge(df1, df2, on = 'id')
Out[185]:
In [186]:
# full join ：とにかく全結合
pd.merge(df1, df2, how = 'outer')
Out[186]:
In [187]:
# インデックスをキーとして結合することもできる
data1 = {'id':[100,101,102,103],
'point':[10,11,12,13]}
data2 = {'id':[102,103,104,105],
'point':[55,66,77,88],
'index_num':[0,1,2,3]}
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)
print(df1)
print('=================')
print(df2)
# df1のインデックスとdf2のindex_num
df3 = pd.merge(df1, df2, left_index= True, right_on='index_num')
df3
Out[187]:
In [188]:
# left join : 左側の
data1 = {'id':[100,101,102,103],
'point':[10,11,12,13]}
data2 = {'id':[102,103,104,105],
'point':[55,66,77,88],
'index_num':[0,1,2,3]}
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)
print(df1)
print('=================')
print(df2)
pd.merge(df1, df2, how = 'left')
Out[188]:
In [189]:
# 縦結合 concat ただただ縦に積み上げる
data1 = {'a':[1,2,3,4],
'b':[11,22,33,44]}
data2 = {'A':[5,6,7,8],
'B':[55,66,77,88]}
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)
print(df1)
print('============')
print(df2)
print('# concatの引数dfはリストで投げる必要がある')
pd.concat([df1, df2])
Out[189]:
In [190]:
# データの操作・変換
#サンプルデータ
data = {'value1':[1,2,3,4,5],
'value2':[1,2,3,4,5]}
index = [['a', 'a', 'b', 'b','c'],
[1, 1, 2, 3, 4]]
df = pd.DataFrame(data, index=index)
df.index.names=['index1','index2']
df
Out[190]:
In [191]:
# ピボット操作：行列を入れ替える
df2 = df.stack()
print(type(df2))
pd.DataFrame(df2)
df2
Out[191]:
In [192]:
# 重複データの除去
# 重複のあるサンプルデータを生成
data = {'value1':[1,2,3,4,5,6,3,3],
'value2':[1,2,3,0,0,0,3,3]}
df = pd.DataFrame(data)
df
Out[192]:
In [193]:
# 重複データを判定する duplicated()メソド
df.duplicated()
Out[193]:
In [194]:
# 重複データを削除する drop_duplicates()メソド
df.drop_duplicates()
Out[194]:
In [195]:
# マッピング処理：エクセルのvlookup（検索）のような機能
map_data = {'c1':'cc1',
'c2':'cc2',}
map_data
Out[195]:
In [196]:
# マッピング処理 ：DataFrameのcity列に対応した新しいcity2という列を追加する
# 追加する前のサンプルデータを生成
df1_data ={'city':['c1','c1','c2','c3'],
'name':['A','B','C','D']}
df1 = pd.DataFrame(df1_data)
df1
Out[196]:
In [197]:
# 対応表を作成
map_data = {'c1':'cc1',
'c2':'cc2',}
print(map_data)
# city列の中でc1に対しては新規city2列を生成しcc1というデータを与える
df1['city2'] = df1['city'].map(map_data)
df1
Out[197]:
In [198]:
# 無名関数とmap関数の組み合わせ:列の一部を取り出す
print(df1)
print()
# df['city2']の頭２文字を取り出して新しい列を作る
df1['city2']
df1['new'] = df1['city2'].map(lambda x: str(x)[0:2])
print(df1)
In [199]:
lambda x: str(x)[0:2]
Out[199]:
In [200]:
# ビン分割
# サンプルデータを生成する
data ={'year': [1955, 1990, 1989, 1992, 2015, 1980, 2009, 2005, 2019, 2020]}
df = pd.DataFrame(data)
# ビンを用意する
bins = [1980, 1990, 2000, 2010, 2020]
# ビン分割を実行
cut_data = pd.cut(df.year, bins)
print(cut_data)
"""
1990は[1980,1990]のクラスに入る
1980を超えて1990以下 という意味
なので1980はどのbinにも属さないのでNaNになる
"""
Out[200]:
In [201]:
# right=Falseオブションで 1980以上,1990未満に変更できる
# ビン分割を実行
cut_data = pd.cut(df.year, bins, right=False)
print(cut_data)
In [202]:
# 集計できる
pd.value_counts(cut_data)
Out[202]:
In [203]:
# 集計に名前をつけられる
group_names = ['1980s','1990s','2000s','2010s' ]
cut_data = pd.cut(df.year, bins, right=False, labels=group_names)
pd.value_counts(cut_data)
Out[203]:
In [204]:
# 分割数を数字で指定できる
pd.cut(df.year, 4)
Out[204]:
In [205]:
# 分位点で分割できる
cut_data = pd.qcut(df.year, 2)
print(cut_data)
print()
pd.value_counts(cut_data)
Out[205]:
In [206]:
# ヒスとグラム
df.hist(bins=6)
Out[206]:
In [207]:
# データの集約とグループ演算
# サンプルデータの生成 region付き
data = {'id': [100,101,102,103,104,106,108,110],
'city': ['tokyo', 'osaka', 'kyoto', 'hakodate', 'tokyo', 'tokyo', 'osaka', 'kyoto'],
'birth_year': [1990, 1989, 1992, 1997, 1982, 1991, 1988, 1990],
'name': ['hiroshi', 'akiko', 'yuki', 'satoru', 'steeve', 'mituru', 'aoi', 'tarou'],
'region': ['kanto', 'kansai', 'kansai', 'hokkaido', 'kanto', 'kanto', 'kansai', 'kansai']}
df1 = pd.DataFrame(data)
df1
Out[207]:
In [208]:
# cityの値を集計する
df1.groupby('city').size()
Out[208]:
In [209]:
# cityを軸にしてbirth_yearの平均値を求める
df1.groupby('city')['birth_year'].mean()
Out[209]:
In [210]:
# regionとcityの2軸にしても計算可能
df1.groupby(['region', 'city'])['birth_year'].mean()
Out[210]:
In [211]:
# このままテーブルとして使用したいとき as_index = False
df1.groupby(['region', 'city'], as_index=False)['birth_year'].mean()
Out[211]:
In [212]:
# groupbyメソドでイテレータを使う
# regionごと 順番に取り出す
# groupはregionを取り出し subdfはそのregionの行を抽出する
for group, subdf in df1.groupby('region'):
print(group)
print(subdf)
print()
In [213]:
# 複数の計算をまとめて行う aggメソド
# サンプルデータ
data = pd.read_csv('student-mat.csv', sep=';')
data.head()
Out[213]:
In [214]:
# 列に count, mean , max , minを適用する
functions = ['count', 'mean', 'max', 'min']
grouped_data = data.groupby(['sex', 'address'])
grouped_data['age', 'G1'].agg(functions)
Out[214]:
In [215]:
# 欠損データ 異常値 の取り扱い
# サンプルデータの生成
np.random.seed(0)
df = pd.DataFrame(np.random.rand(10, 4))
df
Out[215]:
In [216]:
# NAにする
from numpy import nan as NA
df.iloc[1,0] = NA
df.iloc[2:3, 2] = NA
df.iloc[5:, 3] = NA
df
Out[216]:
In [217]:
# リストワイズ削除 dropna：NaN を取り除く
df.dropna()
Out[217]:
In [218]:
# ペアワイズ削除 絶対に使いたい列を指定してから dropnaする
df[[0,1]].dropna()
Out[218]:
In [219]:
# fillnaで埋める
df.fillna(0).head()
Out[219]:
In [220]:
# 前の値で埋める ffill:フォワードフィル
df.fillna(method = 'ffill').head()
Out[220]:
In [221]:
# 平均値で埋める
df.fillna(df.mean()).head()
Out[221]:
In [222]:
# 時系列データの取り扱い
import pandas_datareader.data as pdr
start_date = '2001/1/2'
end_date = '2016/12/30'
df = pdr.DataReader('DEXJPUS', 'fred', start_date, end_date)
df.head()
Out[222]:
In [223]:
# 特定の年月のデータを参照する
df['2016-04'].head()
Out[223]:
In [224]:
# 月毎 M のデータで末尾 lastのデータを取り出す
# resampling 頻度変更の意 他： D Y
df.resample('M').last().head()
Out[224]:
In [225]:
# 欠損がある場合 : 日毎 D
df.resample('D').last().head()
Out[225]:
In [226]:
# 前日のデータで埋める ffill
df.resample('D').ffill().head()
Out[226]:
In [227]:
# データを1日ずらして shift() 比率を計算する
df['ratio'] = df / df.shift(1)
df.head()
Out[227]:
In [228]:
# 1日の差分を計算する diff
data['diff'] = data['DEXJPUS'].diff(1)
data.head()
In [229]:
#pct_changeを使っても比率は計算できる
df['pct_change'] = df['DEXJPUS'].pct_change(1)
df.head()
Out[229]:
In [230]:
# 過去3日移動平均
df['mean_3'] = df['DEXJPUS'].rolling(3).mean()
df.head()
Out[230]:
In [231]:
# 過去３日標準偏差 stdメソド
df['std_3'] = df['DEXJPUS'].rolling(3).std()
df.head()
Out[231]:
In [232]:
# =============== Script End =================