In [2]:
import pandas as pd
In [3]:
# Seriesを作成する
li = [1,2,3,4,5]
ser = pd.Series(li)
ser
Out[3]:
In [4]:
# DataFrameを作成する
li = [['aaa', 1, True],
['bbb', 2, False],
['ccc', 3, False]]
df = pd.DataFrame(li)
df
# 一つの列に文字列が混在すると演算できなくなるので注意
Out[4]:
In [5]:
# DataFrameを観察する
import numpy as np
import pandas as pd
df =pd.DataFrame(np.arange(100).reshape(25,4))
df.head(3) #データの頭の3行を表示する
df.tail(3) #データの尾の3行を表示する
df.shape #(25, 4) 25行 x 4列
Out[5]:
In [6]:
# DataFrameのindex とcolumns を定義する
df = pd.DataFrame(np.arange(6).reshape(3,2))
df.index = ['001', '002', '003']
df.columns =['Value_1', 'Value_2']
df
Out[6]:
In [7]:
# index指定
df[0:2]
Out[7]:
In [8]:
# columns指定
df['Value_1']
Out[8]:
In [9]:
# columns指定 複数の場合はリストで渡す
df[['Value_1','Value_2']]
Out[9]:
In [10]:
# ディクショナリから DataFrameを作成する
dic ={'aaa':[1,2,3,4], 'bbb':[5,6,7,8], 'c':[9,10,11,12]}
df = pd.DataFrame(dic)
df
Out[10]:
In [11]:
# ロケーション指定 loc , iloc
import numpy as np
import pandas as pd
# 24行x 4列のDataFrameを生成
df = pd.DataFrame(np.arange(5*4).reshape(5,4))
df.index = ['row1', 'row2', 'row3', 'row4', 'row5']
df.columns =['A', 'B', 'C', 'D', ]
df
Out[11]:
In [12]:
df.loc[:,:] # 必ず index columnsの両方を指定するので曖昧さがない
df.loc[:,'B']
Out[12]:
In [13]:
df.loc['row3','B']
Out[13]:
In [14]:
df.loc[['row1', 'row2'], 'B']
Out[14]:
In [15]:
df.iloc[0,0] # 0
df.iloc[2:4, :]
Out[15]:
In [16]:
# データの読み込み
df_csv = pd.read_csv('data/sample_data.csv', encoding='utf-8', index_col=0, parse_dates=True)
df_excel = pd.read_excel('data/sample_data.xlsx', encoding='utf-8', index_col=0, parse_dates=True)
df = df_csv
In [17]:
# htmlのtableから表を抜き出す
# url = ""
# tables = pd.read_html(url)
# df_html = tables[0]
In [18]:
# データの書き込み
df.to_csv('data/write_data.csv') # csvデータ
df.to_excel('data/write_data.xlsx') # エクセルデータ
df.to_pickle('data/write_data.pickle') # ピクルデータ
In [19]:
# 保存したデータの読み込み
df_csv = pd.read_csv('data/sample_data.csv', encoding='utf-8')
df_pickle = pd.read_pickle('data/write_data.pickle')
In [20]:
df_pickle
Out[20]:
In [21]:
# 条件抽出
df_bool = df_pickle['column_2'] >= 5
df_bool
Out[21]:
In [22]:
df_selected = df_pickle[df_pickle['column_2'] > 5]
df_selected
Out[22]:
In [23]:
# 条件抽出 SQLのようにqueryメソドを使用する
df_pickle.query('column_2 >= 5 and column_2 <= 9')
Out[23]:
In [24]:
# 各列の型を確認する df.dtypes
df_pickle.dtypes
Out[24]:
In [25]:
# 型を変更する
df = df_pickle # 以後説明しやすいように名前を変更しておきます。
df.loc[:,'date'] = df.loc[:,'column_1']
df['date'] = df['date'].apply(pd.to_datetime)
df
Out[25]:
In [26]:
# int から floatに型を変更する
df['float'] = df['column_1'].astype(np.float32)
df
Out[26]:
In [27]:
# 並べ替え .sort()
df.sort_values(by = 'column_2', ascending=True) # 昇順
df.sort_values(by = 'column_2', ascending=False) # 降順
Out[27]:
In [28]:
# 関数を使って条件分岐する
def judge(value):
if value >= 7:
return 'good'
if value >=4:
return 'nomal'
else:
return 'bad'
df['judged'] = df['column_2'].apply(judge)
df
Out[28]:
In [29]:
# One-Hot エンコーディングをする
df_moved = pd.get_dummies(df['judged'], prefix='J')
df_moved
Out[29]:
In [30]:
# pickle保存しておく
pd.to_pickle(df_moved, 'data/df_moved.pickle')
In [31]:
# 時系列データの作成
dates = pd.date_range(start='2019-01-01', end='2019-1-30')
np.random.seed(0)
df =pd.DataFrame(np.random.randint(1,31,30), index=dates, columns=['rand_value'])
df.head()
Out[31]:
In [32]:
# 時系列データの作成２
dates = pd.date_range(start='2019-01-01', periods=365)
np.random.seed(1)
df = pd.DataFrame(np.random.randint(1, 31, 365), index=dates, columns=['rand_value'])
df.head()
Out[32]:
In [33]:
# 月平均を算出する .grooupby(pd.Grouper())
df.groupby(pd.Grouper(freq='M')).mean().head()
Out[33]:
In [34]:
# 月平均を算出する２ .resample()
df['rand_value'].resample('M').mean().head()
# Serieseで返ってくる
Out[34]:
In [35]:
# 年間の土曜日の日付データを作成する
pd.date_range(start='2019-01-01', end='2019-12-31', freq='W-SAT')
Out[35]:
In [36]:
# 土曜日までの１週間単位でデータをまとめる
df_year = pd.DataFrame(df.groupby(pd.Grouper(freq='W-SAT')).sum(), columns=['rand_value'])
df_year.head()
Out[36]:
In [37]:
#欠損値の処理
df_nan = pd.read_pickle('data/write_data.pickle')
#欠損値の行を削除する
df_droped = df_nan.dropna()
df_droped
Out[37]:
In [38]:
#欠損値に0を代入して埋める
df_fillna = df_nan.fillna(0)
df_fillna
Out[38]:
In [39]:
#欠損値を１つ手前の値で補完する
df_fill = df_nan.fillna(method='ffill')
df_fill
Out[39]:
In [40]:
# データの連結
df = pd.read_pickle('data/df_sample.pickle')
df_moved = pd.read_pickle('data/df_moved.pickle')
# 列方向の連結
df_merged = pd.concat([df, df_moved], axis=1)
df_merged.head()
Out[40]:
In [41]:
# 行方向に連結する
df_1 = df.loc[1:2,:]
df_2 = df.loc[9:10,:]
df = pd.concat([df_1, df_2], axis=0, sort=True)
df
Out[41]:
In [42]:
# 基本的な統計量を算出する
np.random.seed(2)
df = pd.DataFrame(np.random.randint(0,11,100), columns=['value'])
print(df.loc[:,'value'].max(),
df.loc[:,'value'].min(),
df.loc[:,'value'].mode(), #最頻値
df.loc[:,'value'].mean(),
df.loc[:,'value'].median(),
df.loc[:,'value'].std(ddof=0), # 母集団の標準偏差
df.loc[:,'value'].std(ddof=1), # サンプルの標準偏差
)
In [43]:
#カウント
df[df.loc[:,'value'] == 5].count()
Out[43]:
In [44]:
# 要約された統計量を算出する
df.describe()
Out[44]:
In [45]:
# 相関係数
data = np.random.randn(300).reshape(100,3)
df = pd.DataFrame(data)
df.head()
df.corr()
from pandas.plotting import scatter_matrix
%matplotlib inline
_ = scatter_matrix(df)
In [46]:
# pandas.DataFrame から numpy.arrayへの変換
df[0].values
Out[46]:
In [ ]:
# ---- end of sript ----