Python : pandas

どーも　Keita_Nakamori(´・ω・`)です。pandas の基本操作を一通りやりましたので、置いておきます。

べた貼りです。上記のhtmlのほうが見やすいです。

In [2]:
import pandas as pd
In [3]:
# Seriesを作成する
li = [1,2,3,4,5]
ser = pd.Series(li)
ser
Out[3]:
0    1
1    2
2    3
3    4
4    5
dtype: int64
In [4]:
# DataFrameを作成する
li = [['aaa', 1, True],
      ['bbb', 2, False],
      ['ccc', 3, False]]
df = pd.DataFrame(li)
df
# 一つの列に文字列が混在すると演算できなくなるので注意
Out[4]:

0
1
2
0
aaa
1
True
1
bbb
2
False
2
ccc
3
False
In [5]:
# DataFrameを観察する
import numpy as np
import pandas as pd

df =pd.DataFrame(np.arange(100).reshape(25,4))
df.head(3) #データの頭の3行を表示する
df.tail(3) #データの尾の3行を表示する
df.shape   #(25, 4)  25行 x 4列
Out[5]:
(25, 4)
In [6]:
# DataFrameのindex とcolumns　を定義する

df = pd.DataFrame(np.arange(6).reshape(3,2))

df.index = ['001', '002', '003']
df.columns =['Value_1', 'Value_2']
df
Out[6]:

Value_1
Value_2
001
0
1
002
2
3
003
4
5
In [7]:
# index指定
df[0:2]
Out[7]:

Value_1
Value_2
001
0
1
002
2
3
In [8]:
# columns指定
df['Value_1']
Out[8]:
001    0
002    2
003    4
Name: Value_1, dtype: int32
In [9]:
# columns指定　複数の場合はリストで渡す
df[['Value_1','Value_2']]
Out[9]:

Value_1
Value_2
001
0
1
002
2
3
003
4
5
In [10]:
# ディクショナリから DataFrameを作成する
dic ={'aaa':[1,2,3,4], 'bbb':[5,6,7,8], 'c':[9,10,11,12]}
df = pd.DataFrame(dic)
df
Out[10]:

aaa
bbb
c
0
1
5
9
1
2
6
10
2
3
7
11
3
4
8
12
In [11]:
# ロケーション指定 loc , iloc 
import numpy as np
import pandas as pd

# 24行x 4列のDataFrameを生成
df = pd.DataFrame(np.arange(5*4).reshape(5,4))
df.index = ['row1', 'row2', 'row3', 'row4', 'row5']
df.columns =['A', 'B', 'C', 'D', ]
df
Out[11]:

A
B
C
D
row1
0
1
2
3
row2
4
5
6
7
row3
8
9
10
11
row4
12
13
14
15
row5
16
17
18
19
In [12]:
df.loc[:,:] # 必ず index columnsの両方を指定するので曖昧さがない
df.loc[:,'B']
Out[12]:
row1     1
row2     5
row3     9
row4    13
row5    17
Name: B, dtype: int32
In [13]:
df.loc['row3','B']
Out[13]:
9
In [14]:
df.loc[['row1', 'row2'], 'B']
Out[14]:
row1    1
row2    5
Name: B, dtype: int32
In [15]:
df.iloc[0,0] # 0
df.iloc[2:4, :]
Out[15]:

A
B
C
D
row3
8
9
10
11
row4
12
13
14
15
In [16]:
# データの読み込み
df_csv = pd.read_csv('data/sample_data.csv', encoding='utf-8', index_col=0, parse_dates=True)
df_excel = pd.read_excel('data/sample_data.xlsx', encoding='utf-8', index_col=0, parse_dates=True)
df = df_csv
In [17]:
# htmlのtableから表を抜き出す
# url = ""
# tables = pd.read_html(url)
# df_html = tables[0]
In [18]:
# データの書き込み
df.to_csv('data/write_data.csv')       # csvデータ
df.to_excel('data/write_data.xlsx')    # エクセルデータ
df.to_pickle('data/write_data.pickle') # ピクルデータ
In [19]:
# 保存したデータの読み込み
df_csv = pd.read_csv('data/sample_data.csv', encoding='utf-8')
df_pickle = pd.read_pickle('data/write_data.pickle')
In [20]:
df_pickle
Out[20]:

column_1
column_2
column_3
column_4
column_5
column_6
rows






row1
1
1.01
aaa
True
aaa
aaa
row2
2
2.01
bbb
False
bbb
bbb
row3
3
3.01
aaa
True
NaN
4.01
row4
4
4.01
bbb
False
NaN
5.01
row5
5
5.01
aaa
True
NaN
7
row6
6
6.01
bbb
False
bbb
8
row7
7
7.01
aaa
True
aaa
NaN
row8
8
8.01
bbb
False
bbb
NaN
row9
9
9.01
aaa
True
aaa
FALSE
row10
10
10.01
bbb
False
bbb
TRUE
In [21]:
# 条件抽出
df_bool = df_pickle['column_2'] >= 5
df_bool
Out[21]:
rows
row1     False
row2     False
row3     False
row4     False
row5      True
row6      True
row7      True
row8      True
row9      True
row10     True
Name: column_2, dtype: bool
In [22]:
df_selected = df_pickle[df_pickle['column_2'] > 5]
df_selected
Out[22]:

column_1
column_2
column_3
column_4
column_5
column_6
rows






row5
5
5.01
aaa
True
NaN
7
row6
6
6.01
bbb
False
bbb
8
row7
7
7.01
aaa
True
aaa
NaN
row8
8
8.01
bbb
False
bbb
NaN
row9
9
9.01
aaa
True
aaa
FALSE
row10
10
10.01
bbb
False
bbb
TRUE
In [23]:
# 条件抽出 SQLのようにqueryメソドを使用する
df_pickle.query('column_2 >= 5 and column_2 <= 9')
Out[23]:

column_1
column_2
column_3
column_4
column_5
column_6
rows






row5
5
5.01
aaa
True
NaN
7
row6
6
6.01
bbb
False
bbb
8
row7
7
7.01
aaa
True
aaa
NaN
row8
8
8.01
bbb
False
bbb
NaN
In [24]:
# 各列の型を確認する　df.dtypes
df_pickle.dtypes
Out[24]:
column_1      int64
column_2    float64
column_3     object
column_4       bool
column_5     object
column_6     object
dtype: object
In [25]:
# 型を変更する
df = df_pickle # 以後説明しやすいように名前を変更しておきます。

df.loc[:,'date'] = df.loc[:,'column_1']
df['date'] = df['date'].apply(pd.to_datetime)
df
Out[25]:

column_1
column_2
column_3
column_4
column_5
column_6
date
rows







row1
1
1.01
aaa
True
aaa
aaa
1970-01-01 00:00:00.000000001
row2
2
2.01
bbb
False
bbb
bbb
1970-01-01 00:00:00.000000002
row3
3
3.01
aaa
True
NaN
4.01
1970-01-01 00:00:00.000000003
row4
4
4.01
bbb
False
NaN
5.01
1970-01-01 00:00:00.000000004
row5
5
5.01
aaa
True
NaN
7
1970-01-01 00:00:00.000000005
row6
6
6.01
bbb
False
bbb
8
1970-01-01 00:00:00.000000006
row7
7
7.01
aaa
True
aaa
NaN
1970-01-01 00:00:00.000000007
row8
8
8.01
bbb
False
bbb
NaN
1970-01-01 00:00:00.000000008
row9
9
9.01
aaa
True
aaa
FALSE
1970-01-01 00:00:00.000000009
row10
10
10.01
bbb
False
bbb
TRUE
1970-01-01 00:00:00.000000010
In [26]:
# int から floatに型を変更する
df['float'] = df['column_1'].astype(np.float32)
df
Out[26]:

column_1
column_2
column_3
column_4
column_5
column_6
date
float
rows








row1
1
1.01
aaa
True
aaa
aaa
1970-01-01 00:00:00.000000001
1.0
row2
2
2.01
bbb
False
bbb
bbb
1970-01-01 00:00:00.000000002
2.0
row3
3
3.01
aaa
True
NaN
4.01
1970-01-01 00:00:00.000000003
3.0
row4
4
4.01
bbb
False
NaN
5.01
1970-01-01 00:00:00.000000004
4.0
row5
5
5.01
aaa
True
NaN
7
1970-01-01 00:00:00.000000005
5.0
row6
6
6.01
bbb
False
bbb
8
1970-01-01 00:00:00.000000006
6.0
row7
7
7.01
aaa
True
aaa
NaN
1970-01-01 00:00:00.000000007
7.0
row8
8
8.01
bbb
False
bbb
NaN
1970-01-01 00:00:00.000000008
8.0
row9
9
9.01
aaa
True
aaa
FALSE
1970-01-01 00:00:00.000000009
9.0
row10
10
10.01
bbb
False
bbb
TRUE
1970-01-01 00:00:00.000000010
10.0
In [27]:
# 並べ替え .sort()
df.sort_values(by = 'column_2', ascending=True)  # 昇順
df.sort_values(by = 'column_2', ascending=False) # 降順
Out[27]:

column_1
column_2
column_3
column_4
column_5
column_6
date
float
rows








row10
10
10.01
bbb
False
bbb
TRUE
1970-01-01 00:00:00.000000010
10.0
row9
9
9.01
aaa
True
aaa
FALSE
1970-01-01 00:00:00.000000009
9.0
row8
8
8.01
bbb
False
bbb
NaN
1970-01-01 00:00:00.000000008
8.0
row7
7
7.01
aaa
True
aaa
NaN
1970-01-01 00:00:00.000000007
7.0
row6
6
6.01
bbb
False
bbb
8
1970-01-01 00:00:00.000000006
6.0
row5
5
5.01
aaa
True
NaN
7
1970-01-01 00:00:00.000000005
5.0
row4
4
4.01
bbb
False
NaN
5.01
1970-01-01 00:00:00.000000004
4.0
row3
3
3.01
aaa
True
NaN
4.01
1970-01-01 00:00:00.000000003
3.0
row2
2
2.01
bbb
False
bbb
bbb
1970-01-01 00:00:00.000000002
2.0
row1
1
1.01
aaa
True
aaa
aaa
1970-01-01 00:00:00.000000001
1.0
In [28]:
# 関数を使って条件分岐する
def judge(value):
    if value >= 7:
        return 'good'
    if value >=4:
        return 'nomal'
    else:
        return 'bad'
    
df['judged'] = df['column_2'].apply(judge)    
df
Out[28]:

column_1
column_2
column_3
column_4
column_5
column_6
date
float
judged
rows









row1
1
1.01
aaa
True
aaa
aaa
1970-01-01 00:00:00.000000001
1.0
bad
row2
2
2.01
bbb
False
bbb
bbb
1970-01-01 00:00:00.000000002
2.0
bad
row3
3
3.01
aaa
True
NaN
4.01
1970-01-01 00:00:00.000000003
3.0
bad
row4
4
4.01
bbb
False
NaN
5.01
1970-01-01 00:00:00.000000004
4.0
nomal
row5
5
5.01
aaa
True
NaN
7
1970-01-01 00:00:00.000000005
5.0
nomal
row6
6
6.01
bbb
False
bbb
8
1970-01-01 00:00:00.000000006
6.0
nomal
row7
7
7.01
aaa
True
aaa
NaN
1970-01-01 00:00:00.000000007
7.0
good
row8
8
8.01
bbb
False
bbb
NaN
1970-01-01 00:00:00.000000008
8.0
good
row9
9
9.01
aaa
True
aaa
FALSE
1970-01-01 00:00:00.000000009
9.0
good
row10
10
10.01
bbb
False
bbb
TRUE
1970-01-01 00:00:00.000000010
10.0
good
In [29]:
# One-Hot エンコーディングをする
df_moved = pd.get_dummies(df['judged'], prefix='J')
df_moved
Out[29]:

J_bad
J_good
J_nomal
rows



row1
1
0
0
row2
1
0
0
row3
1
0
0
row4
0
0
1
row5
0
0
1
row6
0
0
1
row7
0
1
0
row8
0
1
0
row9
0
1
0
row10
0
1
0
In [30]:
# pickle保存しておく
pd.to_pickle(df_moved, 'data/df_moved.pickle')
In [31]:
# 時系列データの作成
dates = pd.date_range(start='2019-01-01', end='2019-1-30')
np.random.seed(0)
df =pd.DataFrame(np.random.randint(1,31,30), index=dates, columns=['rand_value'])
df.head()
Out[31]:

rand_value
2019-01-01
13
2019-01-02
16
2019-01-03
22
2019-01-04
1
2019-01-05
4
In [32]:
# 時系列データの作成２
dates = pd.date_range(start='2019-01-01', periods=365)
np.random.seed(1)
df = pd.DataFrame(np.random.randint(1, 31, 365), index=dates, columns=['rand_value'])
df.head()
Out[32]:

rand_value
2019-01-01
6
2019-01-02
12
2019-01-03
13
2019-01-04
9
2019-01-05
10
In [33]:
# 月平均を算出する .grooupby(pd.Grouper())
df.groupby(pd.Grouper(freq='M')).mean().head()
Out[33]:

rand_value
2019-01-31
14.870968
2019-02-28
15.000000
2019-03-31
15.387097
2019-04-30
15.700000
2019-05-31
14.193548
In [34]:
# 月平均を算出する２　.resample()
df['rand_value'].resample('M').mean().head()
# Serieseで返ってくる
Out[34]:
2019-01-31    14.870968
2019-02-28    15.000000
2019-03-31    15.387097
2019-04-30    15.700000
2019-05-31    14.193548
Freq: M, Name: rand_value, dtype: float64
In [35]:
# 年間の土曜日の日付データを作成する
pd.date_range(start='2019-01-01', end='2019-12-31', freq='W-SAT')
Out[35]:
DatetimeIndex(['2019-01-05', '2019-01-12', '2019-01-19', '2019-01-26',
               '2019-02-02', '2019-02-09', '2019-02-16', '2019-02-23',
               '2019-03-02', '2019-03-09', '2019-03-16', '2019-03-23',
               '2019-03-30', '2019-04-06', '2019-04-13', '2019-04-20',
               '2019-04-27', '2019-05-04', '2019-05-11', '2019-05-18',
               '2019-05-25', '2019-06-01', '2019-06-08', '2019-06-15',
               '2019-06-22', '2019-06-29', '2019-07-06', '2019-07-13',
               '2019-07-20', '2019-07-27', '2019-08-03', '2019-08-10',
               '2019-08-17', '2019-08-24', '2019-08-31', '2019-09-07',
               '2019-09-14', '2019-09-21', '2019-09-28', '2019-10-05',
               '2019-10-12', '2019-10-19', '2019-10-26', '2019-11-02',
               '2019-11-09', '2019-11-16', '2019-11-23', '2019-11-30',
               '2019-12-07', '2019-12-14', '2019-12-21', '2019-12-28'],
              dtype='datetime64[ns]', freq='W-SAT')
In [36]:
# 土曜日までの１週間単位でデータをまとめる
df_year = pd.DataFrame(df.groupby(pd.Grouper(freq='W-SAT')).sum(), columns=['rand_value'])
df_year.head()
Out[36]:

rand_value
2019-01-05
50
2019-01-12
67
2019-01-19
124
2019-01-26
127
2019-02-02
127
In [37]:
#欠損値の処理
df_nan = pd.read_pickle('data/write_data.pickle')

#欠損値の行を削除する
df_droped = df_nan.dropna()
df_droped
Out[37]:

column_1
column_2
column_3
column_4
column_5
column_6
rows






row1
1
1.01
aaa
True
aaa
aaa
row2
2
2.01
bbb
False
bbb
bbb
row6
6
6.01
bbb
False
bbb
8
row9
9
9.01
aaa
True
aaa
FALSE
row10
10
10.01
bbb
False
bbb
TRUE
In [38]:
#欠損値に0を代入して埋める
df_fillna = df_nan.fillna(0)
df_fillna
Out[38]:

column_1
column_2
column_3
column_4
column_5
column_6
rows






row1
1
1.01
aaa
True
aaa
aaa
row2
2
2.01
bbb
False
bbb
bbb
row3
3
3.01
aaa
True
0
4.01
row4
4
4.01
bbb
False
0
5.01
row5
5
5.01
aaa
True
0
7
row6
6
6.01
bbb
False
bbb
8
row7
7
7.01
aaa
True
aaa
0
row8
8
8.01
bbb
False
bbb
0
row9
9
9.01
aaa
True
aaa
FALSE
row10
10
10.01
bbb
False
bbb
TRUE
In [39]:
#欠損値を１つ手前の値で補完する
df_fill = df_nan.fillna(method='ffill')
df_fill
Out[39]:

column_1
column_2
column_3
column_4
column_5
column_6
rows






row1
1
1.01
aaa
True
aaa
aaa
row2
2
2.01
bbb
False
bbb
bbb
row3
3
3.01
aaa
True
bbb
4.01
row4
4
4.01
bbb
False
bbb
5.01
row5
5
5.01
aaa
True
bbb
7
row6
6
6.01
bbb
False
bbb
8
row7
7
7.01
aaa
True
aaa
8
row8
8
8.01
bbb
False
bbb
8
row9
9
9.01
aaa
True
aaa
FALSE
row10
10
10.01
bbb
False
bbb
TRUE
In [40]:
# データの連結
df = pd.read_pickle('data/df_sample.pickle')
df_moved = pd.read_pickle('data/df_moved.pickle')

# 列方向の連結
df_merged = pd.concat([df, df_moved], axis=1)
df_merged.head()

C:\Users\keita\AppData\Local\Continuum\anaconda3\lib\site-packages\pandas\core\indexes\api.py:107: RuntimeWarning: '<' not supported between instances of 'float' and 'str', sort order is undefined for incomparable objects
  result = result.union(other)
Out[40]:

column_2
column_3
column_4
column_5
column_6
c2*c4
jadged
judged
J_bad
J_good
J_nomal
1.0
1.01
aaa
True
aaa
aaa
1.01
bad
bad
NaN
NaN
NaN
2.0
2.01
bbb
False
bbb
bbb
0.00
bad
bad
NaN
NaN
NaN
3.0
3.01
aaa
True
NaN
4.01
3.01
bad
bad
NaN
NaN
NaN
4.0
4.01
bbb
False
NaN
5.01
0.00
nomal
nomal
NaN
NaN
NaN
5.0
5.01
aaa
True
NaN
7
5.01
nomal
nomal
NaN
NaN
NaN
In [41]:
# 行方向に連結する
df_1 = df.loc[1:2,:]
df_2 = df.loc[9:10,:]

df = pd.concat([df_1, df_2], axis=0, sort=True)
df 
Out[41]:

c2*c4
column_2
column_3
column_4
column_5
column_6
jadged
judged
float








1.0
1.01
1.01
aaa
True
aaa
aaa
bad
bad
2.0
0.00
2.01
bbb
False
bbb
bbb
bad
bad
9.0
9.01
9.01
aaa
True
aaa
FALSE
good
good
10.0
0.00
10.01
bbb
False
bbb
TRUE
good
good
In [42]:
# 基本的な統計量を算出する
np.random.seed(2)
df = pd.DataFrame(np.random.randint(0,11,100), columns=['value'])
print(df.loc[:,'value'].max(),
      df.loc[:,'value'].min(),
      df.loc[:,'value'].mode(), #最頻値
      df.loc[:,'value'].mean(),
      df.loc[:,'value'].median(),
      df.loc[:,'value'].std(ddof=0), # 母集団の標準偏差
      df.loc[:,'value'].std(ddof=1), # サンプルの標準偏差      
     )     

10 0 0    10
dtype: int32 5.55 6.0 3.1124748994971836 3.128154973039785
In [43]:
#カウント
df[df.loc[:,'value'] == 5].count()
Out[43]:
value    9
dtype: int64
In [44]:
# 要約された統計量を算出する
df.describe()
Out[44]:

value
count
100.000000
mean
5.550000
std
3.128155
min
0.000000
25%
3.000000
50%
6.000000
75%
8.000000
max
10.000000
In [45]:
# 相関係数
data = np.random.randn(300).reshape(100,3)
df = pd.DataFrame(data)
df.head()

df.corr()

from pandas.plotting import scatter_matrix
%matplotlib inline

_ = scatter_matrix(df)

 
In [46]:
# pandas.DataFrame から　numpy.arrayへの変換
df[0].values
Out[46]:
array([ 1.02210506e+00,  1.53636029e+00, -1.18854160e+00, -3.18840605e-01,
        1.95254214e-01,  1.20769783e+00,  4.17160217e-01,  1.20769557e-01,
        2.35854982e-01,  1.47630693e+00, -2.57855698e+00,  2.23092726e-01,
        5.48677242e-01,  1.29975337e-01,  1.33354447e-01, -1.63213498e+00,
        1.16837169e+00,  4.08842472e-02, -3.95195402e-01, -1.17113099e+00,
        5.57721015e-01,  2.10202473e-02,  1.96504656e-01,  6.38925860e-01,
       -3.77376397e-02,  9.26374048e-03, -4.32477714e-02,  8.19477959e-01,
       -2.74608267e-01, -1.11840069e+00,  1.02868791e+00, -9.17827897e-02,
        1.00139308e+00,  1.36927887e+00, -3.32376106e-01, -8.98514459e-01,
        6.60488981e-01,  1.30103340e+00,  5.00463181e-01, -3.79377283e-01,
       -5.18945829e-01,  9.09490540e-01, -1.08860575e+00, -2.81766922e-01,
       -8.00976861e-01,  1.37357822e+00, -1.28768987e+00, -9.37719104e-01,
       -7.47252631e-01, -5.76454194e-01, -1.41699281e+00, -1.36057075e-01,
       -8.81027234e-01, -1.77330774e+00,  3.31707535e-02, -1.04990183e-01,
       -1.71142690e+00, -9.12673226e-01, -1.08172822e+00,  1.99335230e+00,
       -3.86961106e-01, -2.09225941e-01, -4.27889084e-01,  6.06603798e-01,
       -3.36370275e-01,  1.80052517e+00,  8.33292653e-01,  1.33480770e+00,
       -1.44644975e+00,  6.66240193e-01, -1.64386955e+00,  6.11191152e-01,
        4.77865842e-01,  9.18109263e-01, -7.38847589e-01,  1.57718123e+00,
        8.67298665e-01, -2.42036059e-01, -3.21914568e-01,  1.01525122e+00,
       -5.69088895e-01,  8.48138843e-01, -2.13080187e-02,  1.73029626e+00,
        3.23823588e-01,  1.20917022e+00, -8.33636664e-01, -1.29003470e+00,
       -3.13110100e-01,  3.57341451e-01, -4.10464725e-01, -1.84265262e-03,
       -6.61755432e-01, -6.22129678e-01, -8.87283517e-01,  1.16993295e+00,
        3.32767248e-01, -4.41954269e-01,  4.31653084e-01, -1.20600785e+00])
In [ ]:
# ---- end of sript ----

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280

281

282

283

284

285

286

287

288

289

290

291

292

293

294

295

296

297

298

299

300

301

302

303

304

305

306

307

308

309

310

311

312

313

314

315

316

317

318

319

320

321

322

323

324

325

326

327

328

329

330

331

332

333

334

335

336

337

338

339

340

341

342

343

344

345

346

347

348

349

350

351

352

353

354

355

356

357

358

359

360

361

362

363

364

365

366

367

368

369

370

371

372

373

374

375

376

377

378

379

380

381

382

383

384

385

386

387

388

389

390

391

392

393

394

395

396

397

398

399

400

401

402

403

404

405

406

407

408

409

410

411

412

413

414

415

416

417

418

419

420

421

422

423

424

425

426

427

428

429

430

431

432

433

434

435

436

437

438

439

440

441

442

443

444

445

446

447

448

449

450

451

452

453

454

455

456

457

458

459

460

461

462

463

464

465

466

467

468

469

470

471

472

473

474

475

476

477

478

479

480

481

482

483

484

485

486

487

488

489

490

491

492

493

494

495

496

497

498

499

500

501

502

503

504

505

506

507

508

509

510

511

512

513

514

515

516

517

518

519

520

521

522

523

524

525

526

527

528

529

530

531

532

533

534

535

536

537

538

539

540

541

542

543

544

545

546

547

548

549

550

551

552

553

554

555

556

557

558

559

560

561

562

563

564

565

566

567

568

569

570

571

572

573

574

575

576

577

578

579

580

581

582

583

584

585

586

587

588

589

590

591

592

593

594

595

596

597

598

599

600

601

602

603

604

605

606

607

608

609

610

611

612

613

614

615

616

617

618

619

620

621

622

623

624

625

626

627

628

629

630

631

632

633

634

635

636

637

638

639

640

641

642

643

644

645

646

647

648

649

650

651

652

653

654

655

656

657

658

659

660

661

662

663

664

665

666

667

668

669

670

671

672

673

674

675

676

677

678

679

680

681

682

683

684

685

686

687

688

689

690

691

692

693

694

695

696

697

698

699

700

701

702

703

704

705

706

707

708

709

710

711

712

713

714

715

716

717

718

719

720

721

722

723

724

725

726

727

728

729

730

731

732

733

734

735

736

737

738

739

740

741

742

743

744

745

746

747

748

749

750

751

752

753

754

755

756

757

758

759

760

761

762

763

764

765

766

767

768

769

770

771

772

773

774

775

776

777

778

779

780

781

782

783

784

785

786

787

788

789

790

791

792

793

794

795

796

797

798

799

800

801

802

803

804

805

806

807

808

809

810

811

812

813

814

815

816

817

818

819

820

821

822

823

824

825

826

827

828

829

830

831

832

833

834

835

836

837

838

839

840

841

842

843

844

845

846

847

848

849

850

851

852

853

854

855

856

857

858

859

860

861

862

863

864

865

866

867

868

869

870

871

872

873

874

875

876

877

878

879

880

881

882

883

884

885

886

887

888

889

890

891

892

893

894

895

896

897

898

899

900

901

902

903

904

905

906

907

908

909

910

911

912

913

914

915

916

917

918

919

920

921

922

923

924

925

926

927

928

929

930

931

932

933

934

935

936

937

938

939

940

941

942

943

944

945

946

947

948

949

950

951

952

953

954

955

956

957

958

959

960

961

962

963

964

965

966

967

968

969

970

971

972

973

974

975

976

977

978

979

980

981

982

983

984

985

986

987

988

989

990

991

992

993

994

995

996

997

998

999

1000

1001

1002

1003

1004

1005

1006

1007

1008

1009

1010

1011

1012

1013

1014

1015

1016

1017

1018

1019

1020

1021

1022

1023

1024

1025

1026

1027

1028

1029

1030

1031

1032

1033

1034

1035

1036

1037

1038

1039

1040

1041

1042

1043

1044

1045

1046

1047

1048

1049

1050

1051

1052

1053

1054

1055

1056

1057

1058

1059

1060

1061

1062

1063

1064

1065

1066

1067

1068

1069

1070

1071

1072

1073

1074

1075

1076

1077

1078

1079

1080

1081

1082

1083

1084

1085

1086

1087

1088

1089

1090

1091

1092

1093

1094

1095

1096

1097

1098

1099

1100

1101

1102

1103

1104

1105

1106

1107

1108

1109

1110

1111

1112

1113

1114

1115

1116

1117

1118

1119

1120

1121

1122

1123

1124

1125

1126

1127

1128

1129

1130

1131

1132

1133

1134

1135

1136

1137

1138

1139

1140

1141

1142

1143

1144

1145

1146

1147

1148

1149

1150

1151

1152

1153

1154

1155

1156

1157

1158

1159

1160

1161

1162

1163

1164

1165

1166

1167

1168

1169

1170

1171

1172

1173

1174

1175

1176

1177

1178

1179

1180

1181

1182

1183

1184

1185

1186

1187

1188

1189

1190

1191

1192

1193

1194

1195

1196

1197

1198

1199

1200

1201

1202

1203

1204

1205

1206

1207

1208

1209

1210

1211

1212

1213

1214

1215

1216

1217

1218

1219

1220

1221

1222

1223

1224

1225

1226

1227

1228

1229

1230

1231

1232

1233

1234

1235

1236

1237

1238

1239

1240

1241

1242

1243

1244

1245

1246

1247

1248

1249

1250

1251

1252

1253

1254

1255

1256

1257

1258

1259

1260

1261

1262

1263

1264

1265

1266

1267

1268

1269

1270

1271

1272

1273

1274

1275

1276

1277

1278

1279

1280

1281

1282

1283

1284

1285

1286

1287

1288

1289

1290

1291

1292

1293

1294

1295

1296

1297

1298

1299

1300

1301

1302

1303

1304

1305

1306

1307

1308

1309

1310

1311

1312

1313

1314

1315

1316

1317

1318

1319

1320

1321

1322

1323

1324

1325

1326

1327

1328

1329

1330

1331

1332

1333

1334

1335

1336

1337

1338

1339

1340

1341

1342

1343

1344

1345

1346

1347

1348

1349

1350

1351

1352

1353

1354

1355

1356

1357

1358

1359

1360

1361

1362

1363

1364

1365

1366

1367

1368

1369

1370

1371

1372

1373

1374

1375

1376

1377

1378

1379

1380

1381

1382

1383

1384

1385

1386

1387

1388

1389

1390

1391

1392

1393

1394

1395

1396

1397

1398

1399

1400

1401

1402

1403

1404

1405

1406

1407

1408

1409

1410

1411

1412

1413

1414

1415

1416

1417

1418

1419

1420

1421

1422

1423

1424

1425

1426

1427

1428

1429

1430

1431

1432

1433

1434

1435

1436

1437

1438

1439

1440

1441

1442

1443

1444

1445

1446

1447

1448

1449

1450

1451

1452

1453

1454

1455

1456

1457

1458

1459

1460

1461

1462

1463

1464

1465

1466

1467

1468

1469

1470

1471

1472

1473

1474

1475

1476

1477

1478

1479

1480

1481

1482

1483

1484

1485

1486

1487

1488

1489

1490

1491

1492

1493

1494

1495

1496

1497

1498

1499

1500

1501

1502

1503

1504

1505

1506

1507

1508

1509

1510

1511

1512

1513

1514

1515

1516

1517

1518

1519

1520

1521

1522

1523

1524

1525

1526

1527

1528

1529

1530

1531

1532

1533

1534

1535

1536

1537

1538

1539

1540

1541

1542

1543

In [2]:

import pandas as pd

In [3]:

# Seriesを作成する

li = [1,2,3,4,5]

ser = pd.Series(li)

ser

Out[3]:

0 1

1 2

2 3

3 4

4 5

dtype: int64

In [4]:

# DataFrameを作成する

li = [['aaa', 1, True],

['bbb', 2, False],

['ccc', 3, False]]

df = pd.DataFrame(li)

# 一つの列に文字列が混在すると演算できなくなるので注意

Out[4]:

aaa

True

bbb

False

ccc

False

In [5]:

# DataFrameを観察する

import numpy as np

import pandas as pd

df =pd.DataFrame(np.arange(100).reshape(25,4))

df.head(3) #データの頭の3行を表示する

df.tail(3) #データの尾の3行を表示する

df.shape #(25, 4) 25行 x 4列

Out[5]:

(25, 4)

In [6]:

# DataFrameのindex とcolumns　を定義する

df = pd.DataFrame(np.arange(6).reshape(3,2))

df.index = ['001', '002', '003']

df.columns =['Value_1', 'Value_2']

Out[6]:

Value_1

Value_2

001

002

003

In [7]:

# index指定

df[0:2]

Out[7]:

Value_1

Value_2

001

002

In [8]:

# columns指定

df['Value_1']

Out[8]:

001 0

002 2

003 4

Name: Value_1, dtype: int32

In [9]:

# columns指定　複数の場合はリストで渡す

df[['Value_1','Value_2']]

Out[9]:

Value_1

Value_2

001

002

003

In [10]:

# ディクショナリから DataFrameを作成する

dic ={'aaa':[1,2,3,4], 'bbb':[5,6,7,8], 'c':[9,10,11,12]}

df = pd.DataFrame(dic)

Out[10]:

aaa

bbb

In [11]:

# ロケーション指定 loc , iloc

import numpy as np

import pandas as pd

# 24行x 4列のDataFrameを生成

df = pd.DataFrame(np.arange(5*4).reshape(5,4))

df.index = ['row1', 'row2', 'row3', 'row4', 'row5']

df.columns =['A', 'B', 'C', 'D', ]

Out[11]:

row1

row2

row3

row4

row5

In [12]:

df.loc[:,:] # 必ず index columnsの両方を指定するので曖昧さがない

df.loc[:,'B']

Out[12]:

row1 1

row2 5

row3 9

row4 13

row5 17

Name: B, dtype: int32

In [13]:

df.loc['row3','B']

Out[13]:

In [14]:

df.loc[['row1', 'row2'], 'B']

Out[14]:

row1 1

row2 5

Name: B, dtype: int32

In [15]:

df.iloc[0,0] # 0

df.iloc[2:4, :]

Out[15]:

row3

row4

In [16]:

# データの読み込み

df_csv = pd.read_csv('data/sample_data.csv', encoding='utf-8', index_col=0, parse_dates=True)

df_excel = pd.read_excel('data/sample_data.xlsx', encoding='utf-8', index_col=0, parse_dates=True)

df = df_csv

In [17]:

# htmlのtableから表を抜き出す

# url = ""

# tables = pd.read_html(url)

# df_html = tables[0]

In [18]:

# データの書き込み

df.to_csv('data/write_data.csv') # csvデータ

df.to_excel('data/write_data.xlsx') # エクセルデータ

df.to_pickle('data/write_data.pickle') # ピクルデータ

In [19]:

# 保存したデータの読み込み

df_csv = pd.read_csv('data/sample_data.csv', encoding='utf-8')

df_pickle = pd.read_pickle('data/write_data.pickle')

In [20]:

df_pickle

Out[20]:

column_1

column_2

column_3

column_4

column_5

column_6

rows

row1

1.01

aaa

True

aaa

row2

2.01

bbb

False

bbb

row3

3.01

aaa

True

NaN

4.01

row4

4.01

bbb

False

NaN

5.01

row5

5.01

aaa

True

NaN

row6

6.01

bbb

False

bbb

row7

7.01

aaa

True

aaa

NaN

row8

8.01

bbb

False

bbb

NaN

row9

9.01

aaa

True

aaa

FALSE

row10

10.01

bbb

False

bbb

TRUE

In [21]:

# 条件抽出

df_bool = df_pickle['column_2'] >= 5

df_bool

Out[21]:

rows

row1 False

row2 False

row3 False

row4 False

row5 True

row6 True

row7 True

row8 True

row9 True

row10 True

Name: column_2, dtype: bool

In [22]:

df_selected = df_pickle[df_pickle['column_2'] > 5]

df_selected

Out[22]:

column_1

column_2

column_3

column_4

column_5

column_6

rows

row5

5.01

aaa

True

NaN

row6

6.01

bbb

False

bbb

row7

7.01

aaa

True

aaa

NaN

row8

8.01

bbb

False

bbb

NaN

row9

9.01

aaa

True

aaa

FALSE

row10

10.01

bbb

False

bbb

TRUE

In [23]:

# 条件抽出 SQLのようにqueryメソドを使用する

df_pickle.query('column_2 >= 5 and column_2 <= 9')

Out[23]:

column_1

column_2

column_3

column_4

column_5

column_6

rows

row5

5.01

aaa

True

NaN

row6

6.01

bbb

False

bbb

row7

7.01

aaa

True

aaa

NaN

row8

8.01

bbb

False

bbb

NaN

In [24]:

# 各列の型を確認する　df.dtypes

df_pickle.dtypes

Out[24]:

column_1 int64

column_2 float64

column_3 object

column_4 bool

column_5 object

column_6 object

dtype: object

In [25]:

# 型を変更する

df = df_pickle # 以後説明しやすいように名前を変更しておきます。

df.loc[:,'date'] = df.loc[:,'column_1']

df['date'] = df['date'].apply(pd.to_datetime)

Out[25]:

column_1

column_2

column_3

column_4

column_5

column_6

date

rows

row1

1.01

aaa

True

aaa

1970-01-01 00:00:00.000000001

row2

2.01

bbb

False

bbb

1970-01-01 00:00:00.000000002

row3

3.01

aaa

True

NaN

4.01

1970-01-01 00:00:00.000000003

row4

4.01

bbb

False

NaN

5.01

1970-01-01 00:00:00.000000004

row5

5.01

aaa

True

NaN

1970-01-01 00:00:00.000000005

row6

6.01

bbb

False

bbb

1970-01-01 00:00:00.000000006

row7

7.01

aaa

True

aaa

NaN

1970-01-01 00:00:00.000000007

row8

8.01

bbb

False

bbb

NaN

1970-01-01 00:00:00.000000008

row9

9.01

aaa

True

aaa

FALSE

1970-01-01 00:00:00.000000009

row10

10.01

bbb

False

bbb

TRUE

1970-01-01 00:00:00.000000010

In [26]:

# int から floatに型を変更する

df['float'] = df['column_1'].astype(np.float32)

Out[26]:

column_1

column_2

column_3

column_4

column_5

column_6

date

float

rows

row1

1.01

aaa

True

aaa

1970-01-01 00:00:00.000000001

1.0

row2

2.01

bbb

False

bbb

1970-01-01 00:00:00.000000002

2.0

row3

3.01

aaa

True

NaN

4.01

1970-01-01 00:00:00.000000003

3.0

row4

4.01

bbb

False

NaN

5.01

1970-01-01 00:00:00.000000004

4.0

row5

5.01

aaa

True

NaN

1970-01-01 00:00:00.000000005

5.0

row6

6.01

bbb

False

bbb

1970-01-01 00:00:00.000000006

6.0

row7

7.01

aaa

True

aaa

NaN

1970-01-01 00:00:00.000000007

7.0

row8

8.01

bbb

False

bbb

NaN

1970-01-01 00:00:00.000000008

8.0

row9

9.01

aaa

True

aaa

FALSE

1970-01-01 00:00:00.000000009

9.0

row10

10.01

bbb

False

bbb

TRUE

1970-01-01 00:00:00.000000010

10.0

In [27]:

# 並べ替え .sort()

df.sort_values(by = 'column_2', ascending=True) # 昇順

df.sort_values(by = 'column_2', ascending=False) # 降順

Out[27]:

column_1

column_2

column_3

column_4

column_5

column_6

date

float

rows

row10

10.01

bbb

False

bbb

TRUE

1970-01-01 00:00:00.000000010

10.0

row9

9.01

aaa

True

aaa

FALSE

1970-01-01 00:00:00.000000009

9.0

row8

8.01

bbb

False

bbb

NaN

1970-01-01 00:00:00.000000008

8.0

row7

7.01

aaa

True

aaa

NaN

1970-01-01 00:00:00.000000007

7.0

row6

6.01

bbb

False

bbb

1970-01-01 00:00:00.000000006

6.0

row5

5.01

aaa

True

NaN

1970-01-01 00:00:00.000000005

5.0

row4

4.01

bbb

False

NaN

5.01

1970-01-01 00:00:00.000000004

4.0

row3

3.01

aaa

True

NaN

4.01

1970-01-01 00:00:00.000000003

3.0

row2

2.01

bbb

False

bbb

1970-01-01 00:00:00.000000002

2.0

row1

1.01

aaa

True

aaa

1970-01-01 00:00:00.000000001

1.0

In [28]:

# 関数を使って条件分岐する

def judge(value):

if value >= 7:

return 'good'

if value >=4:

return 'nomal'

else:

return 'bad'

df['judged'] = df['column_2'].apply(judge)

Out[28]:

column_1

column_2

column_3

column_4

column_5

column_6

date

float

judged

rows

row1

1.01

aaa

True

aaa

1970-01-01 00:00:00.000000001

1.0

bad

row2

2.01

bbb

False

bbb

1970-01-01 00:00:00.000000002

2.0

bad

row3

3.01

aaa

True

NaN

4.01

1970-01-01 00:00:00.000000003

3.0

bad

row4

4.01

bbb

False

NaN

5.01

1970-01-01 00:00:00.000000004

4.0

nomal

row5

5.01

aaa

True

NaN

1970-01-01 00:00:00.000000005

5.0

nomal

row6

6.01

bbb

False

bbb

1970-01-01 00:00:00.000000006

6.0

nomal

row7

7.01

aaa

True

aaa

NaN

1970-01-01 00:00:00.000000007

7.0

good

row8

8.01

bbb

False

bbb

NaN

1970-01-01 00:00:00.000000008

8.0

good

row9

9.01

aaa

True

aaa

FALSE

1970-01-01 00:00:00.000000009

9.0

good

row10

10.01

bbb

False

bbb

TRUE

1970-01-01 00:00:00.000000010

10.0

good

In [29]:

# One-Hot エンコーディングをする

df_moved = pd.get_dummies(df['judged'], prefix='J')

df_moved

Out[29]:

J_bad

J_good

J_nomal

rows

row1

row2

row3

row4

row5

row6

row7

row8

row9

row10

In [30]:

# pickle保存しておく

pd.to_pickle(df_moved, 'data/df_moved.pickle')

In [31]:

# 時系列データの作成

dates = pd.date_range(start='2019-01-01', end='2019-1-30')

np.random.seed(0)

df =pd.DataFrame(np.random.randint(1,31,30), index=dates, columns=['rand_value'])

df.head()

Out[31]:

rand_value

2019-01-01

2019-01-02

2019-01-03

2019-01-04

2019-01-05

In [32]:

# 時系列データの作成２

dates = pd.date_range(start='2019-01-01', periods=365)

np.random.seed(1)

df = pd.DataFrame(np.random.randint(1, 31, 365), index=dates, columns=['rand_value'])

df.head()

Out[32]:

rand_value

2019-01-01

2019-01-02

2019-01-03

2019-01-04

2019-01-05

In [33]:

# 月平均を算出する .grooupby(pd.Grouper())

df.groupby(pd.Grouper(freq='M')).mean().head()

Out[33]:

rand_value

2019-01-31

14.870968

2019-02-28

15.000000

2019-03-31

15.387097

2019-04-30

15.700000

2019-05-31

14.193548

In [34]:

# 月平均を算出する２　.resample()

df['rand_value'].resample('M').mean().head()

# Serieseで返ってくる

Out[34]:

2019-01-31 14.870968

2019-02-28 15.000000

2019-03-31 15.387097

2019-04-30 15.700000

2019-05-31 14.193548

Freq: M, Name: rand_value, dtype: float64

In [35]:

# 年間の土曜日の日付データを作成する

pd.date_range(start='2019-01-01', end='2019-12-31', freq='W-SAT')

Out[35]:

DatetimeIndex(['2019-01-05', '2019-01-12', '2019-01-19', '2019-01-26',

'2019-02-02', '2019-02-09', '2019-02-16', '2019-02-23',

'2019-03-02', '2019-03-09', '2019-03-16', '2019-03-23',

'2019-03-30', '2019-04-06', '2019-04-13', '2019-04-20',

'2019-04-27', '2019-05-04', '2019-05-11', '2019-05-18',

'2019-05-25', '2019-06-01', '2019-06-08', '2019-06-15',

'2019-06-22', '2019-06-29', '2019-07-06', '2019-07-13',

'2019-07-20', '2019-07-27', '2019-08-03', '2019-08-10',

'2019-08-17', '2019-08-24', '2019-08-31', '2019-09-07',

'2019-09-14', '2019-09-21', '2019-09-28', '2019-10-05',

'2019-10-12', '2019-10-19', '2019-10-26', '2019-11-02',

'2019-11-09', '2019-11-16', '2019-11-23', '2019-11-30',

'2019-12-07', '2019-12-14', '2019-12-21', '2019-12-28'],

dtype='datetime64[ns]', freq='W-SAT')

In [36]:

# 土曜日までの１週間単位でデータをまとめる

df_year = pd.DataFrame(df.groupby(pd.Grouper(freq='W-SAT')).sum(), columns=['rand_value'])

df_year.head()

Out[36]:

rand_value

2019-01-05

2019-01-12

2019-01-19

124

2019-01-26

127

2019-02-02

127

In [37]:

#欠損値の処理

df_nan = pd.read_pickle('data/write_data.pickle')

#欠損値の行を削除する

df_droped = df_nan.dropna()

df_droped

Out[37]:

column_1

column_2

column_3

column_4

column_5

column_6

rows

row1

1.01

aaa

True

aaa

row2

2.01

bbb

False

bbb

row6

6.01

bbb

False

bbb

row9

9.01

aaa

True

aaa

FALSE

row10

10.01

bbb

False

bbb

TRUE

In [38]:

#欠損値に0を代入して埋める

df_fillna = df_nan.fillna(0)

df_fillna

Out[38]:

column_1

column_2

column_3

column_4

column_5

column_6

rows

row1

1.01

aaa

True

aaa

row2

2.01

bbb

False

bbb

row3

3.01

aaa

True

4.01

row4

4.01

bbb

False

5.01

row5

5.01

aaa

True

row6

6.01

bbb

False

bbb

row7

7.01

aaa

True

aaa

row8

8.01

bbb

False

bbb

row9

9.01

aaa

True

aaa

FALSE

row10

10.01

bbb

False

bbb

TRUE

In [39]:

#欠損値を１つ手前の値で補完する

df_fill = df_nan.fillna(method='ffill')

df_fill

Out[39]:

column_1

column_2

column_3

column_4

column_5

column_6

rows

row1

1.01

aaa

True

aaa

row2

2.01

bbb

False

bbb

row3

3.01

aaa

True

bbb

4.01

row4

4.01

bbb

False

bbb

5.01

row5

5.01

aaa

True

bbb

row6

6.01

bbb

False

bbb

row7

7.01

aaa

True

aaa

row8

8.01

bbb

False

bbb

row9

9.01

aaa

True

aaa

FALSE

row10

10.01

bbb

False

bbb

TRUE

In [40]:

# データの連結

df = pd.read_pickle('data/df_sample.pickle')

df_moved = pd.read_pickle('data/df_moved.pickle')

# 列方向の連結

df_merged = pd.concat([df, df_moved], axis=1)

df_merged.head()

C:\Users\keita\AppData\Local\Continuum\anaconda3\lib\site-packages\pandas\core\indexes\api.py:107: RuntimeWarning: '<' not supported between instances of 'float' and 'str', sort order is undefined for incomparable objects

result = result.union(other)

Out[40]:

column_2

column_3

column_4

column_5

column_6

c2*c4

jadged

judged

J_bad

J_good

J_nomal

1.0

1.01

aaa

True

aaa

1.01

bad

NaN

2.0

2.01

bbb

False

bbb

0.00

bad

NaN

3.0

3.01

aaa

True

NaN

4.01

3.01

bad

NaN

4.0

4.01

bbb

False

NaN

5.01

0.00

nomal

NaN

5.0

5.01

aaa

True

NaN

5.01

nomal

NaN

In [41]:

# 行方向に連結する

df_1 = df.loc[1:2,:]

df_2 = df.loc[9:10,:]

df = pd.concat([df_1, df_2], axis=0, sort=True)

Out[41]:

c2*c4

column_2

column_3

column_4

column_5

column_6

jadged

judged

float

1.0

1.01

aaa

True

aaa

bad

2.0

0.00

2.01

bbb

False

bbb

bad

9.0

9.01

aaa

True

aaa

FALSE

good

10.0

0.00

10.01

bbb

False

bbb

TRUE

good

In [42]:

# 基本的な統計量を算出する

np.random.seed(2)

df = pd.DataFrame(np.random.randint(0,11,100), columns=['value'])

print(df.loc[:,'value'].max(),

df.loc[:,'value'].min(),

df.loc[:,'value'].mode(), #最頻値

df.loc[:,'value'].mean(),

df.loc[:,'value'].median(),

df.loc[:,'value'].std(ddof=0), # 母集団の標準偏差

df.loc[:,'value'].std(ddof=1), # サンプルの標準偏差

)

10 0 0 10

dtype: int32 5.55 6.0 3.1124748994971836 3.128154973039785

In [43]:

#カウント

df[df.loc[:,'value'] == 5].count()

Out[43]:

value 9

dtype: int64

In [44]:

# 要約された統計量を算出する

df.describe()

Out[44]:

value

count

100.000000

mean

5.550000

std

3.128155

min

0.000000

25%

3.000000

50%

6.000000

75%

8.000000

max

10.000000

In [45]:

# 相関係数

data = np.random.randn(300).reshape(100,3)

df = pd.DataFrame(data)

df.head()

df.corr()

from pandas.plotting import scatter_matrix

%matplotlib inline

_ = scatter_matrix(df)

In [46]:

# pandas.DataFrame から　numpy.arrayへの変換

df[0].values

Out[46]:

array([ 1.02210506e+00, 1.53636029e+00, -1.18854160e+00, -3.18840605e-01,

1.95254214e-01, 1.20769783e+00, 4.17160217e-01, 1.20769557e-01,

2.35854982e-01, 1.47630693e+00, -2.57855698e+00, 2.23092726e-01,

5.48677242e-01, 1.29975337e-01, 1.33354447e-01, -1.63213498e+00,

1.16837169e+00, 4.08842472e-02, -3.95195402e-01, -1.17113099e+00,

5.57721015e-01, 2.10202473e-02, 1.96504656e-01, 6.38925860e-01,

-3.77376397e-02, 9.26374048e-03, -4.32477714e-02, 8.19477959e-01,

-2.74608267e-01, -1.11840069e+00, 1.02868791e+00, -9.17827897e-02,

1.00139308e+00, 1.36927887e+00, -3.32376106e-01, -8.98514459e-01,

6.60488981e-01, 1.30103340e+00, 5.00463181e-01, -3.79377283e-01,

-5.18945829e-01, 9.09490540e-01, -1.08860575e+00, -2.81766922e-01,

-8.00976861e-01, 1.37357822e+00, -1.28768987e+00, -9.37719104e-01,

-7.47252631e-01, -5.76454194e-01, -1.41699281e+00, -1.36057075e-01,

-8.81027234e-01, -1.77330774e+00, 3.31707535e-02, -1.04990183e-01,

-1.71142690e+00, -9.12673226e-01, -1.08172822e+00, 1.99335230e+00,

-3.86961106e-01, -2.09225941e-01, -4.27889084e-01, 6.06603798e-01,

-3.36370275e-01, 1.80052517e+00, 8.33292653e-01, 1.33480770e+00,

-1.44644975e+00, 6.66240193e-01, -1.64386955e+00, 6.11191152e-01,

4.77865842e-01, 9.18109263e-01, -7.38847589e-01, 1.57718123e+00,

8.67298665e-01, -2.42036059e-01, -3.21914568e-01, 1.01525122e+00,

-5.69088895e-01, 8.48138843e-01, -2.13080187e-02, 1.73029626e+00,

3.23823588e-01, 1.20917022e+00, -8.33636664e-01, -1.29003470e+00,

-3.13110100e-01, 3.57341451e-01, -4.10464725e-01, -1.84265262e-03,

-6.61755432e-01, -6.22129678e-01, -8.87283517e-01, 1.16993295e+00,

3.32767248e-01, -4.41954269e-01, 4.31653084e-01, -1.20600785e+00])

In [ ]:

# ---- end of sript ----

MR:mirage solo のパススルー機能を使ってみた

どーもこんにちは、Keita_Nakamori@(´・ω・`)です。

捨てようかどうか迷っているMirage Soloについて、最後にMRをやってみようと思います。

環境

Windows10 home
Unity 2018.4.4f1
GoogleVRForUnity_1.200.0

ヒエラルキー

GvrBetaHeadset：新しいです
GvrControllerMain
GvrEventSystem
GvrEditorEmulator
GvrBetaControllerPointer：これも新しいです
PlayerというEmptyを作って、その中にMain CameraとGvrBetaControllerPointerwを入れておきます。

GvrBetaHeadsetの設定

起動と同時にMRが発動するように、インスペクターでGvrBetaHeadsetスクリプトのグルーバル変数であるInitial Camera Mode を　Tone Mapに、Initial Scene TypeをAugmentedに変更します。

カメラの設定とオブジェクト配置

カメラの背景はHolo Lenseと同じく完全透明のSolid color (0,0,0,0)への変更が必要です。

カメラの座標はカメラの親であるPlayerでy=1.5にします。カメラ自体は(0,0,0)です

オブジェクトは１ｍ角の枠とユニティちゃんを配しました。

ではビルドしましょう。やりかたはVRのときと全く同じです。

MRとVR(オブジェクトだけ）を切り替えたいとき

下記サイトを参考に、スクリプトをPlayerに貼り付けます。これで、Appボタンを押せば切り替えられるようになりました。

【Unity(C#)】MirageSoloのシースルーモード導入方法

スクリーンショットを貼っておきます（Volume Down ボタン+ DayDreamボタン（一番下））

スクリプト

念の為、置いておきます。

ViewModeChange.cs

using GoogleVR.Beta;
using UnityEngine;

public class ViewModeChange : MonoBehaviour
{

	GvrControllerInputDevice gvrControllerInputDevice;

	[SerializeField]
	GameObject[] hideDuringSeeThrough;

	void Start()
	{
		gvrControllerInputDevice = GvrControllerInput.GetDevice(GvrControllerHand.Dominant);

		bool supported = GvrBetaSettings.IsFeatureSupported(GvrBetaFeature.SeeThrough);
		bool enabled = GvrBetaSettings.IsFeatureEnabled(GvrBetaFeature.SeeThrough);
		if (supported && !enabled)
		{
			GvrBetaFeature[] features = new GvrBetaFeature[] { GvrBetaFeature.SeeThrough };
			GvrBetaSettings.RequestFeatures(features, null);
		}
	}

	void Update()
	{
		if (gvrControllerInputDevice.GetButtonUp(GvrControllerButton.App))
		{
			SeeThroughModes();
		}
	}

	void SeeThroughModes()
	{
		if (!GvrBetaSettings.IsFeatureEnabled(GvrBetaFeature.SeeThrough))
		{
			return;
		}

		GvrBetaSeeThroughCameraMode camMode = GvrBetaHeadset.CameraMode;
		GvrBetaSeeThroughSceneType sceneType = GvrBetaSeeThroughSceneType.Augmented;

		switch (camMode)
		{
			case GvrBetaSeeThroughCameraMode.Disabled:
				camMode = GvrBetaSeeThroughCameraMode.ToneMap;
				break;
			case GvrBetaSeeThroughCameraMode.ToneMap:
				sceneType = GvrBetaSeeThroughSceneType.Virtual;
				camMode = GvrBetaSeeThroughCameraMode.Disabled;
				break;
		}

		GvrBetaHeadset.SetSeeThroughConfig(camMode, sceneType);

		bool seethruEnabled = camMode != GvrBetaSeeThroughCameraMode.Disabled;
		foreach (var go in hideDuringSeeThrough)
		{
			go.SetActive(!seethruEnabled);
		}

	}
}

using GoogleVR.Beta;

using UnityEngine;

public class ViewModeChange : MonoBehaviour

{

GvrControllerInputDevice gvrControllerInputDevice;

[SerializeField]

GameObject[] hideDuringSeeThrough;

void Start()

{

gvrControllerInputDevice = GvrControllerInput.GetDevice(GvrControllerHand.Dominant);

bool supported = GvrBetaSettings.IsFeatureSupported(GvrBetaFeature.SeeThrough);

bool enabled = GvrBetaSettings.IsFeatureEnabled(GvrBetaFeature.SeeThrough);

if (supported && !enabled)

{

GvrBetaFeature[] features = new GvrBetaFeature[] { GvrBetaFeature.SeeThrough };

GvrBetaSettings.RequestFeatures(features, null);

}

void Update()

{

if (gvrControllerInputDevice.GetButtonUp(GvrControllerButton.App))

{

SeeThroughModes();

}

void SeeThroughModes()

{

if (!GvrBetaSettings.IsFeatureEnabled(GvrBetaFeature.SeeThrough))

{

return;

}

GvrBetaSeeThroughCameraMode camMode = GvrBetaHeadset.CameraMode;

GvrBetaSeeThroughSceneType sceneType = GvrBetaSeeThroughSceneType.Augmented;

switch (camMode)

{

case GvrBetaSeeThroughCameraMode.Disabled:

camMode = GvrBetaSeeThroughCameraMode.ToneMap;

break;

case GvrBetaSeeThroughCameraMode.ToneMap:

sceneType = GvrBetaSeeThroughSceneType.Virtual;

camMode = GvrBetaSeeThroughCameraMode.Disabled;

break;

}

GvrBetaHeadset.SetSeeThroughConfig(camMode, sceneType);

bool seethruEnabled = camMode != GvrBetaSeeThroughCameraMode.Disabled;

foreach (var go in hideDuringSeeThrough)

{

go.SetActive(!seethruEnabled);

}

弱点

オブジェクトの前になにも障害物がない状態では問題ないのですが、例えば、手をユニティちゃんの手前にかざすと、隠れるはずのユニティちゃんが隠れてくれません。

ここがホロレンズと違うところで、手はオブジェクトとして認識されているわけではありません。

よって、手はパススルーの背景と同じ扱いをされてしまいますので、手で遮っても、その上にユニティちゃん（オブジェクト）が乗ってくることになります。

このときに盛大な違和感を憶えます。

でも、手をオブジェクトの後ろに回すぶんにはなんの違和感もありませんし、むしろ自然な感じが良いです。

今後

パススルー画像をリアルタイムで解析して、
手の動きをオブジェクト化し、
ユニティちゃんの手前にかざし、ユニティちゃんが見えなくなるような方法を探る。

そんなことができるでしょうか。

Python : numpy

どーもこんにちは、Keita_Nakamoriです(´・ω・`)

Pythonを色々やってきた中で、何かしらマイルストーン的なものがほしいと思い

Python 3 エンジニア認定データ分析試験

なるものを受けてみようと思っております。

データ分析というからには、numpy , pandas, matplotlib, scikit-learn くらいは出るんだろうなあと漠然と考えていますが、今日はnumpyを学習したので、備忘録に貼っておきます。

numpy_text_for_data_analisys_with_Python.html

numpy_text_for_data_analisys_with_Python.zip

# Text for Data_Analisys with Python
import numpy as np

# １次元配列

li = [1,2,3,4,5]   # [1,2,3,4,5]
arr = np.array(li) # array([1, 2, 3, 4, 5]

type(arr)            # numpy.ndarray
arr.shape          #(5,)
(5,)
#２次元配列

li = [[1,2,3,4],[5,6,7,8]] # [[1, 2, 3, 4], [5, 6, 7, 8]]
arr = np.array(li)
    #array([[1, 2, 3, 4],
    #       [5, 6, 7, 8]])
    
arr.shape  # (2, 4) ２行４列
(2, 4)
# 変形　reshape

li = [1,2,3,4,5,6]
arr = np.array(li)

arr = arr.reshape(2,3) # ２行３列に変形
    #array([[1, 2, 3],
    #       [4, 5, 6]])
    
arr = arr.ravel() # "浅いコピー"で１次元配列にする
    # array([1, 2, 3, 4, 5, 6])
    
arr = arr.reshape(2,3) # 再び２行３列に変形
    #array([[1, 2, 3],
    #       [4, 5, 6]])
    
arr = arr.flatten() # "浅いコピー"で１次元配列にする
    # array([1, 2, 3, 4, 5, 6])

"""補足
np.reshape(引数)はタプルで与えても同じ。
arr.reshape((2,3))
"""
'補足\nnp.reshape(引数)はタプルで与えても同じ。\narr.reshape((2,3))\n'
li = [1,2,3,4,5,6]

# リストのスライスは深いコピー
li_deep = li[:]

# リストの代入は浅いコピー
li_shallow =li

#確認
li_deep[3]=100
li_deep     # [1, 2, 3, 100, 5, 6]

li         #[1, 2, 3, 4, 5, 6] 

li_shallow[4] = 200
li_shallow # [1, 2, 3, 4, 200, 6]
li         # [1, 2, 3, 4, 200, 6] #元リストにも影響あり

"""深いコピーをするときは
スライスをするとよい。li2 = li[:]

正統な方法としては、li2=li.copy()
がある。
"""
'深いコピーをするときは\nスライスをするとよい。li2 = li[:]\n\n正統な方法としては、li2=li.copy()\nがある。\n'
li = [1,2,3,4,5,6]
arr = np.array(li)

# np.array() のスライスは浅いコピー
arr_shallow = arr[:]
arr_shallow # array([1, 2, 3, 4, 5, 6])

# 確認
arr_shallow[3] = 300
arr_shallow # array([  1,   2,   3, 300,   5,   6])
arr         # array([  1,   2,   3, 300,   5,   6])

"""深いコピーするときは
li.copy()と同様に
arr.copy()をすればよい。
"""

li = [1,2,3,4,5,6]
arr = np.array(li)
arr_deep = arr.copy()
arr_deep[1] = 500
arr_deep # array([  1, 500,   3,   4,   5,   6])
arr      #array([1, 2, 3, 4, 5, 6])

"""
リストと　np.arrayの共通項を考慮すれば
深いコピーをするときは
li.copy()   arr.copy()
を使用すれば良い。
"""
'\nリストと\u3000np.arrayの共通項を考慮すれば\n深いコピーをするときは\nli.copy()   arr.copy()\nを使用すれば良い。\n'
# 数列を作成
np.arange(10)
# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

np.arange(3,10,2)
# array([3, 5, 7, 9])

np.arange
<function numpy.core.multiarray.arange>
# ====    乱数生成    ====

# 乱数 0 to 1 一様分布
np.random.seed(0)       #乱数シードの固定　シード番号0と定義
arr = np.random.random((3,2)) #３行２列　タプルで入れる
# array([[0.5488135 , 0.71518937],
#        [0.60276338, 0.54488318],
#        [0.4236548 , 0.64589411]])
# 乱数 0 to 1 一様分布
np.random.seed(1)
np.random.rand(3,2) # random.randomと違ってタプルにしなくていい。
# array([[4.17022005e-01, 7.20324493e-01],
#        [1.14374817e-04, 3.02332573e-01],
#        [1.46755891e-01, 9.23385948e-02]])
array([[4.17022005e-01, 7.20324493e-01],
       [1.14374817e-04, 3.02332573e-01],
       [1.46755891e-01, 9.23385948e-02]])
# 乱数　整数の一様分布
np.random.seed(2)
np.random.randint(10) # 8
np.random.randint(0,10,(3,5))
# array([[8, 6, 2, 8, 7],
#        [2, 1, 5, 4, 4],
#        [5, 7, 3, 6, 4]])
array([[8, 6, 2, 8, 7],
       [2, 1, 5, 4, 4],
       [5, 7, 3, 6, 4]])
# 乱数  0.0以上　5,0未満の一様分布
np.random.seed(3)
np.random.uniform(0.0, 5.0, size=(2,3))

# array([[2.75398951, 3.54073911, 1.45452369],
#        [2.55413803, 4.46473477, 4.48146544]])
array([[2.75398951, 3.54073911, 1.45452369],
       [2.55413803, 4.46473477, 4.48146544]])
# 乱数　0-1 正規分布
np.random.seed(4)
np.random.randn(2,3)
# array([[ 0.05056171,  0.49995133, -0.99590893],
#        [ 0.69359851, -0.41830152, -1.58457724]])
array([[ 0.05056171,  0.49995133, -0.99590893],
       [ 0.69359851, -0.41830152, -1.58457724]])
# ====    特殊行列生成   ====

# ゼロ行列
np.zeros((2,3)) #タプル
# array([[0., 0., 0.],
#        [0., 0., 0.]])

# 単位行列
np.eye(2)
# array([[1., 0.],
#        [0., 1.]])

#１の行列
np.ones((2,3)) #タプル
# array([[1., 1., 1.],
#        [1., 1., 1.]])

# 任意の数の行列
np.full((2,3),2.71)
# array([[2.71, 2.71, 2.71],
#        [2.71, 2.71, 2.71]])

# np.nanの行列
np.array([1,2,np.nan,4]) 
# array([ 1.,  2., nan,  4.])

type(np.nan) # as float

"""
np.nanは floatとして扱われる。
numpyでは同じタイプでないと計算できない。
欠損値を扱うための措置
"""
print(np.nan * 100) # nan
nan
# ====    均等割り 0 - 5を 6等分    ====
np.linspace(0,5,6) #array([0., 1., 2., 3., 4., 5.])
array([0., 1., 2., 3., 4., 5.])
# ====    等差数列    ====
arr1 = np.array([1,1,2,3,4,4,6])
arr2 = np.diff(arr1) # array([0, 1, 1, 1, 0, 2])
# ====    連結    ====
arr3 = [1,2,3]
arr4 = [10,20,30]
arr_cat = np.concatenate([arr3,arr4])
 # array([ 1,  2,  3, 10, 20, 30])

# 連結　縦ベクトル（2次元配列）
arr = np.array([[1], [2], [3]])
# array([[1],
#        [2],
#        [3]])

arr1 = np.array([[4], [5] ,[6]])
# array([[4],
#        [5],
#        [6]])

arr_cat = np.concatenate([arr, arr1],axis=1) #軸を列に指定すること
# array([[1, 4],
#        [2, 5],
#        [3, 6]])

# 連結 np.hstack
arr = np.array([[1], [2], [3]])
arr1 = np.array([[4], [5] ,[6]])

arr_hstacked = np.hstack([arr,arr1])
# array([[1, 4],
#        [2, 5],
#        [3, 6]])


# 連結 np.vstack
arr = np.array([1,2,3,4,5])
arr1 = np.array([10,20,30,40,50])
arr_vstacked = np.vstack([arr,arr1])
# array([[ 1,  2,  3,  4,  5],
#        [10, 20, 30, 40, 50]])
# ====    分割    ====
np.random.seed(123)
arr = np.random.randn(12).reshape(3,4)

# array([[-1.0856306 ,  0.99734545,  0.2829785 , -1.50629471],
#        [-0.57860025,  1.65143654, -2.42667924, -0.42891263],
#        [ 1.26593626, -0.8667404 , -0.67888615, -0.09470897]])

#　列を分割 1つ目は3列　2つ目は残りの1列
arr_splited_1 = np.split(arr,[3],axis=1) 

arr_splited_1[0]
# array([[-1.0856306 ,  0.99734545,  0.2829785 ],
#       [-0.57860025,  1.65143654, -2.42667924],
#       [ 1.26593626, -0.8667404 , -0.67888615]])

arr_splited_1[1]
# array([[-1.50629471],
#        [-0.42891263],
#       [-0.09470897]])

# 行を分割 1つ目は2行　2つ目は残りの1行
arr_splited_0 = np.split(arr, [2],axis=0)
arr_splited_0[0]
# array([[-1.0856306 ,  0.99734545,  0.2829785 , -1.50629471],
#       [-0.57860025,  1.65143654, -2.42667924, -0.42891263]])

arr_splited_0[1]
# array([[ 1.26593626, -0.8667404 , -0.67888615, -0.09470897]])

print(arr.shape)
arr_3, arr_4 = np.hsplit(arr, [2]) # 機能しない
arr_5, arr_6 = np.vsplit(arr, [1]) # 機能しない
(3, 4)
#転置行列
arr = np.array([[1,2,3],[4,5,6]])
# array([[1, 2, 3],
#        [4, 5, 6]])

arr.T
# array([[1, 4],
#        [2, 5],
#        [3, 6]])
array([[1, 4],
       [2, 5],
       [3, 6]])
# 次元の追加
arr = np.array([1,2,3,4])
arr  # array([1, 2, 3, 4])

arr_1 = arr[np.newaxis,:] # array([[1, 2, 3, 4]])

arr_2 = arr[:,np.newaxis]
# array([[1],
#        [2],
#        [3],
#        [4]])
# メッシュグリッドデータの生成
arr_x = np.array([1,2,3,4,5])
arr_y = np.array([10,20,30])
xx, yy =np.meshgrid(arr_x, arr_y)

xx
# array([[1, 2, 3, 4, 5],
#        [1, 2, 3, 4, 5],
#        [1, 2, 3, 4, 5]])

yy
# array([[10, 10, 10, 10, 10],
#       [20, 20, 20, 20, 20],
#       [30, 30, 30, 30, 30]])
array([[10, 10, 10, 10, 10],
       [20, 20, 20, 20, 20],
       [30, 30, 30, 30, 30]])
# ユニバーサルファンクション（一括変換）

# 各成分を全て絶対値にする
arr = [5, -12, -3 , 2]
np.abs(arr) # array([ 5, 12,  3,  2])

# sin cos tan
arr = np.linspace(0, 2*np.pi, 100)
np.sin(arr)
array([ 0.00000000e+00,  6.34239197e-02,  1.26592454e-01,  1.89251244e-01,
        2.51147987e-01,  3.12033446e-01,  3.71662456e-01,  4.29794912e-01,
        4.86196736e-01,  5.40640817e-01,  5.92907929e-01,  6.42787610e-01,
        6.90079011e-01,  7.34591709e-01,  7.76146464e-01,  8.14575952e-01,
        8.49725430e-01,  8.81453363e-01,  9.09631995e-01,  9.34147860e-01,
        9.54902241e-01,  9.71811568e-01,  9.84807753e-01,  9.93838464e-01,
        9.98867339e-01,  9.99874128e-01,  9.96854776e-01,  9.89821442e-01,
        9.78802446e-01,  9.63842159e-01,  9.45000819e-01,  9.22354294e-01,
        8.95993774e-01,  8.66025404e-01,  8.32569855e-01,  7.95761841e-01,
        7.55749574e-01,  7.12694171e-01,  6.66769001e-01,  6.18158986e-01,
        5.67059864e-01,  5.13677392e-01,  4.58226522e-01,  4.00930535e-01,
        3.42020143e-01,  2.81732557e-01,  2.20310533e-01,  1.58001396e-01,
        9.50560433e-02,  3.17279335e-02, -3.17279335e-02, -9.50560433e-02,
       -1.58001396e-01, -2.20310533e-01, -2.81732557e-01, -3.42020143e-01,
       -4.00930535e-01, -4.58226522e-01, -5.13677392e-01, -5.67059864e-01,
       -6.18158986e-01, -6.66769001e-01, -7.12694171e-01, -7.55749574e-01,
       -7.95761841e-01, -8.32569855e-01, -8.66025404e-01, -8.95993774e-01,
       -9.22354294e-01, -9.45000819e-01, -9.63842159e-01, -9.78802446e-01,
       -9.89821442e-01, -9.96854776e-01, -9.99874128e-01, -9.98867339e-01,
       -9.93838464e-01, -9.84807753e-01, -9.71811568e-01, -9.54902241e-01,
       -9.34147860e-01, -9.09631995e-01, -8.81453363e-01, -8.49725430e-01,
       -8.14575952e-01, -7.76146464e-01, -7.34591709e-01, -6.90079011e-01,
       -6.42787610e-01, -5.92907929e-01, -5.40640817e-01, -4.86196736e-01,
       -4.29794912e-01, -3.71662456e-01, -3.12033446e-01, -2.51147987e-01,
       -1.89251244e-01, -1.26592454e-01, -6.34239197e-02, -2.44929360e-16])
# 自然対数　底 = ネピア数 e
arr = np.array([0, 1, 2, 3])
np.log(arr) #[      -inf 0.         0.69314718 1.09861229]

# 常用対数　底 = 10
np.log10(arr) #array([      -inf, 0.        , 0.30103   , 0.47712125])

# exp()
np.exp(1) # 2.718281828459045
C:\Users\omoiy\Anaconda3\lib\site-packages\ipykernel_launcher.py:3: RuntimeWarning: divide by zero encountered in log
  This is separate from the ipykernel package so we can avoid doing imports until
C:\Users\omoiy\Anaconda3\lib\site-packages\ipykernel_launcher.py:6: RuntimeWarning: divide by zero encountered in log10
  
2.718281828459045
# ブロードキャス（自動拡張計算）
arr = np.array([[1,2,3], [4,5,6]])
arr2 =np.array([10,10,10])
arr_sum = arr + arr2
# array([[11, 12, 13],   # 2行ともに和算されている
#        [14, 15, 16]])

arr = np.array([[1,2,3], [4,5,6]])
arr2 =np.array([10,10,10])
arr_sub = arr - arr2
# array([[-9, -8, -7], # 2行ともに差算されている
#       [-6, -5, -4]])

arr = np.array([[1,2,3], [4,5,6]])
arr2 =np.array([10,100,1000])
arr_multi = arr * arr2
# array([[  10,  200, 3000],  # 2行ともに乗算されている
#        [  40,  500, 6000]])


arr = np.array([1,2,3])
arr2 = np.array([[1], [2], [3]])
arr + arr2
# array([[2, 3, 4], # 3x3行列に和算される
#       [3, 4, 5],
#       [4, 5, 6]])

# 自分の平均からの距離をそれぞれ求める
arr = np.array([[1,2,3], [4,5,6]])
arr2 = arr - np.mean(arr)
# array([[-2.5, -1.5, -0.5],
#        [ 0.5,  1.5,  2.5]])

# スカラーを乗ずる
arr = np.array([[1,2,3], [4,5,6]])
arr2 = arr * 10
# array([[10, 20, 30],
#        [40, 50, 60]])

# 3乗する
arr = np.array([[1,2,3], [4,5,6]])
arr2 = arr ** 3 
# array([[  1,   8,  27],
#        [ 64, 125, 216]], dtype=int32)

# ゼロを含んだ行列で除算をするときのテクニック
arr = np.array([[1,2,3], [4,5,6]])
arr2 =np.array([0,10,100])
arr_div = arr / (arr2 + 1e-6)
# array([[1.00000000e+06, 1.99999980e-01, 2.99999997e-02],
#        [4.00000000e+06, 4.99999950e-01, 5.99999994e-02]])
# ドット積
arr = np.array([[1,2,3], [4,5,6]])
arr2 = np.array([[10], [20], [30]])
np.dot(arr, arr2)
# array([[140],
#        [320]])

"""
arr @ arr2 でも良い
"""
array([[140],
       [320]])
# 判定　論理値
arr = np.array([[1,2,3], [4,5,6]])
arr > 3
# array([[False, False, False],
#        [ True,  True,  True]])

# ゼロでない要素数をカウントする
np.count_nonzero(arr) # 6

# 論理式と共に使えば、条件にある要素数をカウントできる
np.count_nonzero(arr > 3) # 3

# sum を使ってもできる （True=1なので）
np.sum(arr > 3) # 3

# 全要素が条件に入るか
np.all(arr > 0) # True
np.all(arr > 1) # False

# 条件に入る要素だけを取り出す
arr_true = arr[arr > 2]
arr_true # array([3, 4, 5, 6])

# 比較
arr = np.array([[1,2,3], [4,5,6]])
arr2 =np.array([1,2,3])
arr == arr2
# array([[ True,  True,  True], #ブロードキャストが有効になっている
#        [False, False, False]])

# 条件に合うものだけを抽出
arr = np.array([[1,2,3], [4,5,6]])
arr2 = np.array([1,2,3])
arr3 = np.array([1,10,100])

arr4 = arr[(arr == arr2) | (arr > 5)]
# array([1, 2, 3, 6])

# 浮動小数点誤差を無視しながら行列が同等か調べる
arr = np.array([[1,2,3], [4,5,6]])
arr2 = np.array([[1,2,3], [4,5,7]])
np.allclose(arr, arr2, atol=1) # True
# arr2 の最後のみ誤差１を含んでいるが、atolの許容誤差以内なので
# 同じ行列とみなされる
True
# 関数　と　メソド どちらでもいい
arr = np.array([1,2,3,4,5])
np.sum(arr) # 関数 15
arr.sum()   # メソド

# arrを定義した時点でarrはクラスのインスタンスに
# なっているのでメソドが使用できる
15

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280

281

282

283

284

285

286

287

288

289

290

291

292

293

294

295

296

297

298

299

300

301

302

303

304

305

306

307

308

309

310

311

312

313

314

315

316

317

318

319

320

321

322

323

324

325

326

327

328

329

330

331

332

333

334

335

336

337

338

339

340

341

342

343

344

345

346

347

348

349

350

351

352

353

354

355

356

357

358

359

360

361

362

363

364

365

366

367

368

369

370

371

372

373

374

375

376

377

378

379

380

381

382

383

384

385

386

387

388

389

390

391

392

393

394

395

396

397

398

399

400

401

402

403

404

405

406

407

408

409

410

411

412

413

414

415

416

417

418

419

420

421

422

423

424

425

426

427

428

429

430

431

432

433

434

435

436

437

438

439

440

441

442

443

444

445

446

447

448

449

450

451

452

453

454

455

456

457

458

459

460

461

462

463

464

465

466

467

468

# Text for Data_Analisys with Python

import numpy as np

# １次元配列

li = [1,2,3,4,5] # [1,2,3,4,5]

arr = np.array(li) # array([1, 2, 3, 4, 5]

type(arr) # numpy.ndarray

arr.shape #(5,)

(5,)

#２次元配列

li = [[1,2,3,4],[5,6,7,8]] # [[1, 2, 3, 4], [5, 6, 7, 8]]

arr = np.array(li)

#array([[1, 2, 3, 4],

# [5, 6, 7, 8]])

arr.shape # (2, 4) ２行４列

(2, 4)

# 変形　reshape

li = [1,2,3,4,5,6]

arr = np.array(li)

arr = arr.reshape(2,3) # ２行３列に変形

#array([[1, 2, 3],

# [4, 5, 6]])

arr = arr.ravel() # "浅いコピー"で１次元配列にする

# array([1, 2, 3, 4, 5, 6])

arr = arr.reshape(2,3) # 再び２行３列に変形

#array([[1, 2, 3],

# [4, 5, 6]])

arr = arr.flatten() # "浅いコピー"で１次元配列にする

# array([1, 2, 3, 4, 5, 6])

"""補足

np.reshape(引数)はタプルで与えても同じ。

arr.reshape((2,3))

"""

'補足\nnp.reshape(引数)はタプルで与えても同じ。\narr.reshape((2,3))\n'

li = [1,2,3,4,5,6]

# リストのスライスは深いコピー

li_deep = li[:]

# リストの代入は浅いコピー

li_shallow =li

#確認

li_deep[3]=100

li_deep # [1, 2, 3, 100, 5, 6]

li #[1, 2, 3, 4, 5, 6]

li_shallow[4] = 200

li_shallow # [1, 2, 3, 4, 200, 6]

li # [1, 2, 3, 4, 200, 6] #元リストにも影響あり

"""深いコピーをするときは

スライスをするとよい。li2 = li[:]

正統な方法としては、li2=li.copy()

がある。

"""

'深いコピーをするときは\nスライスをするとよい。li2 = li[:]\n\n正統な方法としては、li2=li.copy()\nがある。\n'

li = [1,2,3,4,5,6]

arr = np.array(li)

# np.array() のスライスは浅いコピー

arr_shallow = arr[:]

arr_shallow # array([1, 2, 3, 4, 5, 6])

# 確認

arr_shallow[3] = 300

arr_shallow # array([ 1, 2, 3, 300, 5, 6])

arr # array([ 1, 2, 3, 300, 5, 6])

"""深いコピーするときは

li.copy()と同様に

arr.copy()をすればよい。

"""

li = [1,2,3,4,5,6]

arr = np.array(li)

arr_deep = arr.copy()

arr_deep[1] = 500

arr_deep # array([ 1, 500, 3, 4, 5, 6])

arr #array([1, 2, 3, 4, 5, 6])

"""

リストと　np.arrayの共通項を考慮すれば

深いコピーをするときは

li.copy() arr.copy()

を使用すれば良い。

"""

'\nリストと\u3000np.arrayの共通項を考慮すれば\n深いコピーをするときは\nli.copy() arr.copy()\nを使用すれば良い。\n'

# 数列を作成

np.arange(10)

# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

np.arange(3,10,2)

# array([3, 5, 7, 9])

np.arange

# ==== 乱数生成 ====

# 乱数 0 to 1 一様分布

np.random.seed(0) #乱数シードの固定　シード番号0と定義

arr = np.random.random((3,2)) #３行２列　タプルで入れる

# array([[0.5488135 , 0.71518937],

# [0.60276338, 0.54488318],

# [0.4236548 , 0.64589411]])

# 乱数 0 to 1 一様分布

np.random.seed(1)

np.random.rand(3,2) # random.randomと違ってタプルにしなくていい。

# array([[4.17022005e-01, 7.20324493e-01],

# [1.14374817e-04, 3.02332573e-01],

# [1.46755891e-01, 9.23385948e-02]])

array([[4.17022005e-01, 7.20324493e-01],

[1.14374817e-04, 3.02332573e-01],

[1.46755891e-01, 9.23385948e-02]])

# 乱数　整数の一様分布

np.random.seed(2)

np.random.randint(10) # 8

np.random.randint(0,10,(3,5))

# array([[8, 6, 2, 8, 7],

# [2, 1, 5, 4, 4],

# [5, 7, 3, 6, 4]])

array([[8, 6, 2, 8, 7],

[2, 1, 5, 4, 4],

[5, 7, 3, 6, 4]])

# 乱数 0.0以上　5,0未満の一様分布

np.random.seed(3)

np.random.uniform(0.0, 5.0, size=(2,3))

# array([[2.75398951, 3.54073911, 1.45452369],

# [2.55413803, 4.46473477, 4.48146544]])

array([[2.75398951, 3.54073911, 1.45452369],

[2.55413803, 4.46473477, 4.48146544]])

# 乱数　0-1 正規分布

np.random.seed(4)

np.random.randn(2,3)

# array([[ 0.05056171, 0.49995133, -0.99590893],

# [ 0.69359851, -0.41830152, -1.58457724]])

array([[ 0.05056171, 0.49995133, -0.99590893],

[ 0.69359851, -0.41830152, -1.58457724]])

# ==== 特殊行列生成 ====

# ゼロ行列

np.zeros((2,3)) #タプル

# array([[0., 0., 0.],

# [0., 0., 0.]])

# 単位行列

np.eye(2)

# array([[1., 0.],

# [0., 1.]])

#１の行列

np.ones((2,3)) #タプル

# array([[1., 1., 1.],

# [1., 1., 1.]])

# 任意の数の行列

np.full((2,3),2.71)

# array([[2.71, 2.71, 2.71],

# [2.71, 2.71, 2.71]])

# np.nanの行列

np.array([1,2,np.nan,4])

# array([ 1., 2., nan, 4.])

type(np.nan) # as float

"""

np.nanは floatとして扱われる。

numpyでは同じタイプでないと計算できない。

欠損値を扱うための措置

"""

print(np.nan * 100) # nan

nan

# ==== 均等割り 0 - 5を 6等分 ====

np.linspace(0,5,6) #array([0., 1., 2., 3., 4., 5.])

array([0., 1., 2., 3., 4., 5.])

# ==== 等差数列 ====

arr1 = np.array([1,1,2,3,4,4,6])

arr2 = np.diff(arr1) # array([0, 1, 1, 1, 0, 2])

# ==== 連結 ====

arr3 = [1,2,3]

arr4 = [10,20,30]

arr_cat = np.concatenate([arr3,arr4])

# array([ 1, 2, 3, 10, 20, 30])

# 連結　縦ベクトル（2次元配列）

arr = np.array([[1], [2], [3]])

# array([[1],

# [2],

# [3]])

arr1 = np.array([[4], [5] ,[6]])

# array([[4],

# [5],

# [6]])

arr_cat = np.concatenate([arr, arr1],axis=1) #軸を列に指定すること

# array([[1, 4],

# [2, 5],

# [3, 6]])

# 連結 np.hstack

arr = np.array([[1], [2], [3]])

arr1 = np.array([[4], [5] ,[6]])

arr_hstacked = np.hstack([arr,arr1])

# array([[1, 4],

# [2, 5],

# [3, 6]])

# 連結 np.vstack

arr = np.array([1,2,3,4,5])

arr1 = np.array([10,20,30,40,50])

arr_vstacked = np.vstack([arr,arr1])

# array([[ 1, 2, 3, 4, 5],

# [10, 20, 30, 40, 50]])

# ==== 分割 ====

np.random.seed(123)

arr = np.random.randn(12).reshape(3,4)

# array([[-1.0856306 , 0.99734545, 0.2829785 , -1.50629471],

# [-0.57860025, 1.65143654, -2.42667924, -0.42891263],

# [ 1.26593626, -0.8667404 , -0.67888615, -0.09470897]])

#　列を分割 1つ目は3列　2つ目は残りの1列

arr_splited_1 = np.split(arr,[3],axis=1)

arr_splited_1[0]

# array([[-1.0856306 , 0.99734545, 0.2829785 ],

# [-0.57860025, 1.65143654, -2.42667924],

# [ 1.26593626, -0.8667404 , -0.67888615]])

arr_splited_1[1]

# array([[-1.50629471],

# [-0.42891263],

# [-0.09470897]])

# 行を分割 1つ目は2行　2つ目は残りの1行

arr_splited_0 = np.split(arr, [2],axis=0)

arr_splited_0[0]

# array([[-1.0856306 , 0.99734545, 0.2829785 , -1.50629471],

# [-0.57860025, 1.65143654, -2.42667924, -0.42891263]])

arr_splited_0[1]

# array([[ 1.26593626, -0.8667404 , -0.67888615, -0.09470897]])

print(arr.shape)

arr_3, arr_4 = np.hsplit(arr, [2]) # 機能しない

arr_5, arr_6 = np.vsplit(arr, [1]) # 機能しない

(3, 4)

#転置行列

arr = np.array([[1,2,3],[4,5,6]])

# array([[1, 2, 3],

# [4, 5, 6]])

arr.T

# array([[1, 4],

# [2, 5],

# [3, 6]])

array([[1, 4],

[2, 5],

[3, 6]])

# 次元の追加

arr = np.array([1,2,3,4])

arr # array([1, 2, 3, 4])

arr_1 = arr[np.newaxis,:] # array([[1, 2, 3, 4]])

arr_2 = arr[:,np.newaxis]

# array([[1],

# [2],

# [3],

# [4]])

# メッシュグリッドデータの生成

arr_x = np.array([1,2,3,4,5])

arr_y = np.array([10,20,30])

xx, yy =np.meshgrid(arr_x, arr_y)

# array([[1, 2, 3, 4, 5],

# [1, 2, 3, 4, 5],

# [1, 2, 3, 4, 5]])

# array([[10, 10, 10, 10, 10],

# [20, 20, 20, 20, 20],

# [30, 30, 30, 30, 30]])

array([[10, 10, 10, 10, 10],

[20, 20, 20, 20, 20],

[30, 30, 30, 30, 30]])

# ユニバーサルファンクション（一括変換）

# 各成分を全て絶対値にする

arr = [5, -12, -3 , 2]

np.abs(arr) # array([ 5, 12, 3, 2])

# sin cos tan

arr = np.linspace(0, 2*np.pi, 100)

np.sin(arr)

array([ 0.00000000e+00, 6.34239197e-02, 1.26592454e-01, 1.89251244e-01,

2.51147987e-01, 3.12033446e-01, 3.71662456e-01, 4.29794912e-01,

4.86196736e-01, 5.40640817e-01, 5.92907929e-01, 6.42787610e-01,

6.90079011e-01, 7.34591709e-01, 7.76146464e-01, 8.14575952e-01,

8.49725430e-01, 8.81453363e-01, 9.09631995e-01, 9.34147860e-01,

9.54902241e-01, 9.71811568e-01, 9.84807753e-01, 9.93838464e-01,

9.98867339e-01, 9.99874128e-01, 9.96854776e-01, 9.89821442e-01,

9.78802446e-01, 9.63842159e-01, 9.45000819e-01, 9.22354294e-01,

8.95993774e-01, 8.66025404e-01, 8.32569855e-01, 7.95761841e-01,

7.55749574e-01, 7.12694171e-01, 6.66769001e-01, 6.18158986e-01,

5.67059864e-01, 5.13677392e-01, 4.58226522e-01, 4.00930535e-01,

3.42020143e-01, 2.81732557e-01, 2.20310533e-01, 1.58001396e-01,

9.50560433e-02, 3.17279335e-02, -3.17279335e-02, -9.50560433e-02,

-1.58001396e-01, -2.20310533e-01, -2.81732557e-01, -3.42020143e-01,

-4.00930535e-01, -4.58226522e-01, -5.13677392e-01, -5.67059864e-01,

-6.18158986e-01, -6.66769001e-01, -7.12694171e-01, -7.55749574e-01,

-7.95761841e-01, -8.32569855e-01, -8.66025404e-01, -8.95993774e-01,

-9.22354294e-01, -9.45000819e-01, -9.63842159e-01, -9.78802446e-01,

-9.89821442e-01, -9.96854776e-01, -9.99874128e-01, -9.98867339e-01,

-9.93838464e-01, -9.84807753e-01, -9.71811568e-01, -9.54902241e-01,

-9.34147860e-01, -9.09631995e-01, -8.81453363e-01, -8.49725430e-01,

-8.14575952e-01, -7.76146464e-01, -7.34591709e-01, -6.90079011e-01,

-6.42787610e-01, -5.92907929e-01, -5.40640817e-01, -4.86196736e-01,

-4.29794912e-01, -3.71662456e-01, -3.12033446e-01, -2.51147987e-01,

-1.89251244e-01, -1.26592454e-01, -6.34239197e-02, -2.44929360e-16])

# 自然対数　底 = ネピア数 e

arr = np.array([0, 1, 2, 3])

np.log(arr) #[ -inf 0. 0.69314718 1.09861229]

# 常用対数　底 = 10

np.log10(arr) #array([ -inf, 0. , 0.30103 , 0.47712125])

# exp()

np.exp(1) # 2.718281828459045

C:\Users\omoiy\Anaconda3\lib\site-packages\ipykernel_launcher.py:3: RuntimeWarning: divide by zero encountered in log

This is separate from the ipykernel package so we can avoid doing imports until

C:\Users\omoiy\Anaconda3\lib\site-packages\ipykernel_launcher.py:6: RuntimeWarning: divide by zero encountered in log10

2.718281828459045

# ブロードキャス（自動拡張計算）

arr = np.array([[1,2,3], [4,5,6]])

arr2 =np.array([10,10,10])

arr_sum = arr + arr2

# array([[11, 12, 13], # 2行ともに和算されている

# [14, 15, 16]])

arr = np.array([[1,2,3], [4,5,6]])

arr2 =np.array([10,10,10])

arr_sub = arr - arr2

# array([[-9, -8, -7], # 2行ともに差算されている

# [-6, -5, -4]])

arr = np.array([[1,2,3], [4,5,6]])

arr2 =np.array([10,100,1000])

arr_multi = arr * arr2

# array([[ 10, 200, 3000], # 2行ともに乗算されている

# [ 40, 500, 6000]])

arr = np.array([1,2,3])

arr2 = np.array([[1], [2], [3]])

arr + arr2

# array([[2, 3, 4], # 3x3行列に和算される

# [3, 4, 5],

# [4, 5, 6]])

# 自分の平均からの距離をそれぞれ求める

arr = np.array([[1,2,3], [4,5,6]])

arr2 = arr - np.mean(arr)

# array([[-2.5, -1.5, -0.5],

# [ 0.5, 1.5, 2.5]])

# スカラーを乗ずる

arr = np.array([[1,2,3], [4,5,6]])

arr2 = arr * 10

# array([[10, 20, 30],

# [40, 50, 60]])

# 3乗する

arr = np.array([[1,2,3], [4,5,6]])

arr2 = arr ** 3

# array([[ 1, 8, 27],

# [ 64, 125, 216]], dtype=int32)

# ゼロを含んだ行列で除算をするときのテクニック

arr = np.array([[1,2,3], [4,5,6]])

arr2 =np.array([0,10,100])

arr_div = arr / (arr2 + 1e-6)

# array([[1.00000000e+06, 1.99999980e-01, 2.99999997e-02],

# [4.00000000e+06, 4.99999950e-01, 5.99999994e-02]])

# ドット積

arr = np.array([[1,2,3], [4,5,6]])

arr2 = np.array([[10], [20], [30]])

np.dot(arr, arr2)

# array([[140],

# [320]])

"""

arr @ arr2 でも良い

"""

array([[140],

[320]])

# 判定　論理値

arr = np.array([[1,2,3], [4,5,6]])

arr > 3

# array([[False, False, False],

# [ True, True, True]])

# ゼロでない要素数をカウントする

np.count_nonzero(arr) # 6

# 論理式と共に使えば、条件にある要素数をカウントできる

np.count_nonzero(arr > 3) # 3

# sum を使ってもできる（True=1なので）

np.sum(arr > 3) # 3

# 全要素が条件に入るか

np.all(arr > 0) # True

np.all(arr > 1) # False

# 条件に入る要素だけを取り出す

arr_true = arr[arr > 2]

arr_true # array([3, 4, 5, 6])

# 比較

arr = np.array([[1,2,3], [4,5,6]])

arr2 =np.array([1,2,3])

arr == arr2

# array([[ True, True, True], #ブロードキャストが有効になっている

# [False, False, False]])

# 条件に合うものだけを抽出

arr = np.array([[1,2,3], [4,5,6]])

arr2 = np.array([1,2,3])

arr3 = np.array([1,10,100])

arr4 = arr[(arr == arr2) | (arr > 5)]

# array([1, 2, 3, 6])

# 浮動小数点誤差を無視しながら行列が同等か調べる

arr = np.array([[1,2,3], [4,5,6]])

arr2 = np.array([[1,2,3], [4,5,7]])

np.allclose(arr, arr2, atol=1) # True

# arr2 の最後のみ誤差１を含んでいるが、atolの許容誤差以内なので

# 同じ行列とみなされる

True

# 関数　と　メソドどちらでもいい

arr = np.array([1,2,3,4,5])

np.sum(arr) # 関数 15

arr.sum() # メソド

# arrを定義した時点でarrはクラスのインスタンスに

# なっているのでメソドが使用できる

機械学習：sklearnで３０日間の株価予測をやってみる

前回、pandas_datareaderで株価を取得してpandasで統計処理してmatplotlibで可視化するということをやりました。

今回は機械学習をやっていきましょう。

理屈：

ある１日の株価データのうち、High Low Open Close Volume AdjClose の６データと、さらにOpen Close から算出されるエンジニアリングデータ change　を含めて、計７つのデータを入力データとします。（ここまでは前回の話）

その正解データとして、３０日後の終値Closeを定義します。

数学モデルは線形回帰モデルを使います。複数の入力データがあるので重回帰分析と呼ばれています。

y : 正解データ
x1～x7：入力データ
a1～a7：回帰パラメータ　偏回帰係数とも呼ばれます
error：入力データと正解データの差（誤差）　数学モデル上では切片に相当します

y　=　(a1*x1) + (a2*x2) + (a3*x3) + (a4*x4) + (a5*x5) + (a6*x6) + (a7*x7) + ierror

たくさんの入力データ（１日１データ）をこのモデルに入力して、正解データと入力データの Σ(ai*xi) の部分との差 errorがトータルでできるだけ小さくなるように、最小二乗法を使って ai を決めていきます。

その結果、予測モデルが確定しますので、３０日前から現在までの入力データを代入すれば、それぞれの日に対して３０日後の終値が予測されます。

# 終値を30日間前にずらしたcolumnを作成します。

ずらされた部分はNaNという値なしの状態で埋められます。

# 機械学習
df_nvda["label"] = df_nvda["Close"].shift(-30) #30日間過去にずらした。
df_nvda.tail(35)

# 機械学習

df_nvda["label"] = df_nvda["Close"].shift(-30) #30日間過去にずらした。

df_nvda.tail(35)

# 入力データを作成します

# 入力データを作成する
# labelとSMA列は除外して　High Low Open Close Volume AdjClose change の計７列を使用する
X = np.array(df_nvda.drop(["label","SMA"],axis=1))
X.shape # (1172, 7)

# 入力データはスケーリングする（平均を引いて標準偏差で割る）
X = sklearn.preprocessing.scale(X) 

# ３０日前から現在までのデータを予測に使用する入力データとして定義
predict_data = X[ -30 : ]
predict_data.shape # (30, 7)

# 直近３０日間を除外した入力データ
X = X[ : -30]
X.shape #(1142, 7)

# 入力データを作成する

# labelとSMA列は除外して　High Low Open Close Volume AdjClose change の計７列を使用する

X = np.array(df_nvda.drop(["label","SMA"],axis=1))

X.shape # (1172, 7)

# 入力データはスケーリングする（平均を引いて標準偏差で割る）

X = sklearn.preprocessing.scale(X)

# ３０日前から現在までのデータを予測に使用する入力データとして定義

predict_data = X[ -30 : ]

predict_data.shape # (30, 7)

# 直近３０日間を除外した入力データ

X = X[ : -30]

X.shape #(1142, 7)

# 正解データを定義します

# 正解データを定義 :30日後の終値のこと
y = np.array(df_nvda["label"])
y.shape #(1172,)


# 正解データのない部分を削除
y = y[ : -30]
y.shape #(1142,)

plt.plot(y)

# 正解データを定義 :30日後の終値のこと

y = np.array(df_nvda["label"])

y.shape #(1172,)

# 正解データのない部分を削除

y = y[ : -30]

y.shape #(1142,)

plt.plot(y)

# データを訓練用と検証用に分割して、学習モデルを選択して、学習させて、検証します

# データを訓練用と検証用に分割する
X_train, X_test, y_train, y_test = sklearn.model_selection.train_test_split(X, y, test_size = 0.2)

# 学習モデルを定義する（インスタンスの作成）
lr = sklearn.linear_model.LinearRegression()

# 学習する（fitメソド実行）
lr.fit(X_train, y_train)

#検証する
accuracy = lr.score(X_test, y_test)
accuracy # 0.9232607206984768

# データを訓練用と検証用に分割する

X_train, X_test, y_train, y_test = sklearn.model_selection.train_test_split(X, y, test_size = 0.2)

# 学習モデルを定義する（インスタンスの作成）

lr = sklearn.linear_model.LinearRegression()

# 学習する（fitメソド実行）

lr.fit(X_train, y_train)

#検証する

accuracy = lr.score(X_test, y_test)

accuracy # 0.9232607206984768

精度：92％　って出ています。(´・ω・`)

# 過去３０日間の入力データ predict_data から、それぞれ３０日後の未来終値データ predicted_dataを予測します。

# 過去３０日間の入力データ predict_data から、
# それぞれ３０日後の未来終値データ predicted_dataを予測する
predicted_data=lr.predict(predict_data)
predicted_data.shape # (30,)
predicted_data

# 過去３０日間の入力データ predict_data から、

# それぞれ３０日後の未来終値データ predicted_dataを予測する

predicted_data=lr.predict(predict_data)

predicted_data.shape # (30,)

predicted_data

# 可視化：予測結果

# 予測済みデータをデータフレームに追加するため、
# 予め、空データを入れておく
df_nvda["Predicted"] = np.nan

# 最終日indexを取得する
last_date = df_nvda.iloc[-1].name # Timestamp('2019-09-27 03:00:00')

# 1日の数値を定義（決まっている）
one_day = 86400

# 最終日に１日足す
next_unix = last_date.timestamp() + one_day

# 予測済みデータ
for data in predicted_data:
    
    # 日付を定義
    next_date=datetime.datetime.fromtimestamp(next_unix)
    
    # 1日カウントアップ
    next_unix += one_day
    
    # index（未来の日付）に予測終値を追加していく
    df_nvda.loc[next_date] = np.append([np.nan]*(len(df_nvda.columns)-1),data)

# 可視化：終値と予測終値
df_nvda["Close"].plot(figsize=(16,5),color="green")
df_nvda["Predicted"].plot(figsize=(16,5),color="orange")

# fig 保存
plt.savefig("predict_result.png")
plt.show()

last_date　＃Timestamp('2019-06-28 00:00:00')

# 予測済みデータをデータフレームに追加するため、

# 予め、空データを入れておく

df_nvda["Predicted"] = np.nan

# 最終日indexを取得する

last_date = df_nvda.iloc[-1].name # Timestamp('2019-09-27 03:00:00')

# 1日の数値を定義（決まっている）

one_day = 86400

# 最終日に１日足す

next_unix = last_date.timestamp() + one_day

# 予測済みデータ

for data in predicted_data:

# 日付を定義

next_date=datetime.datetime.fromtimestamp(next_unix)

# 1日カウントアップ

next_unix += one_day

# index（未来の日付）に予測終値を追加していく

df_nvda.loc[next_date] = np.append([np.nan]*(len(df_nvda.columns)-1),data)

# 可視化：終値と予測終値

df_nvda["Close"].plot(figsize=(16,5),color="green")

df_nvda["Predicted"].plot(figsize=(16,5),color="orange")

# fig 保存

plt.savefig("predict_result.png")

plt.show()

last_date　＃Timestamp('2019-06-28 00:00:00')

後ろの黄色いやつが未来の３０日間の株価予想です。

Linear Regression でも　まあまあそれっぽい答えは帰ってきますね。

機械学習：pandas_datareaderで株価を取得してpandasで統計処理してmatplotlibで可視化する

pandas_datareaderで株価を取得してpandasで統計処理してmatplotlibで可視化してみます。

次回は、sklearnで株価を予測してみますので、当該記事でpandas_datareaderの使い方を覚えてしまいましょう。

# 使用するモジュール群をインポート

# 使用するモジュール群をインポート
import datetime
import matplotlib.pyplot as plt
import numpy as np
import pandas_datareader
import sklearn
import sklearn.linear_model
import sklearn.model_selection

# 使用するモジュール群をインポート

import datetime

import matplotlib.pyplot as plt

import numpy as np

import pandas_datareader

import sklearn

import sklearn.linear_model

import sklearn.model_selection

# データウェアハウスからAPIを利用してデータを引っ張ってくる

# データウェアハウス
df_nvda = pandas_datareader.data.DataReader("NVDA","yahoo","2014-11-01")
df_aapl = pandas_datareader.data.DataReader("AAPL","yahoo","2014-11-01")
df_fb = pandas_datareader.data.DataReader("FB","yahoo","2014-11-01")
df_gold = pandas_datareader.data.DataReader("GLD","yahoo","2014-11-01")

# データウェアハウス

df_nvda = pandas_datareader.data.DataReader("NVDA","yahoo","2014-11-01")

df_aapl = pandas_datareader.data.DataReader("AAPL","yahoo","2014-11-01")

df_fb = pandas_datareader.data.DataReader("FB","yahoo","2014-11-01")

df_gold = pandas_datareader.data.DataReader("GLD","yahoo","2014-11-01")

#終値のチャートを可視化

#終値のチャートを可視化
df_nvda["Close"].plot(figsize=(16,5),color="green")
df_fb["Close"].plot(figsize=(16,5),color="blue")
df_gold["Close"].plot(figsize=(16,5),color="orange")

# figを保存
plt.savefig("chart_001.png")
plt.show()

#終値のチャートを可視化

df_nvda["Close"].plot(figsize=(16,5),color="green")

df_fb["Close"].plot(figsize=(16,5),color="blue")

df_gold["Close"].plot(figsize=(16,5),color="orange")

# figを保存

plt.savefig("chart_001.png")

plt.show()

# 統計処理：単純移動平均

# 統計処理

# 過去14日単純移動平均のcolumnを作成する
df_nvda["SMA"] = df_nvda["Close"].rolling(window=14).mean()

#終値と過去14日単純移動平均を比較したグラフを作成する
df_nvda["Close"].plot(figsize=(15,6), color="red")
df_nvda["SMA"].plot(figsize=(15,6), color="green")
plt.show()

# 過去14日単純移動平均が追加されたデータフレームを確認
df_nvda

# 統計処理

# 過去14日単純移動平均のcolumnを作成する

df_nvda["SMA"] = df_nvda["Close"].rolling(window=14).mean()

#終値と過去14日単純移動平均を比較したグラフを作成する

df_nvda["Close"].plot(figsize=(15,6), color="red")

df_nvda["SMA"].plot(figsize=(15,6), color="green")

plt.show()

# 過去14日単純移動平均が追加されたデータフレームを確認

df_nvda

#統計処理：変動率

# 始値に対する当日の変動率 % のcolumnを新規追加
df_nvda["change"] = ((df_nvda["Close"]-df_nvda["Open"])/df_nvda["Open"])*100
df_aapl["change"] = ((df_aapl["Close"]-df_aapl["Open"])/df_aapl["Open"])*100
df_fb["change"] = ((df_fb["Close"]-df_fb["Open"])/df_fb["Open"])*100
df_gold["change"] = ((df_gold["Close"]-df_gold["Open"])/df_gold["Open"])*100

# 直近１００日間の変動率 %　を可視化 
df_nvda["change"].tail(100).plot(figsize=(15,6), color="green")
df_aapl["change"].tail(100).plot(figsize=(15,6), color="red")
df_fb["change"].tail(100) .plot(figsize=(15,6), color="blue")
df_gold["change"].tail(100) .plot(figsize=(15,6), color="gold")

# 保存
plt.savefig("chart_variable.png")
plt.show()

# 始値に対する当日の変動率 % のcolumnを新規追加

df_nvda["change"] = ((df_nvda["Close"]-df_nvda["Open"])/df_nvda["Open"])*100

df_aapl["change"] = ((df_aapl["Close"]-df_aapl["Open"])/df_aapl["Open"])*100

df_fb["change"] = ((df_fb["Close"]-df_fb["Open"])/df_fb["Open"])*100

df_gold["change"] = ((df_gold["Close"]-df_gold["Open"])/df_gold["Open"])*100

# 直近１００日間の変動率 %　を可視化

df_nvda["change"].tail(100).plot(figsize=(15,6), color="green")

df_aapl["change"].tail(100).plot(figsize=(15,6), color="red")

df_fb["change"].tail(100) .plot(figsize=(15,6), color="blue")

df_gold["change"].tail(100) .plot(figsize=(15,6), color="gold")

# 保存

plt.savefig("chart_variable.png")

plt.show()

では、次回はこれをsklearnで機械学習して未来を予測してみます。

Python:csv,DataFrame,Matplotlibの操作例

データ処理のコード例です。

有限要素法解析のポストプロセッサJ-visionから吐き出される応力データを評価使用とすると、自分でデータをこねくり回す必要があります。エクセルではやってられないのでpythonで自動化しました。

私の使い方は、csvからデータフレームとして取り込む＞不要なデータを削除してデータフレームを整形する。＞欲しいデータになるように演算する＞結果を可視化する。という流れが多いです。

一度作ったら、クラス化しておけば後々改造するのが楽ちんになりますので、積極的にやっています。

やっていきましょう。モジュール群をインポートします。

#python3
"""
当該プログラムはLS-Dyna ポストプロセッサ J-Visionによる第１主応力、ミーゼス相当応力などのcsv出力データを取り込み
時系列最大値（場所は問わず）のグラフを出力するスクリプトです。Keita_Nakamori

"""
%matplotlib inline
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib.ticker as tick # 目盛り操作
import matplotlib.patches as patches # グラフ内へ図形を追加

#python3

"""

当該プログラムはLS-Dyna ポストプロセッサ J-Visionによる第１主応力、ミーゼス相当応力などのcsv出力データを取り込み

時系列最大値（場所は問わず）のグラフを出力するスクリプトです。Keita_Nakamori

"""

%matplotlib inline

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

import matplotlib.ticker as tick # 目盛り操作

import matplotlib.patches as patches # グラフ内へ図形を追加

クラスとメソドです。
csvファイルを読み込んでDataFrameを作成。整理します。

class jvision():
    def __init__(self):
        pass
    
    def show_graph(self,file_addr, save=True):
        """csvデータを読み込んで　データフレームとして整形し　グラフを出力する
        
        args:
            file_addr : csvファイルのアドレス.拡張子
            save      : 出力したグラフを file_addr.png　としてカレントディレクトリに保存する
        
        return : なし
        
        attribute :
            self.df            :整形したデータフレーム
            self.array_max     : 選択した全要素のうち、最大の応力を時系列に並べたリストを表示
            self.max           : 全時刻　選択した全要素の応力の最大値を算出
            self.array_impulse : 選択した全要素の応力の総和を時系列に並べたリスト
            self.impulse       : 全時刻　選択した全要素の力積の総和
                 
        
        """
        # ======== データの整形========
        
        #csvデータの１行目に空白があるのでデータフレームを作成する際に予め定義してエラーを回避する
        col_names = [ 'c{0:02d}'.format(i) for i in range(1000) ]

        #csvデータの１，２行目に日本語があるのでエンコーディングをshift-jisとしてエラーを回避する
        encoding="shift-jis"

        #データフレームを作成する
        df=pd.read_csv(file_addr,names=col_names, encoding="shift-jis")

        #不要なcolumnを削除する
        del df["c00"]

        #不要なindexを削除する
        df = df.drop(range(2))

        #timeをindexとして定義し、不要となったc0を削除する
        time = np.array(df["c01"])
        df.index = time
        del df["c01"]

        # データフレーム内の NAN を含むcolumを削除 .dropna
        df.shape              #削除前のシェイプ(102, 999)
        df = df.dropna(axis=1, how ="all")
        df = df.astype(float) #データフレームのあ中はすべて文字列になっているので数値化する
        df.shape              #削除後のシェイプ(102, 321)
        
        # ======== データの解析========
        
        # 各時刻ごとの最大値を算出
        df_max = df.max(axis=1) # kgf/mm2
        df_max =df_max *9.8     # MPa
        
        #全時刻の最大値を算出
        print(" Max stress in the data : {:.3f} MPa".format(df_max.max(axis=0)))  # MPa
        
        # Figureを設定        #最大値を算出
        df_max = df.max(axis=1) # kgf/mm2
        df_max =df_max *9.8  # MPa
        array_max =np.array(df_max) #np.arrayとして抽出
        fig = plt.figure(figsize=(10, 5))

        # グラフ描画領域を追加
        ax = fig.add_subplot(111)

        # Axesのタイトルを設定
        ax.set_title(file_addr, fontsize = 20)
        
        # 時間timeを表すdf.indexは文字列なのでfloatに変換する
        li=[]
        for i in df.index: 
            li.append(float(i))
        time = li
        
        # 全時刻　選択した全要素の力積の総和
        array_impulse = df.sum(axis=1)*(li[1]-li[0]) # 時系列の力積リスト
        impulse = array_impulse.sum(axis=0)          # 力積の最大値
        
        
        
        #アトリビュートを生成する
        self.df   = df
        self.time = time
        self.array_max = array_max
        self.max = df_max.max(axis=0)
        self.array_impulse = array_impulse
        self.impulse =impulse
        
        # ======== データの可視化========
        
        # データをプロット
        ax.plot(time, array_max,label="stress",color="red",marker="",linestyle="solid" ,linewidth=2 )
        ax.legend(fontsize=20,loc=1)
        plt.xlabel("time / sec",fontsize=20)
        plt.ylabel("Stress / MPa",fontsize=20)
        plt.tick_params(labelsize = 18)
        
        
        # x軸の目盛設定
        #ax.set_xticks( np.arange(0, 0.0010, 0.0002) )
        
        # y軸の目盛設定
        #ax.set_yticks(np.arange(0,1000,10))
        
        #ax.tick_params(direction = "inout", length = 5, colors = "black")
        
        #plt.gca().xaxis.set_minor_locator(tick.MultipleLocator(5))
        #plt.gca().yaxis.set_minor_locator(tick.MultipleLocator(0.1))
        
        
        # グリッド表示をONにする
        plt.grid(which='minor')
        ax.grid(True)
        
        #x,yのリミット範囲を定義する
        ax.set_xlim(0,0.001)
        ax.set_ylim(0,10000)
        
        #保存と表示
        if save==True:
            plt.savefig(file_addr+".png")

        return

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

class jvision():

def __init__(self):

pass

def show_graph(self,file_addr, save=True):

"""csvデータを読み込んで　データフレームとして整形し　グラフを出力する

args:

file_addr : csvファイルのアドレス.拡張子

save : 出力したグラフを file_addr.png　としてカレントディレクトリに保存する

return : なし

attribute :

self.df :整形したデータフレーム

self.array_max : 選択した全要素のうち、最大の応力を時系列に並べたリストを表示

self.max : 全時刻　選択した全要素の応力の最大値を算出

self.array_impulse : 選択した全要素の応力の総和を時系列に並べたリスト

self.impulse : 全時刻　選択した全要素の力積の総和

"""

# ======== データの整形========

#csvデータの１行目に空白があるのでデータフレームを作成する際に予め定義してエラーを回避する

col_names = [ 'c{0:02d}'.format(i) for i in range(1000) ]

#csvデータの１，２行目に日本語があるのでエンコーディングをshift-jisとしてエラーを回避する

encoding="shift-jis"

#データフレームを作成する

df=pd.read_csv(file_addr,names=col_names, encoding="shift-jis")

#不要なcolumnを削除する

del df["c00"]

#不要なindexを削除する

df = df.drop(range(2))

#timeをindexとして定義し、不要となったc0を削除する

time = np.array(df["c01"])

df.index = time

del df["c01"]

# データフレーム内の NAN を含むcolumを削除 .dropna

df.shape #削除前のシェイプ(102, 999)

df = df.dropna(axis=1, how ="all")

df = df.astype(float) #データフレームのあ中はすべて文字列になっているので数値化する

df.shape #削除後のシェイプ(102, 321)

# ======== データの解析========

# 各時刻ごとの最大値を算出

df_max = df.max(axis=1) # kgf/mm2

df_max =df_max *9.8 # MPa

#全時刻の最大値を算出

print(" Max stress in the data : {:.3f} MPa".format(df_max.max(axis=0))) # MPa

# Figureを設定 #最大値を算出

df_max = df.max(axis=1) # kgf/mm2

df_max =df_max *9.8 # MPa

array_max =np.array(df_max) #np.arrayとして抽出

fig = plt.figure(figsize=(10, 5))

# グラフ描画領域を追加

ax = fig.add_subplot(111)

# Axesのタイトルを設定

ax.set_title(file_addr, fontsize = 20)

# 時間timeを表すdf.indexは文字列なのでfloatに変換する

li=[]

for i in df.index:

li.append(float(i))

time = li

# 全時刻　選択した全要素の力積の総和

array_impulse = df.sum(axis=1)*(li[1]-li[0]) # 時系列の力積リスト

impulse = array_impulse.sum(axis=0) # 力積の最大値

#アトリビュートを生成する

self.df = df

self.time = time

self.array_max = array_max

self.max = df_max.max(axis=0)

self.array_impulse = array_impulse

self.impulse =impulse

# ======== データの可視化========

# データをプロット

ax.plot(time, array_max,label="stress",color="red",marker="",linestyle="solid" ,linewidth=2 )

ax.legend(fontsize=20,loc=1)

plt.xlabel("time / sec",fontsize=20)

plt.ylabel("Stress / MPa",fontsize=20)

plt.tick_params(labelsize = 18)

# x軸の目盛設定

#ax.set_xticks( np.arange(0, 0.0010, 0.0002) )

# y軸の目盛設定

#ax.set_yticks(np.arange(0,1000,10))

#ax.tick_params(direction = "inout", length = 5, colors = "black")

#plt.gca().xaxis.set_minor_locator(tick.MultipleLocator(5))

#plt.gca().yaxis.set_minor_locator(tick.MultipleLocator(0.1))

# グリッド表示をONにする

plt.grid(which='minor')

ax.grid(True)

#x,yのリミット範囲を定義する

ax.set_xlim(0,0.001)

ax.set_ylim(0,10000)

#保存と表示

if save==True:

plt.savefig(file_addr+".png")

return

クラスのインスタンスを作成して、メソドを実行します。

# インスタンスの作成
data = jvision()

# 読み込むファイルのアドレスを定義する
file_addr_li =[]

file_addr_li.append("case1_n0_principal_stress.csv")
file_addr_li.append("case1_n1_principal_stress.csv")
file_addr_li.append("case1_n2_principal_stress.csv")
file_addr_li.append("case2_n0_principal_stress.csv")
file_addr_li.append("case2_n1_principal_stress.csv")
file_addr_li.append("case2_n2_principal_stress.csv")
file_addr_li.append("case3_n0_principal_stress.csv")
file_addr_li.append("case3_n1_principal_stress.csv")
file_addr_li.append("case3_n2_principal_stress.csv")



# グラフ作成・保存・アトリビュートのメソド jvision.make_graph()を実行する

stress_dict={}
impulse_dict ={}

for file_addr in file_addr_li:
    data.show_graph(file_addr,save=True)
    
    # 応力の最大値をディクショナリで取得
    stress_dict[file_addr] = data.max # MPa
    
    # 力積の総和をディクショナリで取得
    impulse_dict[file_addr] = data.impulse # MPa・s

# インスタンスの作成

data = jvision()

# 読み込むファイルのアドレスを定義する

file_addr_li =[]

file_addr_li.append("case1_n0_principal_stress.csv")

file_addr_li.append("case1_n1_principal_stress.csv")

file_addr_li.append("case1_n2_principal_stress.csv")

file_addr_li.append("case2_n0_principal_stress.csv")

file_addr_li.append("case2_n1_principal_stress.csv")

file_addr_li.append("case2_n2_principal_stress.csv")

file_addr_li.append("case3_n0_principal_stress.csv")

file_addr_li.append("case3_n1_principal_stress.csv")

file_addr_li.append("case3_n2_principal_stress.csv")

# グラフ作成・保存・アトリビュートのメソド jvision.make_graph()を実行する

stress_dict={}

impulse_dict ={}

for file_addr in file_addr_li:

data.show_graph(file_addr,save=True)

# 応力の最大値をディクショナリで取得

stress_dict[file_addr] = data.max # MPa

# 力積の総和をディクショナリで取得

impulse_dict[file_addr] = data.impulse # MPa・s

結果整理１

#del stress_dict["case3_n0_principal_stress.csv"]
y=stress_dict.values()
x=range(len(y))
plt.bar(x,y)
plt.show()

#del stress_dict["case3_n0_principal_stress.csv"]

y=stress_dict.values()

x=range(len(y))

plt.bar(x,y)

plt.show()

結果整理２

#del impulse_dict["case3_n0_principal_stress.csv"]
y=impulse_dict.values()
x=range(len(y))
plt.bar(x,y)
plt.show()

#del impulse_dict["case3_n0_principal_stress.csv"]

y=impulse_dict.values()

x=range(len(y))

plt.bar(x,y)

plt.show()

以上、参考まで。

VR:Unity空間内をDayDreamコントローラーで歩く５（できました！）

今日は、キーボードからではなくて、デイドリームコントローラーからの入力を受け取るように改造していきます(´・ω・`)`


かなり前にSummonFunc()を作ったときにやったのを思い出しながらやってみます。
条件式：if (GvrControllerInput.ClickButtonDown)　でコントローラーのボタンがクリックされたことを認識したときに、関数SummonFunc()を実行しています。
関数SummonFunc()は任意のオブジェクトを任意の座標と向きを定義してヒエラルキーに追加（Instantiate）する内容になっています。
変更しましょう：
Gvrのメソドを利用していきましょう。
GvrControllerInput.以下のメソド

AppButtonDown     : アプリケーションボタンを押したとき
HomeButtonDown : ホームボタンを押したとき
ClickButtonDown   : タッチパッドボタンを押したとき
TouchDown               : タッチパッドに触れたとき
TouchPos                    : タッチパッドに触れている位置（Vector2）

if(GvrControllerInput.TouchDown)

tpX=0.5，tpY=0.5が中心で
前進はtpY<0.3のときにしよう
後退はtpY>0.7のときにしよう
右を向くのはtpX>0.7のときにしよう
左を向くのはtpX<0.3のときにしよう

もっといい方法があるかもしれないが、まずはこれでやってみよう。

スクリプト：PlayerMover2.cs

デイドリームコントローラーで動きました(´・ω・)

まだまだ、改良は必要ですが、とりあえず動くものはできました。

かれこれ、２日まるまるかかってしまいましたが、大きな前進です！

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class PlayerMover2 : MonoBehaviour
{
	[SerializeField] float angularVelocity = 60f;
	[SerializeField] float movingVelocity = 0.01f;
	float horizontalAngle = 0f;
	float frontMove = 0f;

//#if UNITY_EDITOR
	// Update is called once per frame
	void Update()
	{
		Vector2 tp = GvrControllerInput.TouchPos;

		Debug.Log("touchpad x = "+tp[0]);
		Debug.Log("touchpad y = " + tp[1]);

		// transformを取得 座標を取得 vector3形式
		Transform myTransform = this.transform;
		Vector3 moveDirection;

		//前進
		if (tp[1] <0.3f)
		{
			// 1updateごとに加算する値を計算
			var frontMove = (0.5f - tp[1]) * movingVelocity * Time.deltaTime;

			// 座標を1updateごとに加算 
			moveDirection = new Vector3(Mathf.Sin(myTransform.eulerAngles.y * Mathf.Deg2Rad),
										0,
										Mathf.Cos(myTransform.eulerAngles.y * Mathf.Deg2Rad));

			// myTransformを更新
			myTransform.position += moveDirection * frontMove;
		}

		//後退
		if (tp[1] > 0.7f)
		{
			// 1updateごとに加算する値を計算
			var frontMove = - (tp[1] - 0.5f) * movingVelocity * Time.deltaTime;

			// 座標を1updateごとに加算 
			moveDirection = new Vector3(Mathf.Sin(myTransform.eulerAngles.y * Mathf.Deg2Rad),
										0,
										Mathf.Cos(myTransform.eulerAngles.y * Mathf.Deg2Rad));

			// myTransformを更新
			myTransform.position += moveDirection * frontMove;
		}
		//右回転
		if (tp[0] > 0.7f)
		{
			// 1updateごとに加算する値を計算
			var horizontalRotation = (tp[0] - 0.5f) * angularVelocity * Time.deltaTime;

			// 座標を1updateごとに加算 
			horizontalAngle += horizontalRotation;

			// myTransformを更新
			myTransform.rotation = Quaternion.Euler(0f, horizontalAngle, 0f);
		}
		//左回転
		if (tp[0] < 0.3f)
		{
			// 1updateごとに加算する値を計算
			var horizontalRotation = (0.5f - tp[0]) * angularVelocity * Time.deltaTime;

			// 座標を1updateごとに加算 
			horizontalAngle -= horizontalRotation;

			// myTransformを更新
			myTransform.rotation = Quaternion.Euler(0f, horizontalAngle, 0f);
		}

		if (GvrControllerInput.AppButtonDown)
		{

		}

	}
//#endif
}

using System.Collections;

using System.Collections.Generic;

using UnityEngine;

public class PlayerMover2 : MonoBehaviour

{

[SerializeField] float angularVelocity = 60f;

[SerializeField] float movingVelocity = 0.01f;

float horizontalAngle = 0f;

float frontMove = 0f;

//#if UNITY_EDITOR

// Update is called once per frame

void Update()

{

Vector2 tp = GvrControllerInput.TouchPos;

Debug.Log("touchpad x = "+tp[0]);

Debug.Log("touchpad y = " + tp[1]);

// transformを取得座標を取得 vector3形式

Transform myTransform = this.transform;

Vector3 moveDirection;

//前進

if (tp[1] <0.3f)

{

// 1updateごとに加算する値を計算

var frontMove = (0.5f - tp[1]) * movingVelocity * Time.deltaTime;

// 座標を1updateごとに加算

moveDirection = new Vector3(Mathf.Sin(myTransform.eulerAngles.y * Mathf.Deg2Rad),

Mathf.Cos(myTransform.eulerAngles.y * Mathf.Deg2Rad));

// myTransformを更新

myTransform.position += moveDirection * frontMove;

}

//後退

if (tp[1] > 0.7f)

{

// 1updateごとに加算する値を計算

var frontMove = - (tp[1] - 0.5f) * movingVelocity * Time.deltaTime;

// 座標を1updateごとに加算

moveDirection = new Vector3(Mathf.Sin(myTransform.eulerAngles.y * Mathf.Deg2Rad),

Mathf.Cos(myTransform.eulerAngles.y * Mathf.Deg2Rad));

// myTransformを更新

myTransform.position += moveDirection * frontMove;

}

//右回転

if (tp[0] > 0.7f)

{

// 1updateごとに加算する値を計算

var horizontalRotation = (tp[0] - 0.5f) * angularVelocity * Time.deltaTime;

// 座標を1updateごとに加算

horizontalAngle += horizontalRotation;

// myTransformを更新

myTransform.rotation = Quaternion.Euler(0f, horizontalAngle, 0f);

}

//左回転

if (tp[0] < 0.3f)

{

// 1updateごとに加算する値を計算

var horizontalRotation = (0.5f - tp[0]) * angularVelocity * Time.deltaTime;

// 座標を1updateごとに加算

horizontalAngle -= horizontalRotation;

// myTransformを更新

myTransform.rotation = Quaternion.Euler(0f, horizontalAngle, 0f);

}

if (GvrControllerInput.AppButtonDown)

{

}

//#endif

}

起動直後になぜか、カメラが動いてしまいます。

後日調整が必要です。

VR:Unity空間内をDayDreamコントローラーで歩く４（まずはキーボードから）

前回は結局　ロコモーションもスクリプトがおかしいですよーと警告が出てどうにもなりませんでした。しかも、ロコモーションアセットを全部消しても、ビルドができなくなるというわけわからん状態になったので、プロジェクトを捨てました。恐ろしいです。ここいらでちゃんとUnity勉強したほうがいいかもしれませんね。

基本に立ち返って、自分でカメラ操作のスクリプトを実装していこうと決意した次第であります。

今回の成果：大きな前進(´﹃｀)

キーボードのWASDまたは矢印キーでプレイヤー視点を移動することに成功しました。

スクリプト：PlayerMover.cs

動いた、嬉しい。

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class PlayerMover : MonoBehaviour
{
	[SerializeField] float angularVelocity = 100f;
	[SerializeField] float movingVelocity = 5f;
	float horizontalAngle =0f;
	float frontMove = 0f;


#if UNITY_EDITOR
	// Update is called once per frame
	void Update()
    {
		// transformを取得 座標を取得 vector3形式
		Transform myTransform = this.transform;
		Vector3 moveDirection;

		// 1updateごとに加算する値を計算
		var horizontalRotation = Input.GetAxis("Horizontal") * angularVelocity * Time.deltaTime;
		var frontMove = Input.GetAxis("Vertical") * movingVelocity * Time.deltaTime;

		// 座標を1updateごとに加算 
		horizontalAngle += horizontalRotation;
		moveDirection = new Vector3(Mathf.Sin(myTransform.eulerAngles.y * Mathf.Deg2Rad),
									0,
									Mathf.Cos(myTransform.eulerAngles.y * Mathf.Deg2Rad)) ;

		// myTransformを更新
		myTransform.rotation = Quaternion.Euler(0f, horizontalAngle, 0f);
		myTransform.position += moveDirection * frontMove;
	}
#endif
}

using System.Collections;

using System.Collections.Generic;

using UnityEngine;

public class PlayerMover : MonoBehaviour

{

[SerializeField] float angularVelocity = 100f;

[SerializeField] float movingVelocity = 5f;

float horizontalAngle =0f;

float frontMove = 0f;

#if UNITY_EDITOR

// Update is called once per frame

void Update()

{

// transformを取得座標を取得 vector3形式

Transform myTransform = this.transform;

Vector3 moveDirection;

// 1updateごとに加算する値を計算

var horizontalRotation = Input.GetAxis("Horizontal") * angularVelocity * Time.deltaTime;

var frontMove = Input.GetAxis("Vertical") * movingVelocity * Time.deltaTime;

// 座標を1updateごとに加算

horizontalAngle += horizontalRotation;

moveDirection = new Vector3(Mathf.Sin(myTransform.eulerAngles.y * Mathf.Deg2Rad),

Mathf.Cos(myTransform.eulerAngles.y * Mathf.Deg2Rad)) ;

// myTransformを更新

myTransform.rotation = Quaternion.Euler(0f, horizontalAngle, 0f);

myTransform.position += moveDirection * frontMove;

}

#endif

}

VR:Unity空間内をDayDreamコントローラーで歩く3（Unity 2019.3.0a5はアカン）

原因が分かりました。

Unity 2019.3.0a5に対して、Unity v1.200.0用GVR SDKの組み合わせは上手くいかないようです。

代わりにUnity 2019.1.5f1を使用することで、Unity v1.200.0用GVR SDKをインポートしても問題なくビルドできます。

プレイヤーセッティングでAPIレベルを変更できない問題も特に発生しません。

いつも通りに戻りました。本当によかった。

改めまして　環境

OS :　Windows 10 Home
Unity :　Unity Hub > Unity 2019.1.5f1
google VR SDK :　Unity v1.200.0用GVR SDK
ヘッドセット　：　Mirage Solo

UnityでのDaydream（3DoF）コントローラのサポート

説明ページに従ってやっていきます。

Gvrプレハブをヒエラルキーに配置します。

Google VRプレハブのあるシーン

PlayerとMain Camera と　GvrControllerPointerの座標設定

Playerの座標は目の高さy=1.4　原点付近に置いたオブジェクトが見える位置z=-3.0にします。

Main Cameraの座標はPayerの座標に一致させたいので、x,y,z =0,0,0 にします。

GvrControllerPointerの座標は左右の目の中心位置よりもy方向に-0.30 ,　z方向に-0.20とします。腕をくの字９０°に曲げた状態を想定しています。

聞き手は右手に設定します。(Gvr Tracked Controller(script) でController Hand=right　にする)

次にGvrControllerPinter直下のControllerVisualを設定していきます。

いよいよ、念願の歩く設定に入ります。

ロコモーション

テレポーテーション：瞬間移動

トンネリング；１人称視点移動（中心のみ普通の映像で、周囲は暗くなるのでトンネリングというらしい。）

チェイスカメラ：３人称視点

では　GitHubからダウンロード

DaydreamElements.unitypackage　をダウンロードしてプロジェクトにインポートしましょう。

なんかでた・・・。

＝＝＝再起動したら復活した。＝＝＝

気を取り直して、やっていきましょう。

＝＝＝＝でも　上手くいきません。眠いので以降は明日やります＝＝＝

手動でトンネリングを設定したい場合は、次の手順を実行します。

TunnelingVignetteメインカメラの兄弟としてプレハブのインスタンスを追加します。
スクリプトのインスタンスをFirstPersonTunnelingLocomotionメインカメラの親に追加します。
ではFirstPersonTunnelingLocomotion、スクリプトを参照ドラッグ TunnelingVignetteビネットコントローラのプロパティにします。
プレイヤーを衝突でブロックしたい場合は、メインカメラの親にキャラクターコントローラーを追加します。

Add an instance of the TunnelingVignette prefab as a sibling of the Main Camera.
Add an instance of the script FirstPersonTunnelingLocomotion to the parent of the Main Camera.
In the FirstPersonTunnelingLocomotion script, drag a reference to TunnelingVignette into the Vignette Controller property.
Optionally, add a Character Controller to the parent of the Main Camera if you want the player to be blocked by collisions.

うーん(*´﹃｀*)　FirstPersonTunnelingLocomotionがコンパイルされていないとこどーとか出て、アタッチできませんぬー。

VR:Unity空間内をDayDreamコントローラーで歩く２（全然無理）

Unity空間内をDayDreamコントローラーで歩くどころではなくなりました。

このUnityバージョンの重大な不具合を見つけました。

環境

OS :　Windows 10 Home
Unity :　Unity Hub > Unity 2019.3.0a5
google VR SDK :　Unity v1.200.0用GVR SDK
ヘッドセット　：　Mirage Solo

ビルドできません！！

ビルドしようにも、プレイヤーセッティングが白紙になってしまい何も設定できなくなります。

その場合の解消法としては、一旦プラットフォームをアンドロイドからPCに変更してから、再びアンドロイドに戻すと復活しました。ちなみにRun DeviceはDefault deviceのままでOKです。わざわざLenovo VRにする必要はありませんでした。

引き続き、やっていますが、再ビルドできなくなりました。

プロジェクトを新規に立ち上げてセットアップしましたが、恐ろしい不具合が・・・

APIレベルの変更ができないのです。というか、項目がないのです。

ここでビルドすると、失敗しますが、プレイヤーズセッティングの項目が増えてAPIレベルの変更ができるようになります。

でもビルドは成功しません。意味不明の状態であります。さあ、次はどうしましょうかね。

＝＝＝＝＝＝ビルド成功した手順＝＝＝＝＝

新規プロジェクトを作る
ヒエラルキーにプレーンを作る
シーンをセーブ
プロジェクトをセーブ
ビルドセッティングでまずアンドロイドへプラットホームを変更
プレイヤーセッティングスでカンパニーネームをTiに
XRセッティングスで　バーチャルリアリティサポートテッドにチェック
バーチャルリアリティSDKにDayDreamを追加
アザーセッティングスのグラフィックスAPIからVulkanを削除（VRに対応していない旨の傾向が出る）
アザーセッティングスのIdentificationのMinimum API Levelを24にしたいが、この時点ではgetting APIなんちゃらと、薄い字になっていて変更できない。
びるどえんどらーん　する。当然失敗するが、Minimum API Levelを19から24へ変更するよう警告がでる。
これによって、Minimum API Levelを24に変更できるようになるので、やる。
再び、びるどえんどらーん。
Mirage Soloをかぶると自動的にUnity画面が立上り、ゲームが開始される。
以後、このゲーム画面のまま、再度びるどえんどらーんをすると、自動的に強制停止されて、新しく更新されたゲーム画面に自動的に遷移する。

＝＝＝＝＝＝しかーし！！＝＝＝＝＝

世の中そんなに甘くはありません。

本題であります google VR アセットをインポートして、ビルドした瞬間。またでました。ディナーイのエラー　もう google VRは使いたくないので、 Mirage Solo 捨てて、Oculus Quest に乗り換えます。

2025年1月
月	火	水	木	金	土	日
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31

環境

ヒエラルキー

GvrBetaHeadsetの設定

カメラの設定とオブジェクト配置

MRとVR(オブジェクトだけ）を切り替えたいとき

スクリプト

弱点

今後

理屈：

# 終値を30日間前にずらしたcolumnを作成します。

# 入力データを作成します

# 正解データを定義します

# データを訓練用と検証用に分割して、学習モデルを選択して、学習させて、検証します

# 過去３０日間の入力データ predict_data から、それぞれ３０日後の未来終値データ predicted_dataを予測します。

# 可視化：予測結果

クラスとメソドです。 csvファイルを読み込んでDataFrameを作成。整理します。

クラスのインスタンスを作成して、メソドを実行します。

結果整理１

結果整理２

今日は、キーボードからではなくて、デイドリームコントローラーからの入力を受け取るように改造していきます(´・ω・)

変更しましょう：

if(GvrControllerInput.TouchDown)

スクリプト：PlayerMover2.cs

今回の成果：大きな前進(*´﹃｀*)

スクリプト：PlayerMover.cs

原因が分かりました。

改めまして 環境

いよいよ、念願の歩く設定に入ります。

環境

ビルドできません！！

＝＝＝＝＝＝ビルド成功した手順＝＝＝＝＝

＝＝＝＝＝＝ しかーし！！＝＝＝＝＝

さようなら、Google

クラスとメソドです。
csvファイルを読み込んでDataFrameを作成。整理します。

今日は、キーボードからではなくて、デイドリームコントローラーからの入力を受け取るように改造していきます(´・ω・`)`

今回の成果：大きな前進(´﹃｀)

改めまして　環境

＝＝＝＝＝＝しかーし！！＝＝＝＝＝