pytorch_linear_regression

線形回帰です。

下準備

!python.exe -m pip install --upgrade pip
!pip install --upgrade matplotlib
!pip install --upgrade numpy
!pip install --upgrade pandas
!pip install --upgrade matplotlib

!python.exe -m pip install --upgrade pip

!pip install --upgrade matplotlib

!pip install --upgrade numpy

!pip install --upgrade pandas

!pip install --upgrade matplotlib

モジュール

import torch
import torch.nn as nn
import torch.optim as optim
import matplotlib.pyplot as plt
import numpy as np
%matplotlib inline
plt.style.use('ggplot')

import torch

import torch.nn as nn

import torch.optim as optim

import matplotlib.pyplot as plt

import numpy as np

%matplotlib inline

plt.style.use('ggplot')

線形にノイズを乗せたサンプルデータを作成する。

# サンプルデータの生成
torch.manual_seed(0)
a = 3
b = 5
x = torch.linspace(0, 10, 101)# 0 から10まで101データ作成する 
x = x.view(101, 1) # 101行 x 1列に変形する　pytroch:batchの次元が頭にくる。そのあとに値
epsilon = torch.randn(101,1) # 101行 x 1列 ノイズデータとして　pytroch:batchの次元が頭にくる。そのあとに値
y = a * x + b + epsilon
plt.scatter(x, y)
plt.xlabel('x')
plt.ylabel('y')
plt.show()

# サンプルデータの生成

torch.manual_seed(0)

a = 3

b = 5

x = torch.linspace(0, 10, 101)# 0 から10まで101データ作成する

x = x.view(101, 1) # 101行 x 1列に変形する　pytroch:batchの次元が頭にくる。そのあとに値

epsilon = torch.randn(101,1) # 101行 x 1列ノイズデータとして　pytroch:batchの次元が頭にくる。そのあとに値

y = a * x + b + epsilon

plt.scatter(x, y)

plt.xlabel('x')

plt.ylabel('y')

plt.show()

適当な一次関数を乗せる

class LinearRegression(nn.Module): # 継承 def __init__(self):
        super().__init__() # まず親クラスの初期化（継承しているため）
        self.linear = nn.Linear(in_features=1, out_features=1)#入力xひとつ　出力yひとつ
        
    def forward(self, x):
        output = self.linear(x)
        return output
```


```python
# 訓練前の出力を確認する

plt.scatter(x.detach().numpy(), y,label='y_data')
plt.xlabel('x')
plt.ylabel('y')

model = LinearRegression()
y_before_trainning = model.forward(x)

plt.plot(x.detach().numpy(), y_before_trainning.detach().numpy(), label='y_before_trainning')# detach()が必要

plt.xlabel('x')
plt.ylabel('y')

plt.legend()
plt.show()

class LinearRegression(nn.Module): # 継承 def __init__(self):

super().__init__() # まず親クラスの初期化（継承しているため）

self.linear = nn.Linear(in_features=1, out_features=1)#入力xひとつ　出力yひとつ

def forward(self, x):

output = self.linear(x)

return output

```

```python

# 訓練前の出力を確認する

plt.scatter(x.detach().numpy(), y,label='y_data')

plt.xlabel('x')

plt.ylabel('y')

model = LinearRegression()

y_before_trainning = model.forward(x)

plt.plot(x.detach().numpy(), y_before_trainning.detach().numpy(), label='y_before_trainning')# detach()が必要

plt.xlabel('x')

plt.ylabel('y')

plt.legend()

plt.show()

あってないので学習していく

# 学習していく
criterion = nn.MSELoss() # 損失関数を定義
optimizer = optim.Adam(model.parameters(), lr=0.001) # オプティマイザーを定義 学習率を定義
```


```python
losses = []
num_epoch = 10000
for epoch in range(num_epoch):
    # バッチ学習とする
    
    optimizer.zero_grad() # オプティマイザーの初期化
    y_pred = model(x) # xをネットワークへ入力してyを予測する
    loss = criterion(y_pred, y) # 予測したyと 正解データyとの損失関数を求める
    loss.backward() # 損失関数lossの勾配を求める
    optimizer.step() # オプティマイザーを使って重みパラメータを更新する
    
    # epoch 10 毎に損失を出力する
    if epoch % 10 == 0:
        print(f'epoch : {epoch} , loss : {loss}')
        
    losses.append(loss.detach().numpy()) # 損失の履歴をリストに保存する
```

    epoch : 0 , loss : 102.21257019042969
    epoch : 10 , loss : 101.25241088867188
    epoch : 20 , loss : 100.2987289428711
    epoch : 30 , loss : 99.35151672363281

    epoch : 9960 , loss : 0.9862185120582581
    epoch : 9970 , loss : 0.9861779808998108
    epoch : 9980 , loss : 0.9861387610435486
    epoch : 9990 , loss : 0.9861003160476685

plt.plot(losses)

# 学習していく

criterion = nn.MSELoss() # 損失関数を定義

optimizer = optim.Adam(model.parameters(), lr=0.001) # オプティマイザーを定義学習率を定義

```

```python

losses = []

num_epoch = 10000

for epoch in range(num_epoch):

# バッチ学習とする

optimizer.zero_grad() # オプティマイザーの初期化

y_pred = model(x) # xをネットワークへ入力してyを予測する

loss = criterion(y_pred, y) # 予測したyと正解データyとの損失関数を求める

loss.backward() # 損失関数lossの勾配を求める

optimizer.step() # オプティマイザーを使って重みパラメータを更新する

# epoch 10 毎に損失を出力する

if epoch % 10 == 0:

print(f'epoch : {epoch} , loss : {loss}')

losses.append(loss.detach().numpy()) # 損失の履歴をリストに保存する

```

epoch : 0 , loss : 102.21257019042969

epoch : 10 , loss : 101.25241088867188

epoch : 20 , loss : 100.2987289428711

epoch : 30 , loss : 99.35151672363281

epoch : 9960 , loss : 0.9862185120582581

epoch : 9970 , loss : 0.9861779808998108

epoch : 9980 , loss : 0.9861387610435486

epoch : 9990 , loss : 0.9861003160476685

plt.plot(losses)

学習結果

plt.scatter(x.detach().numpy(), y,label='y_data')
plt.xlabel('x')
plt.ylabel('y')

plt.plot(x.detach().numpy(), y_before_trainning.detach().numpy(), label='y_before_trainning')# detach()が必要

plt.xlabel('x')
plt.ylabel('y')

plt.plot(x.detach().numpy(), y_pred.detach().numpy(), label='y_pred')# detach()が必要

plt.xlabel('x')
plt.ylabel('y')

plt.legend()
plt.show()
```

plt.scatter(x.detach().numpy(), y,label='y_data')

plt.xlabel('x')

plt.ylabel('y')

plt.plot(x.detach().numpy(), y_before_trainning.detach().numpy(), label='y_before_trainning')# detach()が必要

plt.xlabel('x')

plt.ylabel('y')

plt.plot(x.detach().numpy(), y_pred.detach().numpy(), label='y_pred')# detach()が必要

plt.xlabel('x')

plt.ylabel('y')

plt.legend()

plt.show()

```

以上

dezeroでニューラルネットワーク２ model, optimizer, MSEをフル活用

dezeroでニューラルネットワークを使った回帰をやってみる２

dezeroに搭載されている、model, optimizer, MSEをフル活用したバージョンです。

結果は前回と同様によく回帰できていますね。

損失の減り方がとても早いです。今回はAdamを使っているのでうまく昨日しているようです。悩んだらAdamは間違ってないようです。

スクリプトはこちらに貼っておきます。

# ニューラルネットワークで回帰（レイヤ　モデル　最適化手法）
import numpy as np
from dezero import Variable
from dezero import Model
import dezero.layers as L
import dezero.functions as F
from dezero import optimizers

# データサンプルを生成
np.random.seed(0)
x = np.random.rand(100, 1) # 行x列
y = np.sin(2*np.pi*x)+np.random.rand(100,1)
plt.plot(x,y,'o')

# 学習
lr = 0.1
iters = 100000
loss_list = []
iters_list = []

# モデルをdezeroから継承する
class TwoLayerNet(Model):
    def __init__(self, hidden_size, out_size):
        super().__init__()
        self.l1 = L.Linear(hidden_size)
        self.l2 = L.Linear(out_size)
        
    def forward(self, x):
        y = F.sigmoid(self.l1(x))
        y = self.l2(y)
        return y

# モデルのインスタンスを作成
model = TwoLayerNet(10, 1)#隠れ層のサイズ, 出力層のサイズ

# オプティマイザを生成
#optimizer = optimizers.SGD(lr) # 最初にお世話になるSGD
optimizer = optimizers.Adam(lr) # 悩んだらアダム
optimizer.setup(model) # モデルのセットアップする　意味不明。

""" いらないくなった
# dezero変数へ変換
x, y = Variable(x), Variable(y)

# NNのパラメータの初期化
I, H, O = 1, 10, 1
W1 = Variable(0.01 * np.random.randn(I, H))
b1 = Variable(np.zeros(H))
W2 = Variable(0.01 * np.random.rand(H, O))
b2 = Variable(np.zeros(O))

# 推論：ニューラルネットワーク
def predict(x):
    y = F.linear(x, W1, b1)
    y = F.sigmoid(y)
    y = F.linear(y, W2, b2)
    return y

# 損失関数 
def mean_squared_error(x0, x1):
    diff = x0 - x1
    return F.sum(diff ** 2) / len(diff)
"""

for i in range(iters):
    # 予測
    #y_pred = predict(x)
    y_pred = model.forward(x) # 実はもうある
    
    # 損失
    #loss = mean_squared_error(y, y_pred)
    loss = F.mean_squared_error(y, y_pred) # 実はもうある
    
    """いらなくなった
    # 勾配初期化
    W1.cleargrad()
    b1.cleargrad()
    W2.cleargrad()
    b2.cleargrad()
    """
    # 勾配初期化
    model.cleargrads() # 代わりにこれでいい
    
    # 損失勾配
    loss.backward() # ここはかわらない
    
    """ いらなくなった
    # 勾配降下法によるパラメータ更新
    W1.data -= lr * W1.grad.data
    b1.data -= lr * b1.grad.data
    W2.data -= lr * W2.grad.data
    b2.data -= lr * b2.grad.data
    """
    """modelは使うが optimizerを使わないときはこのスクリプトを使う
    # パラメータ更新
    for p in model.params(): # モデルパラムスに保存されてるっぽい
        p.data -= lr * p.grad.data # 勾配降下法
    """
    # オプティマイザを使って　パラメータ更新
    optimizer.update()
    
    if (i % 1000) == 0: # たまに損失の計算状況を出力をする
        print(i, loss.data)
        loss_list.append(loss.data) 
        iters_list.append(i)
        
# 結果表示
plt.plot(x.data, predict(x).data, 'o') 
plt.show()
plt.plot(iters_list, loss_list)

100

101

102

103

104

105

106

107

108

109

110

# ニューラルネットワークで回帰（レイヤ　モデル　最適化手法）

import numpy as np

from dezero import Variable

from dezero import Model

import dezero.layers as L

import dezero.functions as F

from dezero import optimizers

# データサンプルを生成

np.random.seed(0)

x = np.random.rand(100, 1) # 行x列

y = np.sin(2*np.pi*x)+np.random.rand(100,1)

plt.plot(x,y,'o')

# 学習

lr = 0.1

iters = 100000

loss_list = []

iters_list = []

# モデルをdezeroから継承する

class TwoLayerNet(Model):

def __init__(self, hidden_size, out_size):

super().__init__()

self.l1 = L.Linear(hidden_size)

self.l2 = L.Linear(out_size)

def forward(self, x):

y = F.sigmoid(self.l1(x))

y = self.l2(y)

return y

# モデルのインスタンスを作成

model = TwoLayerNet(10, 1)#隠れ層のサイズ, 出力層のサイズ

# オプティマイザを生成

#optimizer = optimizers.SGD(lr) # 最初にお世話になるSGD

optimizer = optimizers.Adam(lr) # 悩んだらアダム

optimizer.setup(model) # モデルのセットアップする　意味不明。

""" いらないくなった

# dezero変数へ変換

x, y = Variable(x), Variable(y)

# NNのパラメータの初期化

I, H, O = 1, 10, 1

W1 = Variable(0.01 * np.random.randn(I, H))

b1 = Variable(np.zeros(H))

W2 = Variable(0.01 * np.random.rand(H, O))

b2 = Variable(np.zeros(O))

# 推論：ニューラルネットワーク

def predict(x):

y = F.linear(x, W1, b1)

y = F.sigmoid(y)

y = F.linear(y, W2, b2)

return y

# 損失関数

def mean_squared_error(x0, x1):

diff = x0 - x1

return F.sum(diff ** 2) / len(diff)

"""

for i in range(iters):

# 予測

#y_pred = predict(x)

y_pred = model.forward(x) # 実はもうある

# 損失

#loss = mean_squared_error(y, y_pred)

loss = F.mean_squared_error(y, y_pred) # 実はもうある

"""いらなくなった

# 勾配初期化

W1.cleargrad()

b1.cleargrad()

W2.cleargrad()

b2.cleargrad()

"""

# 勾配初期化

model.cleargrads() # 代わりにこれでいい

# 損失勾配

loss.backward() # ここはかわらない

""" いらなくなった

# 勾配降下法によるパラメータ更新

W1.data -= lr * W1.grad.data

b1.data -= lr * b1.grad.data

W2.data -= lr * W2.grad.data

b2.data -= lr * b2.grad.data

"""

"""modelは使うが optimizerを使わないときはこのスクリプトを使う

# パラメータ更新

for p in model.params(): # モデルパラムスに保存されてるっぽい

p.data -= lr * p.grad.data # 勾配降下法

"""

# オプティマイザを使って　パラメータ更新

optimizer.update()

if (i % 1000) == 0: # たまに損失の計算状況を出力をする

print(i, loss.data)

loss_list.append(loss.data)

iters_list.append(i)

# 結果表示

plt.plot(x.data, predict(x).data, 'o')

plt.show()

plt.plot(iters_list, loss_list)

dezeroでニューラルネットワークを使った回帰をやってみる

やってみよう。

まずは線形回帰

グラフはこんな感じで線形近似できている。

# 線形回帰
%matplotlib inline
import numpy as np
import matplotlib.pylab as plt
import dezero.functions as F
from dezero import Variable

np.random.seed(0)
x = np.random.rand(100,1)
y = 5 + 2 *x +np.random.rand(100,1)
plt.plot(x,y,'o')

x, y = Variable(x), Variable(y)

# パラメータはW一つ　b一つあればいい
W = Variable(np.zeros((1,1)))
b = Variable(np.zeros((1)))       

def predict(x):
    y = F.matmul(x, W) + b
    return y

def mean_squared_error(x0, x1):
    diff = x0 - x1
    return F.sum(diff ** 2) / len(diff)

lr = 0.1
iters = 100

for i in range(iters):
    # 予測
    y_pred = predict(x)
    
    # 損失
    loss = mean_squared_error(y, y_pred)
    
    # 勾配初期化
    W.cleargrad()
    b.cleargrad()
    
    # 損失勾配
    loss.backward()
    
    # 勾配降下法によるパラメータ更新
    W.data -= lr * W.grad.data
    b.data -= lr *  b.grad.data
    
    if (i % 10) == 0: # 10計算毎に出力をする
        print(i, loss.data)

# 結果表示
print(W.data, b.data)
plt.plot(x.data, W.data * x.data + b.data)

# 線形回帰

%matplotlib inline

import numpy as np

import matplotlib.pylab as plt

import dezero.functions as F

from dezero import Variable

np.random.seed(0)

x = np.random.rand(100,1)

y = 5 + 2 *x +np.random.rand(100,1)

plt.plot(x,y,'o')

x, y = Variable(x), Variable(y)

# パラメータはW一つ　b一つあればいい

W = Variable(np.zeros((1,1)))

b = Variable(np.zeros((1)))

def predict(x):

y = F.matmul(x, W) + b

return y

def mean_squared_error(x0, x1):

diff = x0 - x1

return F.sum(diff ** 2) / len(diff)

lr = 0.1

iters = 100

for i in range(iters):

# 予測

y_pred = predict(x)

# 損失

loss = mean_squared_error(y, y_pred)

# 勾配初期化

W.cleargrad()

b.cleargrad()

# 損失勾配

loss.backward()

# 勾配降下法によるパラメータ更新

W.data -= lr * W.grad.data

b.data -= lr * b.grad.data

if (i % 10) == 0: # 10計算毎に出力をする

print(i, loss.data)

# 結果表示

print(W.data, b.data)

plt.plot(x.data, W.data * x.data + b.data)

損失が徐々に減っていく。いい感じだ。

0 42.296340129442335
10 0.24915731977561134
20 0.10078974954301652
30 0.09461859803040694
40 0.0902667138137311
50 0.08694585483964615
60 0.08441084206493275
70 0.08247571022229121
80 0.08099850454041051
90 0.07987086218625004
[[2.11807369]] [5.46608905]

0 42.296340129442335

10 0.24915731977561134

20 0.10078974954301652

30 0.09461859803040694

40 0.0902667138137311

50 0.08694585483964615

60 0.08441084206493275

70 0.08247571022229121

80 0.08099850454041051

90 0.07987086218625004

[[2.11807369]] [5.46608905]

これをsinカーブでやってみると、直線しか表現できないのでぜんぜんだめ

そこでニューラルネットワークの出番。

活性化関数のお陰で表現が増える

sinカーブにノイズをのせたサンプルデータを作ってニューラルネットワークでやってみよう

損失の減り方をみると開始直後に急激に減って、なんと１万回くらいのところで再度損失が急激に減少した。理由は分からないが　なんかすごい。

ではコードはこちら

# ニューラルネットワークで回帰（成功例）
import numpy as np
import dezero.layers as L

# データサンプルを生成
np.random.seed(0)
x = np.random.rand(100, 1) # 行x列
y = np.sin(2*np.pi*x)+np.random.rand(100,1)
plt.plot(x,y,'o')

# dezero変数へ変換
x, y = Variable(x), Variable(y)

# NNのパラメータの初期化
I, H, O = 1, 10, 1
W1 = Variable(0.01 * np.random.randn(I, H))
b1 = Variable(np.zeros(H))
W2 = Variable(0.01 * np.random.rand(H, O))
b2 = Variable(np.zeros(O))
 
# 推論：ニューラルネットワーク
def predict(x):
    y = F.linear(x, W1, b1)
    y = F.sigmoid(y)
    y = F.linear(y, W2, b2)
    return y

# 損失関数 
def mean_squared_error(x0, x1):
    diff = x0 - x1
    return F.sum(diff ** 2) / len(diff)

# 学習
lr = 0.1
iters = 100000
loss_list = []
iters_list = []

for i in range(iters):
    # 予測
    y_pred = predict(x)
    
    # 損失
    loss = mean_squared_error(y, y_pred)
    
    # 勾配初期化
    W1.cleargrad()
    b1.cleargrad()
    W2.cleargrad()
    b2.cleargrad()
    
    # 損失勾配
    loss.backward()
    
    # 勾配降下法によるパラメータ更新
    W1.data -= lr * W1.grad.data
    b1.data -= lr * b1.grad.data
    W2.data -= lr * W2.grad.data
    b2.data -= lr * b2.grad.data
    
    if (i % 1000) == 0: # 10計算毎に出力をする
        loss_list.append(loss.data) 
        iters_list.append(i)
        print(i, loss.data)
        
# 結果表示
plt.plot(x.data, predict(x).data, 'o') 
plt.show()
plt.plot(iters_list, loss_list)

# ニューラルネットワークで回帰（成功例）

import numpy as np

import dezero.layers as L

# データサンプルを生成

np.random.seed(0)

x = np.random.rand(100, 1) # 行x列

y = np.sin(2*np.pi*x)+np.random.rand(100,1)

plt.plot(x,y,'o')

# dezero変数へ変換

x, y = Variable(x), Variable(y)

# NNのパラメータの初期化

I, H, O = 1, 10, 1

W1 = Variable(0.01 * np.random.randn(I, H))

b1 = Variable(np.zeros(H))

W2 = Variable(0.01 * np.random.rand(H, O))

b2 = Variable(np.zeros(O))

# 推論：ニューラルネットワーク

def predict(x):

y = F.linear(x, W1, b1)

y = F.sigmoid(y)

y = F.linear(y, W2, b2)

return y

# 損失関数

def mean_squared_error(x0, x1):

diff = x0 - x1

return F.sum(diff ** 2) / len(diff)

# 学習

lr = 0.1

iters = 100000

loss_list = []

iters_list = []

for i in range(iters):

# 予測

y_pred = predict(x)

# 損失

loss = mean_squared_error(y, y_pred)

# 勾配初期化

W1.cleargrad()

b1.cleargrad()

W2.cleargrad()

b2.cleargrad()

# 損失勾配

loss.backward()

# 勾配降下法によるパラメータ更新

W1.data -= lr * W1.grad.data

b1.data -= lr * b1.grad.data

W2.data -= lr * W2.grad.data

b2.data -= lr * b2.grad.data

if (i % 1000) == 0: # 10計算毎に出力をする

loss_list.append(loss.data)

iters_list.append(i)

print(i, loss.data)

# 結果表示

plt.plot(x.data, predict(x).data, 'o')

plt.show()

plt.plot(iters_list, loss_list)

次回予告

次はdezeroをフル活用でやってみよう

オプティマイザとかも予め用意されているらしい。

強化学習：多腕バンディット問題　定常・非定常

強化学習の基礎、多腕バンディット問題

面白そうなのでやってみました。

ちなみに、本日のアイキャッチは画像生成AIであるStableDiffusionで「multi arms bandit problem by stable diffusion」というワードから生成した一枚です。

モジュールインポート　クラス作成

# 強化学習　バンディット問題
%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt

class Bandit():
    def __init__(self, arms=10):
        self.arms = arms
        self.rates = np.random.rand(self.arms)# 勝率
    
    def play(self, arm): # プレイして報酬を得る
        if self.rates[arm] > np.random.rand():
            return 1 # 勝利したときの報酬
        else:
            return 0 # 敗北したときの報酬
        
class NonStatBandit():
    def __init__(self, arms=10):
        self.arms = arms
        self.rates = np.random.rand(self.arms)# 勝率
    
    def play(self, arm): # プレイして報酬を得る
        self.rates += 0.01 * np.random.randn(self.arms) # 報酬にノイズを導入する
        
        if self.rates[arm] > np.random.rand():
            return 1 # 勝利したときの報酬
        else:
            return 0 # 敗北したときの報酬
        
        
class AlphaAgent:
    def __init__(self, epsilon, alpha, actions=10):
        self.epsilon = epsilon
        self.Qs = np.zeros(actions)
        self.alpha = alpha
    
    def get_action(self): 
        # ランダム　または　最大価値　の行動を選択
        if np.random.rand() < self.epsilon: # 貪欲を選択した場合
            return np.random.randint(0, len(self.Qs)) # ランダムに行動を選択する
        else:
            return np.argmax(self.Qs)
        
    def update(self, action, reward):
        # alphaで価値を更新する
        self.Qs[action] += self.alpha * (reward - self.Qs[action])

# 強化学習　バンディット問題

%matplotlib inline

import numpy as np

import matplotlib.pyplot as plt

class Bandit():

def __init__(self, arms=10):

self.arms = arms

self.rates = np.random.rand(self.arms)# 勝率

def play(self, arm): # プレイして報酬を得る

if self.rates[arm] > np.random.rand():

return 1 # 勝利したときの報酬

else:

return 0 # 敗北したときの報酬

class NonStatBandit():

def __init__(self, arms=10):

self.arms = arms

self.rates = np.random.rand(self.arms)# 勝率

def play(self, arm): # プレイして報酬を得る

self.rates += 0.01 * np.random.randn(self.arms) # 報酬にノイズを導入する

if self.rates[arm] > np.random.rand():

return 1 # 勝利したときの報酬

else:

return 0 # 敗北したときの報酬

class AlphaAgent:

def __init__(self, epsilon, alpha, actions=10):

self.epsilon = epsilon

self.Qs = np.zeros(actions)

self.alpha = alpha

def get_action(self):

# ランダム　または　最大価値　の行動を選択

if np.random.rand() < self.epsilon: # 貪欲を選択した場合

return np.random.randint(0, len(self.Qs)) # ランダムに行動を選択する

else:

return np.argmax(self.Qs)

def update(self, action, reward):

# alphaで価値を更新する

self.Qs[action] += self.alpha * (reward - self.Qs[action])

バンディットとエージェントで学習　定常問題

# 定常バンディット問題を解いてみる
np.random.seed(0)
bandit = Bandit(arms=10)

agent = AlphaAgent(epsilon=0.1, alpha=0.8, actions=10)
steps = 1_000

total_reward = 0
total_rewards = []
rates =[]

for step in range(steps):
    action = agent.get_action() #　行動を選択
    reward = bandit.play(action)# 行動し報酬を得る
    agent.update(action=action, reward=reward) # 選択した行動と得た報酬から行動価値を更新する。
    
    total_reward += reward
    total_rewards.append(total_reward) 
    rates.append(total_reward / (step + 1))
    
plt.bar(np.arange(0,10,1),bandit.rates, color='red', width=0.3, label='rates', align="center")
plt.bar(np.arange(0,10,1) + 0.3, agent.Qs, color='blue', width=0.3, label='Qs', align="center")
plt.xticks(np.arange(0,10,1))
plt.xticks(np.arange(0,10,1))
plt.legend()
plt.show()

print('total_reward : ', total_reward)
plt.plot(total_rewards, label='total_reward')
plt.legend()
plt.show()

print('final_rate : ', rates[-1])
plt.plot(rates, label='rates')
plt.legend()
plt.show()

# 定常バンディット問題を解いてみる

np.random.seed(0)

bandit = Bandit(arms=10)

agent = AlphaAgent(epsilon=0.1, alpha=0.8, actions=10)

steps = 1_000

total_reward = 0

total_rewards = []

rates =[]

for step in range(steps):

action = agent.get_action() #　行動を選択

reward = bandit.play(action)# 行動し報酬を得る

agent.update(action=action, reward=reward) # 選択した行動と得た報酬から行動価値を更新する。

total_reward += reward

total_rewards.append(total_reward)

rates.append(total_reward / (step + 1))

plt.bar(np.arange(0,10,1),bandit.rates, color='red', width=0.3, label='rates', align="center")

plt.bar(np.arange(0,10,1) + 0.3, agent.Qs, color='blue', width=0.3, label='Qs', align="center")

plt.xticks(np.arange(0,10,1))

plt.legend()

plt.show()

print('total_reward : ', total_reward)

plt.plot(total_rewards, label='total_reward')

plt.legend()

plt.show()

print('final_rate : ', rates[-1])

plt.plot(rates, label='rates')

plt.legend()

plt.show()

結果

モデルを２００回繰り返した平均結果

# 定常バンディット問題をruns = 200回ランダムに解いて平均を見る
#np.random.seed(0)
runs = 200    # モデル数
steps = 1_000 # 学習の更新ステップ数

actions = 10  # 選択可能な「行動」の数
epsilon = 0.1 # 貪欲率
alpha = 0.8   # 学習率

# 勝率の結果を保存するテーブルを生成する
all_rates = np.zeros((runs, steps)) # 試行NO. x １試行の中での強化ステップNO. ※引数はタプル型


for run in range(runs): 
    # バンディットとエージェントのインスタンスを生成する
    bandit = Bandit(arms=actions)
    agent = AlphaAgent(epsilon=epsilon, alpha=alpha, actions=actions)
    
    # 報酬の初期化
    total_reward = 0
    total_rewards = []
    rates = []
    
    for step in range(steps):
        action = agent.get_action() #　行動を選択
        reward = bandit.play(action)# 行動し報酬を得る
        agent.update(action=action, reward=reward) # 選択した行動と得た報酬から行動価値を更新する。

        total_reward += reward
        total_rewards.append(total_reward) 
        rates.append(total_reward / (step + 1))
    
    all_rates[run] = rates # 勝率の結果を保存する

# 定常バンディット問題をruns = 200回ランダムに解いて平均を見る

#np.random.seed(0)

runs = 200 # モデル数

steps = 1_000 # 学習の更新ステップ数

actions = 10 # 選択可能な「行動」の数

epsilon = 0.1 # 貪欲率

alpha = 0.8 # 学習率

# 勝率の結果を保存するテーブルを生成する

all_rates = np.zeros((runs, steps)) # 試行NO. x １試行の中での強化ステップNO. ※引数はタプル型

for run in range(runs):

# バンディットとエージェントのインスタンスを生成する

bandit = Bandit(arms=actions)

agent = AlphaAgent(epsilon=epsilon, alpha=alpha, actions=actions)

# 報酬の初期化

total_reward = 0

total_rewards = []

rates = []

for step in range(steps):

action = agent.get_action() #　行動を選択

reward = bandit.play(action)# 行動し報酬を得る

agent.update(action=action, reward=reward) # 選択した行動と得た報酬から行動価値を更新する。

total_reward += reward

total_rewards.append(total_reward)

rates.append(total_reward / (step + 1))

all_rates[run] = rates # 勝率の結果を保存する

# 200モデル分
for run in range(runs):
    plt.plot(all_rates[run])
plt.show()

# 200モデル分の平均
average_rates = all_rates.mean(axis=0)
plt.plot(average_rates)
plt.show()

# 200モデル分

for run in range(runs):

plt.plot(all_rates[run])

plt.show()

# 200モデル分の平均

average_rates = all_rates.mean(axis=0)

plt.plot(average_rates)

plt.show()

バンディットとエージェントで学習　非定常問題

# 非定常バンディット問題を解いてみる
np.random.seed(0)
bandit = NonStatBandit(arms=10)

agent = AlphaAgent(epsilon=0.1, alpha=0.8, actions=10)
steps = 1_000

total_reward = 0
total_rewards = []
rates =[]

for step in range(steps):
    action = agent.get_action() #　行動を選択
    reward = bandit.play(action)# 行動し報酬を得る
    agent.update(action=action, reward=reward) # 選択した行動と得た報酬から行動価値を更新する。
    
    total_reward += reward
    total_rewards.append(total_reward) 
    rates.append(total_reward / (step + 1))
    
plt.bar(np.arange(0,10,1),bandit.rates, color='red', width=0.3, label='rates', align="center")
plt.bar(np.arange(0,10,1) + 0.3, agent.Qs, color='blue', width=0.3, label='Qs', align="center")
plt.xticks(np.arange(0,10,1))
plt.xticks(np.arange(0,10,1))
plt.legend()
plt.show()

print('total_reward : ', total_reward)
plt.plot(total_rewards, label='total_reward')
plt.legend()
plt.show()

print('final_rate : ', rates[-1])
plt.plot(rates, label='rates')
plt.legend()
plt.show()

# 非定常バンディット問題を解いてみる

np.random.seed(0)

bandit = NonStatBandit(arms=10)

agent = AlphaAgent(epsilon=0.1, alpha=0.8, actions=10)

steps = 1_000

total_reward = 0

total_rewards = []

rates =[]

for step in range(steps):

action = agent.get_action() #　行動を選択

reward = bandit.play(action)# 行動し報酬を得る

agent.update(action=action, reward=reward) # 選択した行動と得た報酬から行動価値を更新する。

total_reward += reward

total_rewards.append(total_reward)

rates.append(total_reward / (step + 1))

plt.bar(np.arange(0,10,1),bandit.rates, color='red', width=0.3, label='rates', align="center")

plt.bar(np.arange(0,10,1) + 0.3, agent.Qs, color='blue', width=0.3, label='Qs', align="center")

plt.xticks(np.arange(0,10,1))

plt.legend()

plt.show()

print('total_reward : ', total_reward)

plt.plot(total_rewards, label='total_reward')

plt.legend()

plt.show()

print('final_rate : ', rates[-1])

plt.plot(rates, label='rates')

plt.legend()

plt.show()

結果

モデルを２００回繰り返した平均結果

# 非定常バンディット問題をruns = 200回ランダムに解いて平均を見る
#np.random.seed(0)
runs = 200    # モデル数
steps = 1_000 # 学習の更新ステップ数

actions = 10  # 選択可能な「行動」の数
epsilon = 0.1 # 貪欲率
alpha = 0.8   # 学習率

# 勝率の結果を保存するテーブルを生成する
all_rates = np.zeros((runs, steps)) # 試行NO. x １試行の中での強化ステップNO. ※引数はタプル型

for run in range(runs): 
    # バンディットとエージェントのインスタンスを生成する
    bandit = NonStatBandit(arms=actions)
    agent = AlphaAgent(epsilon=epsilon, alpha=alpha, actions=actions)
    
    # 報酬の初期化
    total_reward = 0
    total_rewards = []
    rates = []
    
    for step in range(steps):
        action = agent.get_action() #　行動を選択
        reward = bandit.play(action)# 行動し報酬を得る
        agent.update(action=action, reward=reward) # 選択した行動と得た報酬から行動価値を更新する。

        total_reward += reward
        total_rewards.append(total_reward) 
        rates.append(total_reward / (step + 1))
    
    all_rates[run] = rates # 勝率の結果を保存する

# 非定常バンディット問題をruns = 200回ランダムに解いて平均を見る

#np.random.seed(0)

runs = 200 # モデル数

steps = 1_000 # 学習の更新ステップ数

actions = 10 # 選択可能な「行動」の数

epsilon = 0.1 # 貪欲率

alpha = 0.8 # 学習率

# 勝率の結果を保存するテーブルを生成する

all_rates = np.zeros((runs, steps)) # 試行NO. x １試行の中での強化ステップNO. ※引数はタプル型

for run in range(runs):

# バンディットとエージェントのインスタンスを生成する

bandit = NonStatBandit(arms=actions)

agent = AlphaAgent(epsilon=epsilon, alpha=alpha, actions=actions)

# 報酬の初期化

total_reward = 0

total_rewards = []

rates = []

for step in range(steps):

action = agent.get_action() #　行動を選択

reward = bandit.play(action)# 行動し報酬を得る

agent.update(action=action, reward=reward) # 選択した行動と得た報酬から行動価値を更新する。

total_reward += reward

total_rewards.append(total_reward)

rates.append(total_reward / (step + 1))

all_rates[run] = rates # 勝率の結果を保存する

# 200モデル分
for run in range(runs):
    plt.plot(all_rates[run])
plt.show()

# 200モデル分の平均
average_rates = all_rates.mean(axis=0)
plt.plot(average_rates)
plt.show()

# 200モデル分

for run in range(runs):

plt.plot(all_rates[run])

plt.show()

# 200モデル分の平均

average_rates = all_rates.mean(axis=0)

plt.plot(average_rates)

plt.show()

Web Application: 第１０回　HTMLで内容を作成する

前回までで　carbikeのindex画面とpredict画面を生成しました。

今回はhtmlを記述していってwebサイトをかっこよくしていきます。

django-bootstrap4 をインストール

django-bootstrap4を使いますので、

> pip install django-bootstrap4をします。

django-bootstrap4-1.0.1　が入りました。

htmlファイルの作成

/myproject/car_motorbike/ の下に

/templates/carbike/base.html
/templates/carbike/index.html
/templates/carbike/predict.html

というファイルを３つ作成します。

まずはじめに各ページ共通の部分である雛形としてbase.htmlを作成します。

index.htmlとpredict.htmlには各ページ固有の内容を記述して、雛形であるbase.htmlに埋め込んでいくやり方を取ります。

base.html　の作成

各ページ共通の部分である雛形です。

<!DOCTYPE html>
<!-- この base.html　はテンプレートファイルとして作成され、各ページに流用されます。 -->
<html lang="ja">
<head>
    <meta charset="UTF-8">

    <!-- static/carbike/css/style.cssを参照できるようにディレクトリを指定する-->
    {% load static %}

    <!-- django-bootstrap4 と bootstrap_cssを使用する宣言-->
    {% load bootstrap4 %}
    {% bootstrap_css%}

    <!-- ディレクトリstaticの下のcarbike/css/style.cssを読み込む --> 
    <link rel='stylesheet' type="text/css" href="{% static 'carbike/css/style.css' %}">

    <!-- bootstarap_javascript の jquery を読み込む -->
    {% bootstrap_javascript jquery='full' %}

    <!-- 各ページ固有のタイトル title を代入する部分 -->
    <title>Image classification by TensorFlow | {% block title %}{% endblock %}</title>

</head>

<body>
    <!-- ナビゲーションバーを設置する -->
    <nav class="navbar navbar-expand-lg navbar-light bg-light">
        <a class="navber-brand" href="#">Image classification by TensorFlow</a>
    </nav>

    <!-- メインの内容を設置する -->
    <div class="container">

        <!-- 各ページの内容 content を代入する部分 -->
        {% block content%}{% endblock %}
    </div>
</body>

</html>

<!DOCTYPE html>

<head>

{% load static %}

{% load bootstrap4 %}

{% bootstrap_css%}

{% bootstrap_javascript jquery='full' %}

<title>Image classification by TensorFlow | {% block title %}{% endblock %}</title>

</head>

<body>

<a class="navber-brand" href="#">Image classification by TensorFlow</a>

</nav>

{% block content%}{% endblock %}

</div>

</body>

</html>

bootstrap4の記法は下記のようにDTL: Django Template Languageで

{% xxxxxxx %} と書きます。

１．タイトル

{% block title %}{% endblock %}　の部分にindex.html,およびpredict.html各ページ固有のタイトルが代入されます。

２．内容

{% block content%}{% endblock %}　の部分にindex.html,およびpredict.html各ページ固有の内容が代入されます。

cssファイルの作成

上記、base.htmlの中で、スタイルシートの宣言をしていますが、自分でディレクトリとファイルを作成する必要があります。

<link rel=’stylesheet’ type=”text/css” href=”{% static ‘carbike/css/style.css’ %}”>

staticディレクトリを　myproject/car_motorbike/直下（templatesと同階層に作成して、その中に/carbike/css/style.css というcssファイルを作成しておきます。

あとで記述していきますので、現時点では空ファイルでOKです。

index.html　の作成

indexベージを作成します。

<!-- インデックスページを作成します。-->

<!-- テンプレートであるbase.htmlに対して　拡張する宣言をします。-->
{% extends 'carbike/base.html' %}

<!-- タイトル title をbase.htmlに埋め込みます。-->
{% block title %}車とバイクの画像をTensorFlowで判別するdjangoアプリ{% endblock %}

<!-- 内容 content　をbase.htmlに埋め込みます。-->
{% block content %}
<div>
    <!-- classはbootstrap記法で文字間の調整になる
        mtマージントップ mb マージンボトム 境界線底部 -->
    <h4 class="mt-4 mb-5 border-bottom">車とバイクを判別します。</h4>
    <p>画像ファイルを選択して　ボタンをクリックしてください。</p>

    <!-- ファイルの投稿フォームを作成
        実行したときのページ移動先の指定 ファイル送付方式
        クラス名定義 エンコードタイプ指定-->
    <form action="{% url 'carbike:predict' %}" method="post"
    class="form" enctype="multipart/form-data">
    
    <!-- サーフ対策：外部プログラムからデータを送りつけられないようにする-->
    <!-- cross site request forgery 対策-->
    {% csrf_token %}

    <!-- データのアップロードフォームを作成する -->
    <div class="form-group">
        <div class="custom-file">

            <!-- 二重括弧の意味 ==> djandoの変数を参照する-->
            <!-- form.image ==>views.pyから送られてくる
                imageの値を取得してformに埋め込む-->
            {{ form.image }}
            
            <label class="custom-file-label" for="customFile">
                ここをクリックしてください。
            </label>
        </div>
    </div>

    <!-- submitボタンを設置する -->
    <button type="submit" class="btn btn-primaty">提出</button>

    </form>
</div>
{% endblock %}

{% extends 'carbike/base.html' %}

{% block title %}車とバイクの画像をTensorFlowで判別するdjangoアプリ{% endblock %}

{% block content %}

<div>

<!-- classはbootstrap記法で文字間の調整になる

mtマージントップ mb マージンボトム境界線底部 -->

<h4 class="mt-4 mb-5 border-bottom">車とバイクを判別します。</h4>

<p>画像ファイルを選択して　ボタンをクリックしてください。</p>

<!-- ファイルの投稿フォームを作成

実行したときのページ移動先の指定ファイル送付方式

クラス名定義エンコードタイプ指定-->

<form action="{% url 'carbike:predict' %}" method="post"

class="form" enctype="multipart/form-data">

{% csrf_token %}

<!-- form.image ==>views.pyから送られてくる

imageの値を取得してformに埋め込む-->

ここをクリックしてください。

</label>

</div>

</form>

</div>

{% endblock %}

１．埋め込み先の宣言

雛形ページであるbase.htmlに対してタイトルと拡張宣言をします。

{% extends ‘carbike/base.html’ %}

２．埋め込むタイトルを定義

{% block title %}xxxx{% endblock %}

３．埋め込む内容を定義

{% block content %}xxxx{% endblock %}

forms.py　を作成する

myproject/car_motorbike/の下に forms.pyを新規作成します。

# フォームを生成するモジュール
from django import forms

class PhotoForm(forms.Form):
    # 画像をアップロードする機能
    image = forms.ImageField(widget=forms.FileInput(attrs={'class':'custom-file-input'}))

# フォームを生成するモジュール

from django import forms

class PhotoForm(forms.Form):

# 画像をアップロードする機能

image = forms.ImageField(widget=forms.FileInput(attrs={'class':'custom-file-input'}))

views.py へforms.pyを埋め込む

indexページの表示内容であるindex関数の部分を hello worldをreturnするだけの状態から、formを表示する内容に変更します。

from django.shortcuts import render

# Httpレスポンスをするためのモジュール
from django.http import HttpResponse

# テンプレートファイルを読み込む
from django.template import loader #追加

# forms.pyで定義したPhotoFormクラスを呼び出す
from .forms import PhotoForm #追加

# models.pyで定義したPhotoクラスを呼び出す
# まだ作っていないので保留
# from .models import Photo #追加


def index(request):
    # webサイトのindex.html に相当する部分
    # 構造がとても複雑だが、こういうものだと諦めること。
    # 引数としてrequestを受け取る

    # index.htmlを読み込み
    # オブジェクトtemplateを定義する
    template = loader.get_template('carbike/index.html') #追加

    # forms.pyのクラスPhotoFormのインスタンスを作成して、
    # ディクショナリcontextを定義しておく。
    context = {'form':PhotoForm()}

    # オブジェクトtemplateのrender関数に
    # フォームcontextと引数requestを入れて
    # HttpResponseを返す
    return HttpResponse(template.render(context, request)) 

def predict(request):
    # 仮のリターンを作っておく
    return HttpResponse('show predictions here')

from django.shortcuts import render

# Httpレスポンスをするためのモジュール

from django.http import HttpResponse

# テンプレートファイルを読み込む

from django.template import loader #追加

# forms.pyで定義したPhotoFormクラスを呼び出す

from .forms import PhotoForm #追加

# models.pyで定義したPhotoクラスを呼び出す

# まだ作っていないので保留

# from .models import Photo #追加

def index(request):

# webサイトのindex.html に相当する部分

# 構造がとても複雑だが、こういうものだと諦めること。

# 引数としてrequestを受け取る

# index.htmlを読み込み

# オブジェクトtemplateを定義する

template = loader.get_template('carbike/index.html') #追加

# forms.pyのクラスPhotoFormのインスタンスを作成して、

# ディクショナリcontextを定義しておく。

context = {'form':PhotoForm()}

# オブジェクトtemplateのrender関数に

# フォームcontextと引数requestを入れて

# HttpResponseを返す

return HttpResponse(template.render(context, request))

def predict(request):

# 仮のリターンを作っておく

return HttpResponse('show predictions here')

やっていることは３つのみ

１．テンプレートオブジェクトを定義

template = loader.get_template(‘carbike/index.html’)

２．コンテキストオブジェクトを定義

context = {‘form’:PhotoForm()}

３．HttpResponseをreturnする

return HttpResponse(template.render(context, request))

apps.pyを確認する

現在このアプリケーションが認識されているアプリ名を確認します。

CarMotorbikeConfigクラスの中に　name = ‘car_motorbike’　と定義されています。

from django.apps import AppConfig


class CarMotorbikeConfig(AppConfig):
    name = 'car_motorbike'

from django.apps import AppConfig

class CarMotorbikeConfig(AppConfig):

name = 'car_motorbike'

これを後述のsettings.pyのINSTALLED_APPSリストに追加します。

myproject/settings.py を編集する

# Application definition　の部分を書き換えます。

リストINSTALLED_APPS にクラス名’car_mortorbike.apps.CarbikeConfig’と ‘bootstrap4’を追記します。

# Application definition

INSTALLED_APPS = [
    'car_motorbike.apps.CarMotorbikeConfig',
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    'bootstrap4',
]

# Application definition

INSTALLED_APPS = [

'car_motorbike.apps.CarMotorbikeConfig',

'django.contrib.admin',

'django.contrib.auth',

'django.contrib.contenttypes',

'django.contrib.sessions',

'django.contrib.messages',

'django.contrib.staticfiles',

'bootstrap4',

]

ではここまでをブラウズしてみます。

仮想環境へ　conda activate djangoai

開発サーバーへ　python manage.py runserver

url http://127.0.0.1:8000/carbike

ここで、画像を選択肢画提出ボタンを押すと、ページが遷移します。

ここはまだ作り込んでいないので、これでOKです。

次回

以上、次回は第１１回目です。

django　複雑ですねえ。これは習得するのに時間がかかる・・・。(´・ω・`)

Web Application: 第９回　Djangoでページのルーティング設定をする

前回、myproject管理フォルダ内のurls.pyを編集しましたが、今回は

car_motorbikeアプリケーションフォルダ直下に、同じくurls.pyを新規作成して、下記スクリプトを書きます。

car_motorbike/urls.py　新規作成

from django.urls import path

# 追加モジュール 今回は同じ階層にある
# さらにアプリケーションと同じ階層(.)なので viewsは被らない。
# よって、基本構文で良い
from . import views

app_name = 'carbike' # 追加した

# urlパターンをリストで作っておく
urlpatterns = [
    path('', views.index, name='index'),

    # predictアドレス　後ほどviewsにpredictメソドを定義するために
    # views.py　へ def predict(): を追加する
    path('predict/', views.predict, name='predict'),
]

from django.urls import path

# 追加モジュール今回は同じ階層にある

# さらにアプリケーションと同じ階層(.)なので viewsは被らない。

# よって、基本構文で良い

from . import views

app_name = 'carbike' # 追加した

# urlパターンをリストで作っておく

urlpatterns = [

path('', views.index, name='index'),

# predictアドレス　後ほどviewsにpredictメソドを定義するために

# views.py　へ def predict(): を追加する

path('predict/', views.predict, name='predict'),

]

アプリケーションネームapp_nameとして明示的にcarbikeと定義してあります。ここはなくてもいいかもしれませんし、car_motorbikeにするべきかもしれませんが、ひとまずこれでやってみます。

１．当該スクリプトで使用するモジュールであるviews.py は　当該urls.pyと同層になるので

from . import views

という不思議なインポート記述になります。

viewsモジュールはまだ作成していませんので実行すると当然エラーになりますが、あとで作成しますので心配いりません。

２．そして、画像を入力したときにvvc16_predct.pyを走らせて予測結果を返す画面である predict画面を定義します。

urlpatternsリストにリスト要素として

path(‘predict/’, views.predict, name=’predict’)

を追加します。これで urlのツリー構造として /carbike/predict が定義されたことになります。

views.predictメソドはこれから作成しなければなりませんので、現時点ではエラーが出ます。

３．なお、このcar_motorbike/urls.pyスクリプトは myproject/urls.py から呼び出されるものなので、これから myproject/urls.py の方を改良していきます。

ルーティングというやつです。

myproject/urls.py　編集

ではここから　car_motorbike/urls.py　へルートをつなげていきます。

from django.contrib import admin

# includeメソドを追加で読み込む
from django.urls import path, include

urlpatterns = [
    path('admin/', admin.site.urls),

    # 追加urlパターン carbikeというフォルダを見に来たら、carbike.indexを呼び出す
    # path('carbike/', carbike.index), 

    # 追加urlパターン carbikeというフォルダを見に来たら、
    # car_motorbike.urls.pyの中にあるルーティングを読みに行く
    path('carbike/', include('car_motorbike.urls')),
    ]

from django.contrib import admin

# includeメソドを追加で読み込む

from django.urls import path, include

urlpatterns = [

path('admin/', admin.site.urls),

# 追加urlパターン carbikeというフォルダを見に来たら、carbike.indexを呼び出す

# path('carbike/', carbike.index),

# 追加urlパターン carbikeというフォルダを見に来たら、

# car_motorbike.urls.pyの中にあるルーティングを読みに行く

path('carbike/', include('car_motorbike.urls')),

]

１．include関数を新たにインポートして、先程作成した car_mortorbike/urls.pyを参照するようリストurlpatternsにリスト要素としてpath(‘carbike/’, include(‘car_motorbike.urls’))を追加します。

２．これで、ブラウザ上のurl指定に/carbikeが追加されたとき、car_motorbike.urlsスクリプトを見に行くことになります。

car_motorbike/views.py の編集

先程、car_motorbike/urls.py　内で　views.predictメソドを記述しましたが、それの実体をここで定義します。とりあえずルーティングが正しく行われて表示されるか確認したいので、実行内容としてはテキストを出力するだけの最低限にしてテストしてみましょう。

from django.shortcuts import render

# 追加モジュール
from django.http import HttpResponse

def index(request):
    # webサイトのindex.html に相当する部分
    # 仮のリターンを作っておく
    return HttpResponse('hello_world')

def predict(request):
    # webサイトのpredict.html に相当する部分
    # 仮のリターンを作っておく
    return HttpResponse('show predictions here')

from django.shortcuts import render

# 追加モジュール

from django.http import HttpResponse

def index(request):

# webサイトのindex.html に相当する部分

# 仮のリターンを作っておく

return HttpResponse('hello_world')

def predict(request):

# webサイトのpredict.html に相当する部分

# 仮のリターンを作っておく

return HttpResponse('show predictions here')

動作チェック

では python manage.py runserver して　ブラウザで動作チェックをしましょう。

１．http://127.0.0.1:8000/　を入力すると

＞[21/Sep/2019 15:53:08] “GET / HTTP/1.1” 404 2032

トップページは作っていませんから、404エラーで問題ありません。

２．http://127.0.0.1:8000/carbike　を入力すると

＞[21/Sep/2019 15:53:17] “GET /carbike/ HTTP/1.1” 200 11

200と出ていますのでちゃんと認識しています。

３．http://127.0.0.1:8000/carbike/predict

＞[21/Sep/2019 15:53:30] “GET /carbike/predict/ HTTP/1.1” 200 21

と 200が帰ってくるのでこちらも正常に動作しています。

次回

Web Application: 第１０回　HTMLでかっこよくする

Web Application: 第８回　Djangoやります

こんにちは Keita_Nakamori(´・ω・)です。


さて、前回まででTensor Flow を使ったスクリプトを書いてきましたが、これをwebアプリとしてアクセスできるようにDjangoを組み込んでいきます。
django公式サイト
djangoインストール方法
$ pip install Django
django-2.2.5　が入りました
プロジェクトを作成する
djangoでは大項目としてプロジェクト名、小項目としてアプリケーション名があります。後々ひとつのプロジェクトの下に複数のアプリケーションを作っていくことになります。
では、myprojectというプロジェクトを作ります
djangoプロジェクトの生成
$ django-admin startproject myproject
これでmyprojectというプロジェクトフォルダが生成されました。
フォルダの下層にはmange.pyという管理用のpythonファイルと、プロジェクト名と同じ名称で設定用のmyproject設定フォルダが生成されます。
 

myproject/:プロジェクト全体のフォルダ

manage.py：管理用pythonスクリプト（サーバー起動　アプリフォルダの生成など）
myproject/：プロジェクト設定フォルダ

__init__.py：プロジェクト初期値スクリプト
settings.py：プロジェクト設定用スクリプト
urls.py：プロジェクトurlルーティング用スクリプト
wsgi.py：python：アプリ実行環境ウィズギーのスクリプト





用語　ウィズギーとは
Web Server Gateway Interface (WSGI; ウィズギー)
webサーバーとwebアプリ（またはwebフレームワーク）を接続するためのインターフェース定義。
WSGIはこれまでFastCGI, mod_python, CGIなど様々なインターフェース定義が乱立している中で最終的にpythonにおける最有力規格となったインターフェース定義。python webフレームワークで有力なFlaskとかBottletoとかDjangoが採用しているので、かなり盤石。
開発用の内蔵サーバーを起動する
管理スクリプトmanage.pyを使ってmyprojectプロジェクト全体フォルダから
$ python manage.py runserver
とランサーバー指令をコマンドプロンプトに打つと


		
		
			
			

			
			Watching for file changes with StatReloader
Performing system checks...

System check identified no issues (0 silenced).

You have 17 unapplied migration(s). Your project may not work properly until you apply the migrations for app(s): admin, auth, contenttypes, sessions.
Run 'python manage.py migrate' to apply them.
September 21, 2019 - 09:35:13
Django version 2.2.5, using settings 'myproject.settings'
Starting development server at http://127.0.0.1:8000/
Quit the server with CTRL-BREAK.
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
11
				
						Watching for file changes with StatReloader
Performing system checks...
 
System check identified no issues (0 silenced).
 
You have 17 unapplied migration(s). Your project may not work properly until you apply the migrations for app(s): admin, auth, contenttypes, sessions.
Run 'python manage.py migrate' to apply them.
September 21, 2019 - 09:35:13
Django version 2.2.5, using settings 'myproject.settings'
Starting development server at http://127.0.0.1:8000/
Quit the server with CTRL-BREAK.
					
				
			
		


と出るので、http://127.0.0.1:8000/がサーバーとして動き出します。
実際にブラウザのURLバーにこれをコピペすると、インストールが完了しましたとお祝いの言葉を頂戴できます。
強制終了は　CTRL-BREAKと書いてありますが、control+c のことです。

簡単なwebアプリケーションを作ってみる
hello worldと表示するwebアプリケーションを作ってみましょう。
runserverしっぱなしの場合はctl+cで一旦止めておきます。
myproject プロジェクトフォルダに戻ってみたら、db.sqlite3　というデータベースが生成されていました。まだカラのようで容量は0KBです。
つづきまして、アプリケーションのフォルダを作りましょう。
スタートアップですがstartup ではなくて startappなので要注意です。
＄myproject>python manage.py startapp car_motorbike
これでmyprojectプロジェクトフォルダ直下に car_motorbikeアプリケーションフォルダが生成されました。
現在のフォルダ構成をおさらいすると、

myproject：プロジェクト全体フォルダ

 car_motorbike：アプリケーションフォルダ
db.sqlite3：データベースファイル
manage.py：プロジェクト管理フォルダ
myproject：プロジェクト設定フォルダ



そして、car_bikeアプリケーションフォルダの中には、各種pythonスクリプトが新しく生成されました。今後はここを弄っていくことになります。

car_motorbikeアプリケーションフォルダ

admin.py
apps.py
migrations/
models.py ：データベースにアクセスしてデータを取得するスクリプト
tests.py
views.py：ブラウザ表示内容（テンプレート）を呼び出すスクリプト
__init__.py



VScodoで構造を見てみると、まだ何も弄ってないのにこれだけのファイル数になります。ではviews.pyを開いて編集していきましょう。


views.py　を編集する
オリジナルは下記のような２行のコードです。



		
		
			
			
Python
			
			from django.shortcuts import render
# Create your views here.
			
				
					
				
					1
2
				
						from django.shortcuts import render
# Create your views here.
					
				
			
		


これを編集してHTMLのindex.htmlに相当する部分を作っていきます。
アクセスが来たときに hello_worldとレスポンスを返すためのHttpRespose関数をインポートして使用します。





		
		
			
			
Python
			
			from django.shortcuts import render

# 追加モジュール
from django.http import HttpResponse

def index(request):
    # webサイトのindex.html に相当する部分
    return HttpResponse('hello_world')
			
				
					
				
					1
2
3
4
5
6
7
8
				
						from django.shortcuts import render
 
# 追加モジュール
from django.http import HttpResponse
 
def index(request):
    # webサイトのindex.html に相当する部分
    return HttpResponse('hello_world')
					
				
			
		




これはまだ、呼び出されたときの挙動を定義しただけですので、このindex(request)関数を呼び出すためのスクリプトが別途必要です。
urls.py　を編集する

次に、views.pyを実行できるようにurl.pyでURLと表示内容（views.py）を関連付けます。
オリジナルは下記のようなコードです。
コメントアウトされた使い方の部分とURLパターンを定義するリストが存在するだけです。




		
		
			
			
Python
			
			"""myproject URL Configuration

The `urlpatterns` list routes URLs to views. For more information please see:
    https://docs.djangoproject.com/en/2.2/topics/http/urls/
Examples:
Function views
    1. Add an import:  from my_app import views
    2. Add a URL to urlpatterns:  path('', views.home, name='home')
Class-based views
    1. Add an import:  from other_app.views import Home
    2. Add a URL to urlpatterns:  path('', Home.as_view(), name='home')
Including another URLconf
    1. Import the include() function: from django.urls import include, path
    2. Add a URL to urlpatterns:  path('blog/', include('blog.urls'))
"""
from django.contrib import admin
from django.urls import path


urlpatterns = [
    path('admin/', admin.site.urls),
]
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
				
						"""myproject URL Configuration
 
The `urlpatterns` list routes URLs to views. For more information please see:
    https://docs.djangoproject.com/en/2.2/topics/http/urls/
Examples:
Function views
    1. Add an import:  from my_app import views
    2. Add a URL to urlpatterns:  path('', views.home, name='home')
Class-based views
    1. Add an import:  from other_app.views import Home
    2. Add a URL to urlpatterns:  path('', Home.as_view(), name='home')
Including another URLconf
    1. Import the include() function: from django.urls import include, path
    2. Add a URL to urlpatterns:  path('blog/', include('blog.urls'))
"""
from django.contrib import admin
from django.urls import path
 
 
urlpatterns = [
    path('admin/', admin.site.urls),
]
					
				
			
		



コメントアウトの部分を読んでみましょう。
（google翻訳すると　スクリプト部分まで和訳されて意味不明でした。）
myproject URL設定

urlpatternsリストはURLをビューにルーティングします。詳細については、以下を参照してください。 https://docs.djangoproject.com/en/2.2/topics/http/urls/例：


機能ビュー
1.インポートの追加：
from my_app import views
2. urlpatternsにURLを追加します：

 path('', views.home, name='home')

クラスベースのビュー
1.インポートを追加します：

from other_app.views import Home

2. URLをurlpatternsに追加します：

path('', Home.as_view(), name='home')

別のURLconfを含める
1. include（）関数をインポートします：

from django.urls import include, path

2. urlpatternsにURLを追加

path('blog/', include('blog.urls'))


イメージが全然わきませんね。

urls.py　を編集する
機能ビューの

インポートの追加：
 URLをurlpatternsに追加します：

をやってみます。
公式サイトに従ってインポートをfrom car_motorbike import views　としてしまうとあとあとcar_motorbike以外のアプリを作成して時に form xxx import viewsというようにかぶってしまうので、ここではimport car_motorbike.views as carbike　として被らないようにします。



		
		
			
			
Python
			
			# 追加モジュール
import car_motorbike.views as carbike # 拡張子.pyは省略する

'''以下のようなインポートの仕方だとwebページの変数がすべてviewsになってしまい被る
from car_motorbike import views
'''

urlpatterns = [
    path('admin/', admin.site.urls),

    # 追加urlパターン carbikeというフォルダを見に来たら、carbike.indexを呼び出す
    path('carbike/', carbike.index), 
    ]
			
				
					
				
					1
2
3
4
5
6
7
8
9
10
11
12
13
				
						# 追加モジュール
import car_motorbike.views as carbike # 拡張子.pyは省略する
 
'''以下のようなインポートの仕方だとwebページの変数がすべてviewsになってしまい被る
from car_motorbike import views
'''
 
urlpatterns = [
    path('admin/', admin.site.urls),
 
    # 追加urlパターン carbikeというフォルダを見に来たら、carbike.indexを呼び出す
    path('carbike/', carbike.index), 
    ]
					
				
			
		


では開発用サーバーを起動してみましょう。

>python manage.py runserver

http://127.0.0.1:8000/

not foundの404エラーが出ていますが、作ってないので当然出ます。問題ありません。

そして、先程作ったcarbikeのページを見てみましょう。
http://127.0.0.1:8000/carbike/
 というように、ちゃんと機能しています。

今一度思い起こすと、このhttp://127.0.0.1:8000/carbike/ こそが　carbikeというwebアプリケーションのトップページなわけです。（アプリフォルダ名としてははcar_motorbikeです。一緒にすればよかったか・・・(´・ω・

)）

おさらいすると、mayproject/urls.py が http://127.0.0.1:8000/carbike/ というurl のインプットによって car_motorbike/views.py を参照した形になります。

次回

今後はこのページを改造していってインタラクティブな機能を強化していきます。

Web Application: 第９回　Djangoでページのルーティング設定をする

Web Application: 第７回　VGG16を使った転移学習

Keita_Nakamoriです。TensorFlowに疲れてきました。

早くwebアプリの部分にいきたい・・・。

今回は、転移学習を試してみます。学習済みのCNNであるVGG16を使って、その後ろに中間層と全結合層をマニュアルで挿入して最終的にsoftmax関数を通して結果を出力します。

中間層は256node、全結合層は2クラスしかないので2nodeです。

スクリプト：VGG16_trans.py

前回まで、import keras をして kerasを使用していましたが、今どきはTensorFlowのクラスとして存在しているので使ってみます。

というのもfrom keras.models import Modelでエラーが出てしまいどうしようもないので調べていたら見つけました。

import numpy as np
import matplotlib.pyplot as plt

# keras は　tensorflowのクラスとして存在する
from tensorflow import keras

from tensorflow.keras.models import Sequential, Model
from tensorflow.keras.layers import Dense, Dropout, Flatten
from tensorflow.keras.layers import Conv2D, MaxPooling2D
from tensorflow.keras.optimizers import SGD, Adam

from tensorflow.python.keras.utils import np_utils
from tensorflow.python.keras.applications import VGG16

# 出力結果のクラスを定義
classes = ["car", "motorbike"]
num_classes = len(classes) # クラス数を定義

# 画像サイズを定義（VGG16に合うように）
image_size = 224

# npyデータを読み込み、訓練用・検証用データに分割する
X_train, X_test, y_train, y_test = np.load(
    "./image_files_224.npy",
    allow_pickle=True
    )

# one hot エンコーディング
y_train = np_utils.to_categorical(y_train, num_classes)
y_test = np_utils.to_categorical(y_test, num_classes)

# ここで入力データの正規化を行う
X_train = X_train.astype("float") / 255.0
X_test = X_test.astype("float") / 255.0

# VGG16モデルを定義する
model = VGG16(weights='imagenet', include_top=False, input_shape=(image_size,image_size,3))

# 以降のニューラルネットワーク層を定義する。top_model
# VGG16の出力がSequentialで出てくるので、追加する全結合層もシーケンシャルで作成しておく。
top_model = Sequential()
top_model.add(Flatten(input_shape=model.output_shape[1:]))
top_model.add(Dense(256, activation='relu'))
top_model.add(Dropout(0.5))
top_model.add(Dense(num_classes, activation='softmax'))

# VGG16と追加層を結合する
# VGG16の出力を追加層の入力に入れる。
model = Model(inputs=model.input, outputs=top_model(model.output))

# モデルのサマリーを確認する
model.summary()

# トレーニングしないようにパラメータをフリーズ（固定化）する
# 必ずcompileの前に入れる
for layer in model.layers[:15]:
    layer.trainable = False

# オプティマイザーを定義する
opt = Adam(lr=0.0001)
model.compile(loss='categorical_crossentropy', optimizer=opt,metrics=['accuracy'])

# 訓練をする
history = model.fit(X_train, y_train, batch_size=32, epochs=17)

# 評価する
score = model.evaluate(X_test, y_test, batch_size=32)
print('Test loss:', score[0])
print('Test accuracy:', score[1])

# モデルを保存する
model.save("./vgg16_trans.h5")

# 可視化する
loss     = history.history['loss']

nb_epoch = len(loss)
plt.plot(range(nb_epoch), loss, marker='.', label='loss')

plt.legend(loc='best', fontsize=10)
plt.grid()
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()

import numpy as np

import matplotlib.pyplot as plt

# keras は　tensorflowのクラスとして存在する

from tensorflow import keras

from tensorflow.keras.models import Sequential, Model

from tensorflow.keras.layers import Dense, Dropout, Flatten

from tensorflow.keras.layers import Conv2D, MaxPooling2D

from tensorflow.keras.optimizers import SGD, Adam

from tensorflow.python.keras.utils import np_utils

from tensorflow.python.keras.applications import VGG16

# 出力結果のクラスを定義

classes = ["car", "motorbike"]

num_classes = len(classes) # クラス数を定義

# 画像サイズを定義（VGG16に合うように）

image_size = 224

# npyデータを読み込み、訓練用・検証用データに分割する

X_train, X_test, y_train, y_test = np.load(

"./image_files_224.npy",

allow_pickle=True

)

# one hot エンコーディング

y_train = np_utils.to_categorical(y_train, num_classes)

y_test = np_utils.to_categorical(y_test, num_classes)

# ここで入力データの正規化を行う

X_train = X_train.astype("float") / 255.0

X_test = X_test.astype("float") / 255.0

# VGG16モデルを定義する

model = VGG16(weights='imagenet', include_top=False, input_shape=(image_size,image_size,3))

# 以降のニューラルネットワーク層を定義する。top_model

# VGG16の出力がSequentialで出てくるので、追加する全結合層もシーケンシャルで作成しておく。

top_model = Sequential()

top_model.add(Flatten(input_shape=model.output_shape[1:]))

top_model.add(Dense(256, activation='relu'))

top_model.add(Dropout(0.5))

top_model.add(Dense(num_classes, activation='softmax'))

# VGG16と追加層を結合する

# VGG16の出力を追加層の入力に入れる。

model = Model(inputs=model.input, outputs=top_model(model.output))

# モデルのサマリーを確認する

model.summary()

# トレーニングしないようにパラメータをフリーズ（固定化）する

# 必ずcompileの前に入れる

for layer in model.layers[:15]:

layer.trainable = False

# オプティマイザーを定義する

opt = Adam(lr=0.0001)

model.compile(loss='categorical_crossentropy', optimizer=opt,metrics=['accuracy'])

# 訓練をする

history = model.fit(X_train, y_train, batch_size=32, epochs=17)

# 評価する

score = model.evaluate(X_test, y_test, batch_size=32)

print('Test loss:', score[0])

print('Test accuracy:', score[1])

# モデルを保存する

model.save("./vgg16_trans.h5")

# 可視化する

loss = history.history['loss']

nb_epoch = len(loss)

plt.plot(range(nb_epoch), loss, marker='.', label='loss')

plt.legend(loc='best', fontsize=10)

plt.grid()

plt.xlabel('epoch')

plt.ylabel('loss')

plt.show()

構造

スクリプト内の# モデルのサマリーを確認する model.summary()　までを実行するとニューラルネットワークの構造が確認できます。

最後に、sequential (Sequential) (None, 2)　が新しく生成されました。

Model: "model"
_________________________________________________________________
Layer (type)                 Output Shape              Param #
=================================================================
input_1 (InputLayer)         [(None, 224, 224, 3)]     0
_________________________________________________________________
block1_conv1 (Conv2D)        (None, 224, 224, 64)      1792
_________________________________________________________________
block1_conv2 (Conv2D)        (None, 224, 224, 64)      36928
_________________________________________________________________
block1_pool (MaxPooling2D)   (None, 112, 112, 64)      0
_________________________________________________________________
block2_conv1 (Conv2D)        (None, 112, 112, 128)     73856
_________________________________________________________________
block2_conv2 (Conv2D)        (None, 112, 112, 128)     147584
_________________________________________________________________
block2_pool (MaxPooling2D)   (None, 56, 56, 128)       0
_________________________________________________________________
block3_conv1 (Conv2D)        (None, 56, 56, 256)       295168
_________________________________________________________________
block3_conv2 (Conv2D)        (None, 56, 56, 256)       590080
_________________________________________________________________
block3_conv3 (Conv2D)        (None, 56, 56, 256)       590080
_________________________________________________________________
block3_pool (MaxPooling2D)   (None, 28, 28, 256)       0
_________________________________________________________________
block4_conv1 (Conv2D)        (None, 28, 28, 512)       1180160
_________________________________________________________________
block4_conv2 (Conv2D)        (None, 28, 28, 512)       2359808
_________________________________________________________________
block4_conv3 (Conv2D)        (None, 28, 28, 512)       2359808
_________________________________________________________________
block4_pool (MaxPooling2D)   (None, 14, 14, 512)       0
_________________________________________________________________
block5_conv1 (Conv2D)        (None, 14, 14, 512)       2359808
_________________________________________________________________
block5_conv2 (Conv2D)        (None, 14, 14, 512)       2359808
_________________________________________________________________
block5_conv3 (Conv2D)        (None, 14, 14, 512)       2359808
_________________________________________________________________
block5_pool (MaxPooling2D)   (None, 7, 7, 512)         0
_________________________________________________________________
sequential (Sequential)      (None, 2)                 6423298
=================================================================
Total params: 21,137,986
Trainable params: 21,137,986
Non-trainable params: 0
_________________________________________________________________

Model: "model"

_________________________________________________________________

Layer (type) Output Shape Param #

=================================================================

input_1 (InputLayer) [(None, 224, 224, 3)] 0

_________________________________________________________________

block1_conv1 (Conv2D) (None, 224, 224, 64) 1792

_________________________________________________________________

block1_conv2 (Conv2D) (None, 224, 224, 64) 36928

_________________________________________________________________

block1_pool (MaxPooling2D) (None, 112, 112, 64) 0

_________________________________________________________________

block2_conv1 (Conv2D) (None, 112, 112, 128) 73856

_________________________________________________________________

block2_conv2 (Conv2D) (None, 112, 112, 128) 147584

_________________________________________________________________

block2_pool (MaxPooling2D) (None, 56, 56, 128) 0

_________________________________________________________________

block3_conv1 (Conv2D) (None, 56, 56, 256) 295168

_________________________________________________________________

block3_conv2 (Conv2D) (None, 56, 56, 256) 590080

_________________________________________________________________

block3_conv3 (Conv2D) (None, 56, 56, 256) 590080

_________________________________________________________________

block3_pool (MaxPooling2D) (None, 28, 28, 256) 0

_________________________________________________________________

block4_conv1 (Conv2D) (None, 28, 28, 512) 1180160

_________________________________________________________________

block4_conv2 (Conv2D) (None, 28, 28, 512) 2359808

_________________________________________________________________

block4_conv3 (Conv2D) (None, 28, 28, 512) 2359808

_________________________________________________________________

block4_pool (MaxPooling2D) (None, 14, 14, 512) 0

_________________________________________________________________

block5_conv1 (Conv2D) (None, 14, 14, 512) 2359808

_________________________________________________________________

block5_conv2 (Conv2D) (None, 14, 14, 512) 2359808

_________________________________________________________________

block5_conv3 (Conv2D) (None, 14, 14, 512) 2359808

_________________________________________________________________

block5_pool (MaxPooling2D) (None, 7, 7, 512) 0

_________________________________________________________________

sequential (Sequential) (None, 2) 6423298

=================================================================

Total params: 21,137,986

Trainable params: 21,137,986

Non-trainable params: 0

_________________________________________________________________

結果

VGG１６層　全結合２層　17エポックまでやってみましたが、数十分かかってしまいました。流石のディープさです。

しかし、結果は素晴らしいい。トレーニング１００％　テスト９９％の精度。

そして、モデルファイルである192MB のvgg16_trans.h5 ファイルも上手く生成できていました。

600/600 [==============================] - 226s 376ms/sample - loss: 0.2884 - acc: 0.8750
Epoch 2/17
600/600 [==============================] - 241s 402ms/sample - loss: 0.0544 - acc: 0.9833
Epoch 3/17
600/600 [==============================] - 1048s 2s/sample - loss: 0.0109 - acc: 0.9983
Epoch 4/17
600/600 [==============================] - 235s 392ms/sample - loss: 0.0085 - acc: 0.9967
Epoch 5/17
600/600 [==============================] - 252s 421ms/sample - loss: 0.0012 - acc: 1.0000
Epoch 6/17
600/600 [==============================] - 242s 403ms/sample - loss: 4.5241e-04 - acc: 1.0000
Epoch 7/17
600/600 [==============================] - 235s 391ms/sample - loss: 3.2469e-04 - acc: 1.0000
Epoch 8/17
600/600 [==============================] - 235s 391ms/sample - loss: 1.6192e-04 - acc: 1.0000
Epoch 9/17
600/600 [==============================] - 227s 378ms/sample - loss: 1.1878e-04 - acc: 1.0000
Epoch 10/17
600/600 [==============================] - 228s 380ms/sample - loss: 4.5246e-05 - acc: 1.0000
Epoch 11/17
600/600 [==============================] - 228s 381ms/sample - loss: 1.3106e-04 - acc: 1.0000
Epoch 12/17
600/600 [==============================] - 234s 390ms/sample - loss: 6.3007e-05 - acc: 1.0000
Epoch 13/17
600/600 [==============================] - 229s 382ms/sample - loss: 2.4614e-05 - acc: 1.0000
Epoch 14/17
600/600 [==============================] - 230s 383ms/sample - loss: 3.7191e-05 - acc: 1.0000
Epoch 15/17
600/600 [==============================] - 229s 381ms/sample - loss: 3.3313e-05 - acc: 1.0000
Epoch 16/17
600/600 [==============================] - 235s 392ms/sample - loss: 3.7981e-05 - acc: 1.0000
Epoch 17/17
600/600 [==============================] - 230s 383ms/sample - loss: 7.3269e-06 - acc: 1.0000
200/200 [==============================] - 67s 333ms/sample - loss: 0.0636 - acc: 0.9900

600/600 [==============================] - 226s 376ms/sample - loss: 0.2884 - acc: 0.8750

Epoch 2/17

600/600 [==============================] - 241s 402ms/sample - loss: 0.0544 - acc: 0.9833

Epoch 3/17

600/600 [==============================] - 1048s 2s/sample - loss: 0.0109 - acc: 0.9983

Epoch 4/17

600/600 [==============================] - 235s 392ms/sample - loss: 0.0085 - acc: 0.9967

Epoch 5/17

600/600 [==============================] - 252s 421ms/sample - loss: 0.0012 - acc: 1.0000

Epoch 6/17

600/600 [==============================] - 242s 403ms/sample - loss: 4.5241e-04 - acc: 1.0000

Epoch 7/17

600/600 [==============================] - 235s 391ms/sample - loss: 3.2469e-04 - acc: 1.0000

Epoch 8/17

600/600 [==============================] - 235s 391ms/sample - loss: 1.6192e-04 - acc: 1.0000

Epoch 9/17

600/600 [==============================] - 227s 378ms/sample - loss: 1.1878e-04 - acc: 1.0000

Epoch 10/17

600/600 [==============================] - 228s 380ms/sample - loss: 4.5246e-05 - acc: 1.0000

Epoch 11/17

600/600 [==============================] - 228s 381ms/sample - loss: 1.3106e-04 - acc: 1.0000

Epoch 12/17

600/600 [==============================] - 234s 390ms/sample - loss: 6.3007e-05 - acc: 1.0000

Epoch 13/17

600/600 [==============================] - 229s 382ms/sample - loss: 2.4614e-05 - acc: 1.0000

Epoch 14/17

600/600 [==============================] - 230s 383ms/sample - loss: 3.7191e-05 - acc: 1.0000

Epoch 15/17

600/600 [==============================] - 229s 381ms/sample - loss: 3.3313e-05 - acc: 1.0000

Epoch 16/17

600/600 [==============================] - 235s 392ms/sample - loss: 3.7981e-05 - acc: 1.0000

Epoch 17/17

600/600 [==============================] - 230s 383ms/sample - loss: 7.3269e-06 - acc: 1.0000

200/200 [==============================] - 67s 333ms/sample - loss: 0.0636 - acc: 0.9900

スクリプト：vgg16_predict.py

では、転移学習済みのvgg16_trans.h5モデルをロードして、Anacondaプロンプトからサンプル画像を入力することによってcar なのか motorbikeなのか予測してみましょう。

import numpy as np
import matplotlib.pyplot as plt
from PIL import Image
import sys

# keras は　tensorflowのクラスとして存在する
from tensorflow import keras
from tensorflow.keras.models import load_model

'''トレーニング済みなので　不要

from tensorflow.keras.layers import Dense, Dropout, Flatten
from tensorflow.keras.layers import Conv2D, MaxPooling2D
from tensorflow.keras.optimizers import SGD, Adam

from tensorflow.python.keras.utils import np_utils
from tensorflow.python.keras.applications import VGG16
'''

# 出力結果のクラスを定義
classes = ["car", "motorbike"]
num_classes = len(classes) # クラス数を定義

# 画像サイズを定義（VGG16に合うように）
image_size = 224

# 画像ファイルをコマンドラインの第２引数から開く
image = Image.open(sys.argv[1])

# 画像ファイルをRGBに変換する
image = image.convert('RGB')

# 画像を同じサイズに揃える
image = image.resize((image_size, image_size))

# RGB値をnumpy配列に変換する 
data = np.asarray(image)

# データを正規化する
data = data / 255.0

# リストにappendしてnumpy配列にする
X = []
X.append(data)
X = np.array(X)

# VGG16_transモデルをロードする
model = load_model('./vgg16_trans.h5')

# VGG16_transモデルにデータを入れて予測結果を返す
# スコアが配列で帰ってくるので[0]番目をつける
result = model.predict([X])[0]

# 最も大きい数字を採用する
predicted = result.argmax()
percentage = int(result[predicted] * 100)

# プリントする
print(classes[predicted], percentage)
print('==== script is done ====')

import numpy as np

import matplotlib.pyplot as plt

from PIL import Image

import sys

# keras は　tensorflowのクラスとして存在する

from tensorflow import keras

from tensorflow.keras.models import load_model

'''トレーニング済みなので　不要

from tensorflow.keras.layers import Dense, Dropout, Flatten

from tensorflow.keras.layers import Conv2D, MaxPooling2D

from tensorflow.keras.optimizers import SGD, Adam

from tensorflow.python.keras.utils import np_utils

from tensorflow.python.keras.applications import VGG16

'''

# 出力結果のクラスを定義

classes = ["car", "motorbike"]

num_classes = len(classes) # クラス数を定義

# 画像サイズを定義（VGG16に合うように）

image_size = 224

# 画像ファイルをコマンドラインの第２引数から開く

image = Image.open(sys.argv[1])

# 画像ファイルをRGBに変換する

image = image.convert('RGB')

# 画像を同じサイズに揃える

image = image.resize((image_size, image_size))

# RGB値をnumpy配列に変換する

data = np.asarray(image)

# データを正規化する

data = data / 255.0

# リストにappendしてnumpy配列にする

X = []

X.append(data)

X = np.array(X)

# VGG16_transモデルをロードする

model = load_model('./vgg16_trans.h5')

# VGG16_transモデルにデータを入れて予測結果を返す

# スコアが配列で帰ってくるので[0]番目をつける

result = model.predict([X])[0]

# 最も大きい数字を採用する

predicted = result.argmax()

percentage = int(result[predicted] * 100)

# プリントする

print(classes[predicted], percentage)

print('==== script is done ====')

予測

１．車の画像データの一つをcar1.jpgにリネームしてdjangoaiフォルダ直下に移動します。

(djangoai) C:\Users\keita\anaconda_projects\djangoai>python vgg16_predict.py car1.jpg

結果：car 100

２．次にバイクの画像データの一つをbike1.jpgにリネームしてdjangoaiフォルダ直下に移動します。

(djangoai) C:\Users\keita\anaconda_projects\djangoai>python vgg16_predict.py motorbike1.jpg

結果：motorbike 100

３．試しにビキニ画像データを入力してみましたが・・・バイク100%になりました。（笑）

次回

Web Application: 第８回　はじめてのwebアプリ

Web Application: 第６回　VGG16を構築する

VGG16をやってみます。

オックスフォード大学のVisual Geometry Groupが作った、畳み込み13層＋全結合３層の　合計16層のニューラルネットワークです。

VGG16用の入力データを作成

VGG16の入力データの画像サイズは 224 x 224 である必要がありますので　generate_inputdata.pyを改造して224×224のnpyデータを生成するgenerate_inputdata_224.pyを作りましょう。

また、それだと元々150角サイズが224角サイズになるわけですから、容量が増えてしまいます。（実際に600MBから1300MBに増えました。）

そこで、このスクリプトでは正規化するのをやめて、浮動小数点が発生するのを防ぎ容量を落とします。

代わりに、VGG16をやる直前に正規化を行う方針でいきます。

スクリプト：generate_inputdata_224.py

変更した部分は

入力サイズ変更：image_size = 224
保存名を変更：np.save(‘./image_files_224.npy’, xy)
標準化中止　：data = data / 255.0 の行をコメントアウト

from PIL import Image # image operation
import os             # get file list
import glob           # image treatment
import numpy as np    # culculation
from sklearn.model_selection import train_test_split # split data

# initialize parameters
classes = ['car', 'motorbike'] # define 2 classses 
num_classes = len(classes)     # the number of classes
image_size = 224               # pixels of width or height

# read images and cnvert numpy array
X = [] # ready to make list
Y = [] # ready to make list

# numbering and 
for index, class_label in enumerate(classes):
    
    # create class_label directories (car or motorbike)
    photos_dir ='./' + class_label

    # search jpeg fileb and create files object
    files = glob.glob(photos_dir + '/*.jpg')

    for i, file in enumerate(files):

        # open image files as instance
        image = Image.open(file)

        # convert image into RGB value data
        image = image.convert('RGB')

        # align to the same size (just in case)
        image = image.resize((image_size, image_size))

        # convert RGB value into numpy array 
        data = np.asarray(image)

        # do not normalize
        # so, data object nees to be normalize other script later 
        #data = data / 255.0

        # append value to list
        X.append(data)
        Y.append(index)

# convert list into numpy array
X = np.array(X)
Y = np.array(Y)

# split data (training and test)
X_train, X_test, y_train, y_test = train_test_split(X, Y)

# replace 1 variable
xy =(X_train, X_test, y_train, y_test)

# save values as npy file 
np.save('./image_files_224.npy', xy)

from PIL import Image # image operation

import os # get file list

import glob # image treatment

import numpy as np # culculation

from sklearn.model_selection import train_test_split # split data

# initialize parameters

classes = ['car', 'motorbike'] # define 2 classses

num_classes = len(classes) # the number of classes

image_size = 224 # pixels of width or height

# read images and cnvert numpy array

X = [] # ready to make list

Y = [] # ready to make list

# numbering and

for index, class_label in enumerate(classes):

# create class_label directories (car or motorbike)

photos_dir ='./' + class_label

# search jpeg fileb and create files object

files = glob.glob(photos_dir + '/*.jpg')

for i, file in enumerate(files):

# open image files as instance

image = Image.open(file)

# convert image into RGB value data

image = image.convert('RGB')

# align to the same size (just in case)

image = image.resize((image_size, image_size))

# convert RGB value into numpy array

data = np.asarray(image)

# do not normalize

# so, data object nees to be normalize other script later

#data = data / 255.0

# append value to list

X.append(data)

Y.append(index)

# convert list into numpy array

X = np.array(X)

Y = np.array(Y)

# split data (training and test)

X_train, X_test, y_train, y_test = train_test_split(X, Y)

# replace 1 variable

xy =(X_train, X_test, y_train, y_test)

# save values as npy file

np.save('./image_files_224.npy', xy)

転移学習のモデル作成

では、データができたところでVGG16モデルを作成しましょう。

モジュール追加：from keras.applications import VGG16

ロードデータ名変更；

X_train, X_test, y_train, y_test = np.load(‘./image_files_224.npy’, allow_pickle=True)

正規化操作の追加：

X_train = X_train.astype(‘float’) / 255.0
X_test = X_train.astype(‘float’) / 255.0

モデル定義の変更

model = VGG16( weights=’imagenet’, include_top=False, input_shape=(image_size,image_size, 3) )
print(‘Model loaded’)
model.summary()

import numpy as np
import tensorflow as tf
import keras
import matplotlib.pyplot as plt

from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D, MaxPooling2D

from keras.optimizers import SGD, Adam
from keras.utils import np_utils

from keras.applications import VGG16

# initialize parameters
classes = ['car', 'motorbike'] # define 2 classses 
num_classes = len(classes)     # the number of classes
image_size = 224               # pixels of width or height

# load npy file
# need 'allow_pickle=True'
X_train, X_test, y_train, y_test = np.load('./image_files_224.npy', allow_pickle=True)

# one hot encording
y_train = np_utils.to_categorical(y_train, num_classes)
y_test = np_utils.to_categorical(y_test, num_classes)

# normalize
X_train = X_train.astype('float') / 255.0
X_test = X_train.astype('float') / 255.0

# define model
model = VGG16(
    weights='imagenet', include_top=False,
    input_shape=(image_size,image_size, 3)
    )
print('Model loaded')
model.summary()

import numpy as np

import tensorflow as tf

import keras

import matplotlib.pyplot as plt

from keras.models import Sequential

from keras.layers import Dense, Dropout, Flatten

from keras.layers import Conv2D, MaxPooling2D

from keras.optimizers import SGD, Adam

from keras.utils import np_utils

from keras.applications import VGG16

# initialize parameters

classes = ['car', 'motorbike'] # define 2 classses

num_classes = len(classes) # the number of classes

image_size = 224 # pixels of width or height

# load npy file

# need 'allow_pickle=True'

X_train, X_test, y_train, y_test = np.load('./image_files_224.npy', allow_pickle=True)

# one hot encording

y_train = np_utils.to_categorical(y_train, num_classes)

y_test = np_utils.to_categorical(y_test, num_classes)

# normalize

X_train = X_train.astype('float') / 255.0

X_test = X_train.astype('float') / 255.0

# define model

model = VGG16(

weights='imagenet', include_top=False,

input_shape=(image_size,image_size, 3)

)

print('Model loaded')

model.summary()

結果

input_1 (InputLayer) (None, 224, 224, 3)について

１枚の224 x 224 サイズの画像データにつき、 RGBの３枚に分解されたデータが入力データとし入ります。

まだ何枚のデータが入ってくるかわかりませんのでNoneになっています。

畳み込み２回　プーリング１回　畳み込み２回　プーリング１回　畳み込み３回・・・、で　１６層あるのだそうですがどういう数え方をしたら１６になるかは理解できていません・・・。

Model loaded
Model: "vgg16"
_________________________________________________________________
Layer (type)                 Output Shape              Param #
=================================================================
input_1 (InputLayer)         (None, 224, 224, 3)       0
_________________________________________________________________
block1_conv1 (Conv2D)        (None, 224, 224, 64)      1792
_________________________________________________________________
block1_conv2 (Conv2D)        (None, 224, 224, 64)      36928
_________________________________________________________________
block1_pool (MaxPooling2D)   (None, 112, 112, 64)      0
_________________________________________________________________
block2_conv1 (Conv2D)        (None, 112, 112, 128)     73856
_________________________________________________________________
block2_conv2 (Conv2D)        (None, 112, 112, 128)     147584
_________________________________________________________________
block2_pool (MaxPooling2D)   (None, 56, 56, 128)       0
_________________________________________________________________
block3_conv1 (Conv2D)        (None, 56, 56, 256)       295168
_________________________________________________________________
block3_conv2 (Conv2D)        (None, 56, 56, 256)       590080
_________________________________________________________________
block3_conv3 (Conv2D)        (None, 56, 56, 256)       590080
_________________________________________________________________
block3_pool (MaxPooling2D)   (None, 28, 28, 256)       0
_________________________________________________________________
block4_conv1 (Conv2D)        (None, 28, 28, 512)       1180160
_________________________________________________________________
block4_conv2 (Conv2D)        (None, 28, 28, 512)       2359808
_________________________________________________________________
block4_conv3 (Conv2D)        (None, 28, 28, 512)       2359808
_________________________________________________________________
block4_pool (MaxPooling2D)   (None, 14, 14, 512)       0
_________________________________________________________________
block5_conv1 (Conv2D)        (None, 14, 14, 512)       2359808
_________________________________________________________________
block5_conv2 (Conv2D)        (None, 14, 14, 512)       2359808
_________________________________________________________________
block5_conv3 (Conv2D)        (None, 14, 14, 512)       2359808
_________________________________________________________________
block5_pool (MaxPooling2D)   (None, 7, 7, 512)         0
=================================================================
Total params: 14,714,688
Trainable params: 14,714,688
Non-trainable params: 0
_________________________________________________________________

Model loaded

Model: "vgg16"

_________________________________________________________________

Layer (type) Output Shape Param #

=================================================================

input_1 (InputLayer) (None, 224, 224, 3) 0

_________________________________________________________________

block1_conv1 (Conv2D) (None, 224, 224, 64) 1792

_________________________________________________________________

block1_conv2 (Conv2D) (None, 224, 224, 64) 36928

_________________________________________________________________

block1_pool (MaxPooling2D) (None, 112, 112, 64) 0

_________________________________________________________________

block2_conv1 (Conv2D) (None, 112, 112, 128) 73856

_________________________________________________________________

block2_conv2 (Conv2D) (None, 112, 112, 128) 147584

_________________________________________________________________

block2_pool (MaxPooling2D) (None, 56, 56, 128) 0

_________________________________________________________________

block3_conv1 (Conv2D) (None, 56, 56, 256) 295168

_________________________________________________________________

block3_conv2 (Conv2D) (None, 56, 56, 256) 590080

_________________________________________________________________

block3_conv3 (Conv2D) (None, 56, 56, 256) 590080

_________________________________________________________________

block3_pool (MaxPooling2D) (None, 28, 28, 256) 0

_________________________________________________________________

block4_conv1 (Conv2D) (None, 28, 28, 512) 1180160

_________________________________________________________________

block4_conv2 (Conv2D) (None, 28, 28, 512) 2359808

_________________________________________________________________

block4_conv3 (Conv2D) (None, 28, 28, 512) 2359808

_________________________________________________________________

block4_pool (MaxPooling2D) (None, 14, 14, 512) 0

_________________________________________________________________

block5_conv1 (Conv2D) (None, 14, 14, 512) 2359808

_________________________________________________________________

block5_conv2 (Conv2D) (None, 14, 14, 512) 2359808

_________________________________________________________________

block5_conv3 (Conv2D) (None, 14, 14, 512) 2359808

_________________________________________________________________

block5_pool (MaxPooling2D) (None, 7, 7, 512) 0

=================================================================

Total params: 14,714,688

Trainable params: 14,714,688

Non-trainable params: 0

_________________________________________________________________

ひとまず、できていました。このあと、全結合層を後ろに追加していくことになります。それは次回！

次回

Web Application: 第７回　VGG16を使った転移学習

Web Application: 第５回　npyデータからCNN

こんにちは Keita_Nakamori(´・ω・`)です。

前回はTensor Flowにインプットするnpyデータを作成しました。

今回はTensorflowとKerasで畳み込みニューラルネットワークを構築して、訓練・評価してみます。

keras公式ページのSequential-model-guideを参考にします。

スクリプト：cnn_test.py

VGG-likeなconvnet　を参考に動作を確認していきます。

import numpy as np
import tensorflow as tf
import keras

from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten
from keras.layers import Conv2D, MaxPooling2D

from keras.optimizers import SGD, Adam
from keras.utils import np_utils


# initialize parameters
classes = ['car', 'motorbike'] # define 2 classses 
num_classes = len(classes)     # the number of classes
image_size = 150               # pixels of width or height

# load npy file
# need 'allow_pickle=True'
X_train, X_test, y_train, y_test = np.load('./image_files.npy', allow_pickle=True)

# one hot encording
y_train = np_utils.to_categorical(y_train, num_classes)
y_test = np_utils.to_categorical(y_test, num_classes)

# define model
model = Sequential()

model.add(Conv2D(32,(3, 3), activation='relu', input_shape=(image_size, image_size, 3)))
model.add(Conv2D(32,(3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=(2,2)))
model.add(Dropout(0.25)) # 25%のデータは捨てる

model.add(Flatten())
model.add(Dense(256, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes, activation='softmax'))

# define optimiser
opt = SGD(lr=0.01) # rmsprop, adam etc...
model.compile(loss='categorical_crossentropy', optimizer=opt, metrics=['accuracy'])

# trainning start
history = model.fit(X_train, y_train, batch_size=32, epochs=30)

# evaluation
score = model.evaluate(X_test, y_test, batch_size=32)
print()
print('Test loss:', score[0])
print('Test accuracy:', score[1])

import numpy as np

import tensorflow as tf

import keras

from keras.models import Sequential

from keras.layers import Dense, Dropout, Flatten

from keras.layers import Conv2D, MaxPooling2D

from keras.optimizers import SGD, Adam

from keras.utils import np_utils

# initialize parameters

classes = ['car', 'motorbike'] # define 2 classses

num_classes = len(classes) # the number of classes

image_size = 150 # pixels of width or height

# load npy file

# need 'allow_pickle=True'

X_train, X_test, y_train, y_test = np.load('./image_files.npy', allow_pickle=True)

# one hot encording

y_train = np_utils.to_categorical(y_train, num_classes)

y_test = np_utils.to_categorical(y_test, num_classes)

# define model

model = Sequential()

model.add(Conv2D(32,(3, 3), activation='relu', input_shape=(image_size, image_size, 3)))

model.add(Conv2D(32,(3, 3), activation='relu'))

model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Dropout(0.25)) # 25%のデータは捨てる

model.add(Flatten())

model.add(Dense(256, activation='relu'))

model.add(Dropout(0.5))

model.add(Dense(num_classes, activation='softmax'))

# define optimiser

opt = SGD(lr=0.01) # rmsprop, adam etc...

model.compile(loss='categorical_crossentropy', optimizer=opt, metrics=['accuracy'])

# trainning start

history = model.fit(X_train, y_train, batch_size=32, epochs=30)

# evaluation

score = model.evaluate(X_test, y_test, batch_size=32)

print()

print('Test loss:', score[0])

print('Test accuracy:', score[1])

実行

では　Anacondaプロンプトから　$ conda info -e で仮想環境リストを確認して

(base) C:\Users\keita>conda info -e
# conda environments:
#
base * C:\Users\keita\Anaconda3
djangoai C:\Users\keita\Anaconda3\envs\djangoai

(base) C:\Users\keita>conda info -e

# conda environments:

base * C:\Users\keita\Anaconda3

djangoai C:\Users\keita\Anaconda3\envs\djangoai

djangoaiが存在することを確認したら、$ conda activate djangoai　して仮想環境に入ります。

(base) C:\Users\keita>conda activate djangoai

(djangoai) C:\Users\keita>

(base) C:\Users\keita>conda activate djangoai

(djangoai) C:\Users\keita>

カレントディレクトリをcnn_test.pyがある場所まで移動して、実行します。

(djangoai) C:\Users\keita>cd anaconda_projects
(djangoai) C:\Users\keita\anaconda_projects>cd djangoai
(djangoai) C:\Users\keita\anaconda_projects\djangoai>python cnn_test.py

(djangoai) C:\Users\keita>cd anaconda_projects

(djangoai) C:\Users\keita\anaconda_projects>cd djangoai

(djangoai) C:\Users\keita\anaconda_projects\djangoai>python cnn_test.py

結果

エポック数３０回やった結果、精度はacc: 0.99まで向上しましたが、検証データではTest accuracy:0.81までしか出ていません。おそらく過学習になっていると思われます。まだまだ改善の余地ありです。

Epoch 5/30
600/600 [==============================] - 13s 22ms/step - loss: 0.5880 - acc: 0.7017
Epoch 10/30
600/600 [==============================] - 13s 22ms/step - loss: 0.4863 - acc: 0.7850
Epoch 15/30
600/600 [==============================] - 14s 23ms/step - loss: 0.3483 - acc: 0.8617
Epoch 20/30
600/600 [==============================] - 13s 22ms/step - loss: 0.2374 - acc: 0.9150
Epoch 25/30
600/600 [==============================] - 13s 22ms/step - loss: 0.1508 - acc: 0.9633
600/600 [==============================] - 14s 23ms/step - loss: 0.0626 - acc: 0.9900
200/200 [==============================] - 2s 8ms/step

Test loss: 0.37387794256210327
Test accuracy: 0.81

Epoch 5/30

600/600 [==============================] - 13s 22ms/step - loss: 0.5880 - acc: 0.7017

Epoch 10/30

600/600 [==============================] - 13s 22ms/step - loss: 0.4863 - acc: 0.7850

Epoch 15/30

600/600 [==============================] - 14s 23ms/step - loss: 0.3483 - acc: 0.8617

Epoch 20/30

600/600 [==============================] - 13s 22ms/step - loss: 0.2374 - acc: 0.9150

Epoch 25/30

600/600 [==============================] - 13s 22ms/step - loss: 0.1508 - acc: 0.9633

600/600 [==============================] - 14s 23ms/step - loss: 0.0626 - acc: 0.9900

200/200 [==============================] - 2s 8ms/step

Test loss: 0.37387794256210327

Test accuracy: 0.81

オプティマイザーを変更

SGDからAdamに切り替えてみました。大きく悪化しました。（笑）

Epoch 10/30
600/600 [==============================] - 19s 32ms/step - loss: 8.0859 - acc: 0.4983

Epoch 20/30
600/600 [==============================] - 17s 28ms/step - loss: 8.0859 - acc: 0.4983

Epoch 30/30
600/600 [==============================] - 17s 29ms/step - loss: 8.0859 - acc: 0.4983
200/200 [==============================] - 1s 7ms/step

Test loss: 7.978457450866699
Test accuracy: 0.505

Epoch 10/30

600/600 [==============================] - 19s 32ms/step - loss: 8.0859 - acc: 0.4983

Epoch 20/30

600/600 [==============================] - 17s 28ms/step - loss: 8.0859 - acc: 0.4983

Epoch 30/30

600/600 [==============================] - 17s 29ms/step - loss: 8.0859 - acc: 0.4983

200/200 [==============================] - 1s 7ms/step

Test loss: 7.978457450866699

Test accuracy: 0.505

可視化にチャレンジ

djangoai仮想環境内で$pip install matplotlib　します。

matplotlib-3.1.1　が入りました。

下記コードを最後に追加しました。オプティマイザーはSGDに戻しました。

import&nbsp;matplotlib.pyplot&nbsp;as&nbsp;plt

# visualizer
loss     = history.history['loss']

nb_epoch = len(loss)
plt.plot(range(nb_epoch), loss, marker='.', label='loss')

plt.legend(loc='best', fontsize=10)
plt.grid()
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()

import matplotlib.pyplot as plt

# visualizer

loss = history.history['loss']

nb_epoch = len(loss)

plt.plot(range(nb_epoch), loss, marker='.', label='loss')

plt.legend(loc='best', fontsize=10)

plt.grid()

plt.xlabel('epoch')

plt.ylabel('loss')

plt.show()

横軸にエポック数　縦軸に損失です。　きれいな右肩下がりです。

次回

Web Application: 第６回　はじめてのwebアプリ

まずは線形回帰

そこでニューラルネットワークの出番。

次回予告

強化学習の基礎、多腕バンディット問題

django-bootstrap4 をインストール

htmlファイルの作成

base.html の作成

１．タイトル

２．内容

cssファイルの作成

index.html の作成

１．埋め込み先の宣言

２．埋め込むタイトルを定義

３．埋め込む内容を定義

forms.py を作成する

views.py へforms.pyを埋め込む

apps.pyを確認する

myproject/settings.py を編集する

ではここまでをブラウズしてみます。

次回

car_motorbike/urls.py 新規作成

myproject/urls.py 編集

car_motorbike/views.py の編集

動作チェック

次回

プロジェクトを作成する

djangoプロジェクトの生成

用語 ウィズギーとは

開発用の内蔵サーバーを起動する

簡単なwebアプリケーションを作ってみる

views.py を編集する

urls.py を編集する

コメントアウトの部分を読んでみましょう。

機能ビュー

クラスベースのビュー

別のURLconfを含める

urls.py を編集する

次回

スクリプト：VGG16_trans.py

構造

結果

スクリプト：vgg16_predict.py

予測

次回

VGG16をやってみます。

VGG16用の入力データを作成

スクリプト：generate_inputdata_224.py

転移学習のモデル作成

結果

次回

スクリプト：cnn_test.py

実行

結果

オプティマイザーを変更

可視化にチャレンジ

次回

base.html　の作成

index.html　の作成

forms.py　を作成する

car_motorbike/urls.py　新規作成

myproject/urls.py　編集

用語　ウィズギーとは

views.py　を編集する

urls.py　を編集する

urls.py　を編集する