FT232HとI2Cデバイスの複数接続（MPU-6050）

前回に引き続き

Windows10でPythonから加速度センサMPU-6050を動作させる

I2Cの複数接続をやってみます。

接続方法

２つ目のMPU-6050を接続する場合は２つ目のMPU-6050のVCCには何も入れず、代わりにADO（データアウト）へ対して+5Vを入れるとI2アドレスが0x69になってくれます。よって、スクリプトでは１つ目が0x68, ２つ目が0x69として値を渡してあげればよいのです。※データシートを熟読できていないので、もしかしたら、+3.3Vが正しいのかもしれません。

スクリプト

ポイントは、インスタンスを作るときにI2Cアドレスを引数として指定することです。ここだけです。

mpu1 = adafruit_mpu6050.MPU6050(i2c, address=0x68)

mpu2 = adafruit_mpu6050.MPU6050(i2c, address=0x69)

# $env:BLINKA_FT232H=1

import time
import datetime
import board
import busio
import adafruit_mpu6050

# i2cインスタンスを作成する
i2c = busio.I2C(board.SCL, board.SDA)

# mpu6050をi2cで使用するインスタンスを作成する
mpu1 = adafruit_mpu6050.MPU6050(i2c, address=0x68)
mpu2 = adafruit_mpu6050.MPU6050(i2c, address=0x69)

print('Temperature degC, Acceleration m/s2')
print('')

# 初期時刻の設定
init_time = datetime.datetime.now()

# 初期時間の設定
time_cnt = 0.0

# 測定値を出力する周期
interval = 0.2

while True:
    
    # センサー１　address=0x68　温度T1, 加速度 ax, ay, azを取得
    T1 = mpu1.temperature
    ax1 = mpu1.acceleration[0]
    ay1 = mpu1.acceleration[1]
    az1 = mpu1.acceleration[2]
    a_total1 = (ax1 ** 2 +ay1 ** 2 + az1 ** 2) ** (1/3) # 異常値の指標として

    # センサー２　address=0x68　温度T1, 加速度 ax, ay, azを取得 
    T2 = mpu2.temperature
    ax2 = mpu2.acceleration[0]
    ay2 = mpu2.acceleration[1]
    az2 = mpu2.acceleration[2]
    a_total2 = (ax2 ** 2 +ay2 ** 2 + az2 ** 2) ** (1/3) # 異常値の指標として
    
    # センサー１　address=0x68　異常値のしきい値設定
    if a_total1 > 6 :
        status1 = ' ==== ! ! ALERT ! ! sensor1 ==== '
    elif a_total1 > 5:
        status1 = ' = CAUTION sensor1 ='
    else:
        status1 = ''

    # センサー２　address=0x69　異常値のしきい値設定

    if a_total2 > 6 :
        status2 = ' ==== ! ! ALERT ! ! sensor2 ==== '
    elif a_total2 > 5:
        status2 = ' = CAUTION sensor2 ='
    else:
        status2 = ''

    # 現在時刻
    current_time = datetime.datetime.now() - init_time
    current_time = current_time.seconds + current_time.microseconds/1000_000

    # 現在時刻が測定値出力周期を超えたら測定値を出力する
    if current_time >= time_cnt:

        # センサー１　address=0x68
        print(str(datetime.datetime.now()) + ' ' + '{:.3f}'.format(current_time) +
                " T1:{:.2f}, ax1:{:.2f}, ay1:{:.2f}, az1:{:.2f}, a_total1:{:.2f}, status1:{} "
                .format(T1, ax1, ay1, az1, a_total1, status1))

         # センサー２　address=0x69       
        print(str(datetime.datetime.now()) + ' ' + '{:.3f}'.format(current_time) +
                " T2:{:.2f}, ax2:{:.2f}, ay2:{:.2f}, az2:{:.2f}, a_total2:{:.2f}, status2:{} "
                .format(T2, ax2, ay2, az2, a_total2, status2))
        
        print('')

    # 次回測定値出力のために判定タイミングtime_cntを更新
    time_cnt += interval

    # ジャイロ:角速度
    # print("Gyro X:%.2f, Y: %.2f, Z: %.2f degrees/s"%(mpu.gyro))

# $env:BLINKA_FT232H=1

import time

import datetime

import board

import busio

import adafruit_mpu6050

# i2cインスタンスを作成する

i2c = busio.I2C(board.SCL, board.SDA)

# mpu6050をi2cで使用するインスタンスを作成する

mpu1 = adafruit_mpu6050.MPU6050(i2c, address=0x68)

mpu2 = adafruit_mpu6050.MPU6050(i2c, address=0x69)

print('Temperature degC, Acceleration m/s2')

print('')

# 初期時刻の設定

init_time = datetime.datetime.now()

# 初期時間の設定

time_cnt = 0.0

# 測定値を出力する周期

interval = 0.2

while True:

# センサー１　address=0x68　温度T1, 加速度 ax, ay, azを取得

T1 = mpu1.temperature

ax1 = mpu1.acceleration[0]

ay1 = mpu1.acceleration[1]

az1 = mpu1.acceleration[2]

a_total1 = (ax1 ** 2 +ay1 ** 2 + az1 ** 2) ** (1/3) # 異常値の指標として

# センサー２　address=0x68　温度T1, 加速度 ax, ay, azを取得

T2 = mpu2.temperature

ax2 = mpu2.acceleration[0]

ay2 = mpu2.acceleration[1]

az2 = mpu2.acceleration[2]

a_total2 = (ax2 ** 2 +ay2 ** 2 + az2 ** 2) ** (1/3) # 異常値の指標として

# センサー１　address=0x68　異常値のしきい値設定

if a_total1 > 6 :

status1 = ' ==== ! ! ALERT ! ! sensor1 ==== '

elif a_total1 > 5:

status1 = ' = CAUTION sensor1 ='

else:

status1 = ''

# センサー２　address=0x69　異常値のしきい値設定

if a_total2 > 6 :

status2 = ' ==== ! ! ALERT ! ! sensor2 ==== '

elif a_total2 > 5:

status2 = ' = CAUTION sensor2 ='

else:

status2 = ''

# 現在時刻

current_time = datetime.datetime.now() - init_time

current_time = current_time.seconds + current_time.microseconds/1000_000

# 現在時刻が測定値出力周期を超えたら測定値を出力する

if current_time >= time_cnt:

# センサー１　address=0x68

print(str(datetime.datetime.now()) + ' ' + '{:.3f}'.format(current_time) +

" T1:{:.2f}, ax1:{:.2f}, ay1:{:.2f}, az1:{:.2f}, a_total1:{:.2f}, status1:{} "

.format(T1, ax1, ay1, az1, a_total1, status1))

# センサー２　address=0x69

print(str(datetime.datetime.now()) + ' ' + '{:.3f}'.format(current_time) +

" T2:{:.2f}, ax2:{:.2f}, ay2:{:.2f}, az2:{:.2f}, a_total2:{:.2f}, status2:{} "

.format(T2, ax2, ay2, az2, a_total2, status2))

print('')

# 次回測定値出力のために判定タイミングtime_cntを更新

time_cnt += interval

# ジャイロ:角速度

# print("Gyro X:%.2f, Y: %.2f, Z: %.2f degrees/s"%(mpu.gyro))

Windows10でPythonから加速度センサMPU-6050を動作させる

前回、Noobsが入ったラズベリーパイ３のGPIOピンを使ってI2C接続を試み、見事成功いたしました。

今回は、普段から使っているWindows１０のモバイルPCでMPU-6050を動かせないか検討しました。

モバイルPCで一般的な入出力といえばUSBなので、これをGPIO的な何かに変換できれば行けるだろうという思惑です。

ＦＴ２３２Ｈ使用　ＵＳＢ⇔ＧＰＩＯ＋ＳＰＩ＋Ｉ２Ｃ変換モジュール

http://akizukidenshi.com/catalog/g/gM-08942/

探した結果、こんなんがありました。Adafruit（エイダフルート）の変換モジュールです。下の方に「メーカー資料」とありますので、クリックしてみると。

https://learn.adafruit.com/adafruit-ft232h-breakout/mpsse-setup

いきなり現れる「非推奨」の文字！

どうやらPython2でやり方を書かれている古い情報のようです。

大丈夫です、代替方法が用意されてありました。

BLINKAとサーキットPythonライブラリ

https://learn.adafruit.com/circuitpython-on-any-computer-with-ft232h

これによると、Python3の他にBLINKAとCIRCUIT_PYTHON なるソフトウェアが必要だそうです。

ＦＴ２３２ＨをUSBへ認識させる

※実は、この項目は必要ないかもしれません。後述するBLINKAなどのセットアップが終わりテストスクリプトを走らせたあと、気がついたら、ここで行ったことがなかったことになっていました。しかしちゃんと動いています。参考までに残しておきます。↓↓↓

https://www.ftdichip.com/Drivers/VCP.htm

とその前に、先にこれをやらないといけません。基本的にはFT232H側マイクロUSB～PC側USB　とケーブルで接続すれば勝手に認識されます。

確認方法は、デバイスマネージャーを開いてポート（COMとLPT）の直下に新しいCOMx（xは数字）が作成されていればOKです。またポートと同層にあるユニバーサルシリアルバスコントローラーの直下にUSBコンバーターが作成されていればOKです。この詳細設定でVCPをONにしなければ動かない場合があるそうなので念の為ONにしておきます。

うまくいかない場合。

まず、ちゃんと正常なマイクロUSBケーブルを用意します。

これが今回最も手こずった所です。マイクロUSBは少し前のスマホでよく使われていましたが、今はUSB-Cに取って代わられています。マイクロUSBの致命的な欠点はその接触の悪さです。

一本目はナイロンで保護されている高級そうなケーブルで試してみました。「ピロポン♪↑」というUSB認識の音がなり、デバイスマネージャーを確認すると勝手にドライバーが入る手はずなのですが、COMとして認識された瞬間に接続が切れ、何回接続し直したりrebootしたりしても改善されません。

他のケーブルを試してみましたが、電源のみのケーブルというのも混在しており見分けが付きません。電源LEDは点灯すれどもUSB接続の「ピロポン♪」という音がなりません。これを３本ほどやりました。ぐぬぬぅ・・・。

さらに、ケーブルを替えてうまく認識されたと思いきや、１時間作業後に再び切れ、FT232Hの電源LEDすら点灯しなくなるという事態になりました。

（電源線を間違えてFT232Hが壊れたか・・・。OTZ）

結果、そんなことはありませんでした。奇跡的に見つけた最後のケーブルを使うと、なんの問題もなくプラグアンドプレイできてるじゃないですか。

ちゃんと正常なマイクロUSBケーブルを用意しましょう。

それでもプラグアンドプレイできないときは、https://www.ftdichip.com/Drivers/VCP.htm

のwindows セットアップ実行ファイルでインストールしましょう。

Windowsへのセットアップ

https://learn.adafruit.com/circuitpython-on-any-computer-with-ft232h/windows

このページの通りにざーっとやると良いです。Python3はAnaconda3とかでなく素の状態で入れました。バージョンは3.7.7。

ZadigでFT232Hを接続してドライバーを修正

FT232Hデバイス用のlibusbドライバーを簡単にインストールするツールです。　※これをやるから、前項が必要なくなる？

ツールを実行する前に、コンピュータからすべてのFTDIデバイスを取り外します

FT232Hだけを接続して、PCに接続されている唯一のFTDIデバイスになるようにします。

[ オプション ]メニューをクリックし、以下の[ すべてのデバイスをリスト ] 項目を選択します。

FTDIBUSに等しいドライバーと0403 6014に等しいUSB IDを持つデバイスを選択してください！

USB Serial Converter > FTDIBUS(v2.12.28.0)

libusb-win32(v1.2.6.0)

0403 6014 にして Replace Driverボタンをおします。

デバイスマネージャーを開くとlibusb-win32 devices　とその直下にUSB Serial Converterが出来上がっています。

pyftdiとpyusbをアンインストールしてからインストールする

まず、以前にpyusbとpyftdiを入れてしまっている可能性がある場合はアンインストールしておきましょう。

$ pip uninstall pyusb

$pip uninstall pyftdi

Windowsに影響するバグを修正するには、pyusbのフォークを取得します。

$ git clone https://github.com/minkustree/pyusb.git

gitでエラーが出たときは

https://git-scm.com/download/win

で、gitをインストールします。

PowerShell管理者モードを再起動させてから、今一度

$ git clone https://github.com/minkustree/pyusb.git

です。

$ cd pyusb

$ pip install pyftdi

で、インストールが完了です。

pyusbとpyftdiをテストする

FT232Hを接続しておいた状態で

import usb
import usb.util
dev = usb.core.find(idVendor=0x0403, idProduct=0x6014)
print(dev)

import usb

import usb.util

dev = usb.core.find(idVendor=0x0403, idProduct=0x6014)

print(dev)

これで DEVICE IDが出てくればOKです。

DEVICE ID 0403:6014 on Bus 000 Address 001 =================
 bLength                :   0x12 (18 bytes)
 bDescriptorType        :    0x1 Device
 bcdUSB                 :  0x200 USB 2.0
 bDeviceClass           :    0x0 Specified at interface
 bDeviceSubClass        :    0x0
 bDeviceProtocol        :    0x0
 bMaxPacketSize0        :   0x40 (64 bytes)
 idVendor               : 0x0403
 idProduct              : 0x6014
 bcdDevice              :  0x900 Device 9.0
 iManufacturer          :    0x1 
 iProduct               :    0x2 
 iSerialNumber          :    0x3 
 bNumConfigurations     :    0x1
  CONFIGURATION 1: 100 mA ==================================
   bLength              :    0x9 (9 bytes)
   bDescriptorType      :    0x2 Configuration
   wTotalLength         :   0x20 (32 bytes)
   bNumInterfaces       :    0x1
   bConfigurationValue  :    0x1
   iConfiguration       :    0x0
   bmAttributes         :   0x80 Bus Powered
   bMaxPower            :   0x32 (100 mA)
    INTERFACE 0: Vendor Specific ===========================
     bLength            :    0x9 (9 bytes)
     bDescriptorType    :    0x4 Interface
     bInterfaceNumber   :    0x0
     bAlternateSetting  :    0x0
     bNumEndpoints      :    0x2
     bInterfaceClass    :   0xff Vendor Specific
     bInterfaceSubClass :   0xff
     bInterfaceProtocol :   0xff
     iInterface         :    0x2 
      ENDPOINT 0x81: Bulk IN ===============================
       bLength          :    0x7 (7 bytes)
       bDescriptorType  :    0x5 Endpoint
       bEndpointAddress :   0x81 IN
       bmAttributes     :    0x2 Bulk
       wMaxPacketSize   :  0x200 (512 bytes)
       bInterval        :    0x0
      ENDPOINT 0x2: Bulk OUT ===============================
       bLength          :    0x7 (7 bytes)
       bDescriptorType  :    0x5 Endpoint
       bEndpointAddress :    0x2 OUT
       bmAttributes     :    0x2 Bulk
       wMaxPacketSize   :  0x200 (512 bytes)
       bInterval        :    0x0

DEVICE ID 0403:6014 on Bus 000 Address 001 =================

bLength : 0x12 (18 bytes)

bDescriptorType : 0x1 Device

bcdUSB : 0x200 USB 2.0

bDeviceClass : 0x0 Specified at interface

bDeviceSubClass : 0x0

bDeviceProtocol : 0x0

bMaxPacketSize0 : 0x40 (64 bytes)

idVendor : 0x0403

idProduct : 0x6014

bcdDevice : 0x900 Device 9.0

iManufacturer : 0x1

iProduct : 0x2

iSerialNumber : 0x3

bNumConfigurations : 0x1

CONFIGURATION 1: 100 mA ==================================

bLength : 0x9 (9 bytes)

bDescriptorType : 0x2 Configuration

wTotalLength : 0x20 (32 bytes)

bNumInterfaces : 0x1

bConfigurationValue : 0x1

iConfiguration : 0x0

bmAttributes : 0x80 Bus Powered

bMaxPower : 0x32 (100 mA)

INTERFACE 0: Vendor Specific ===========================

bLength : 0x9 (9 bytes)

bDescriptorType : 0x4 Interface

bInterfaceNumber : 0x0

bAlternateSetting : 0x0

bNumEndpoints : 0x2

bInterfaceClass : 0xff Vendor Specific

bInterfaceSubClass : 0xff

bInterfaceProtocol : 0xff

iInterface : 0x2

ENDPOINT 0x81: Bulk IN ===============================

bLength : 0x7 (7 bytes)

bDescriptorType : 0x5 Endpoint

bEndpointAddress : 0x81 IN

bmAttributes : 0x2 Bulk

wMaxPacketSize : 0x200 (512 bytes)

bInterval : 0x0

ENDPOINT 0x2: Bulk OUT ===============================

bLength : 0x7 (7 bytes)

bDescriptorType : 0x5 Endpoint

bEndpointAddress : 0x2 OUT

bmAttributes : 0x2 Bulk

wMaxPacketSize : 0x200 (512 bytes)

bInterval : 0x0

Adafruit Blinkaをインストールする

$ pip install adafruit-blinka

環境変数を設定

PowerShell管理者権限で入っている場合は

$とenvにはスペースを入れない状態で

$env:BLINKA_FT232H=1

cmdなら

set BLINKA_FT232H=1

です

プラットフォーム検出確認

python3を起動して

import board
dir(board)

1 2	import board dir(board)

で、エラーが発生せず、利用可能なすべてのピンのリストが表示される場合は、準備完了です。

['C0', 'C1', 'C2', 'C3', 'C4', 'C5', 'C6', 'C7', 'D4', 'D5', 'D6', 'D7', 
'I2C', 'MISO', 'MOSI', 'SCK', 'SCL', 'SCLK', 'SDA', 'SPI', '__builtins__', 
'__cached__', '__doc__', '__file__', '__loader__', '__name__', 
'__package__', '__spec__', 'ap_board', 'board_id', 'detector', 'pin', 'sys']

['C0', 'C1', 'C2', 'C3', 'C4', 'C5', 'C6', 'C7', 'D4', 'D5', 'D6', 'D7',

'I2C', 'MISO', 'MOSI', 'SCK', 'SCL', 'SCLK', 'SDA', 'SPI', '__builtins__',

'__cached__', '__doc__', '__file__', '__loader__', '__name__',

'__package__', '__spec__', 'ap_board', 'board_id', 'detector', 'pin', 'sys']

インストール後のチェック

https://learn.adafruit.com/circuitpython-on-any-computer-with-ft232h/troubleshooting

python3で

from pyftdi.ftdi import Ftdi
Ftdi().open_from_url('ftdi:///?')

1 2	from pyftdi.ftdi import Ftdi Ftdi().open_from_url('ftdi:///?')

とやって

Available interfaces:
  ftdi://ftdi:232h:1/1   ()

1 2	Available interfaces: ftdi://ftdi:232h:1/1 ()

ならOKです

Python環境変数の確認

import os
os.environ[“BLINKA_FT232H”]

数字が返ってくればOK　’1’など。

import board

エラーが出なければOK。

ピン配列を確認

https://learn.adafruit.com/circuitpython-on-any-computer-with-ft232h/pinouts

電源ピン

5V-これはUSB入力からの5V電源です。

GND-これは、すべての電源とロジックに共通のグラウンドです。

3V電源出力 – 新しいバージョンには、最大500mAの3.3V電源出力ピンがあります

GPIOピン

D4にD7は -デジタル入力または出力のいずれかとして使用することができます。C0へC7は -デジタル入力または出力のいずれかとして使用することができます。

I2Cピン

FT232HとMPU6050とのI2C接続です。D1とD2を短絡させる必要がありました。

SCL -I2Cクロック信号はD0にあります。

SDA -I2CデータはD1 　 D2にあります。

I2Cスイッチ – 新しいバージョンには、D1とD2を接続してI2Cインターフェースを容易にするスイッチがあります。

I2CやSTEMMA QTコネクタを使用するには、スイッチをONに動かします。その後、SDAにD1またはD2を使用できます。

元のバージョンのみ：I2Cを使用するには、2つのピン（D1とD2）があることに注意してください。

SPIピン

FT232HとMPU9250/6500のSPI接続（のはず）です。まだ動かすことができていません。

SCLK -SPIクロック信号はD0にあります。
MOSI-マスター出力、スレーブ入力はD1にあります。
MISO-マスター入力、スレーブ出力はD2にあります。
CS0-チップセレクトはD3にあります。これはBlinkaでは使用されず、代わりに上からGPIOピンの1つを使用します（例のセクションを参照）。

MPU6050用 Pythonモジュールのインストール

https://pypi.org/project/adafruit-circuitpython-mpu6050/

$ pip install adafruit-circuitpython-mpu6050

1	$ pip install adafruit-circuitpython-mpu6050

スクリプト

import time
import datetime
import board
import busio
import adafruit_mpu6050

# i2cインスタンスを作成する
i2c = busio.I2C(board.SCL, board.SDA)

# mpu6050をi2cで使用するインスタンスを作成する
mpu = adafruit_mpu6050.MPU6050(i2c)

print('Temperature degC, Acceleration m/s2')
print('')

init_time = datetime.datetime.now()
time_cnt = 0.0
interval = 0.2

while True:
    
    T = mpu.temperature
    ax = mpu.acceleration[0]
    ay = mpu.acceleration[1]
    az = mpu.acceleration[2]
    a_total = (ax ** 2 +ay ** 2 + az ** 2) ** (1/3)

    if a_total > 7 :
        status = ' ==== ! ! ALERT ! ! ==== '
    elif a_total > 5:
        status = ' = CAUTION ='
    else:
        status = ''

    current_time = datetime.datetime.now() - init_time
    current_time = current_time.seconds + current_time.microseconds/1000_000

    if current_time >= time_cnt:

        print(str(datetime.datetime.now()) + ' ' + '{:.3f}'.format(current_time) +
                " T:{:.2f}, ax:{:.2f}, ay:{:.2f}, az:{:.2f}, a_total:{:.2f}, status:{} "
                .format(T, ax, ay, az, a_total, status))

    time_cnt += interval

    # ジャイロ:角速度
    # print("Gyro X:%.2f, Y: %.2f, Z: %.2f degrees/s"%(mpu.gyro))

import time

import datetime

import board

import busio

import adafruit_mpu6050

# i2cインスタンスを作成する

i2c = busio.I2C(board.SCL, board.SDA)

# mpu6050をi2cで使用するインスタンスを作成する

mpu = adafruit_mpu6050.MPU6050(i2c)

print('Temperature degC, Acceleration m/s2')

print('')

init_time = datetime.datetime.now()

time_cnt = 0.0

interval = 0.2

while True:

T = mpu.temperature

ax = mpu.acceleration[0]

ay = mpu.acceleration[1]

az = mpu.acceleration[2]

a_total = (ax ** 2 +ay ** 2 + az ** 2) ** (1/3)

if a_total > 7 :

status = ' ==== ! ! ALERT ! ! ==== '

elif a_total > 5:

status = ' = CAUTION ='

else:

status = ''

current_time = datetime.datetime.now() - init_time

current_time = current_time.seconds + current_time.microseconds/1000_000

if current_time >= time_cnt:

print(str(datetime.datetime.now()) + ' ' + '{:.3f}'.format(current_time) +

" T:{:.2f}, ax:{:.2f}, ay:{:.2f}, az:{:.2f}, a_total:{:.2f}, status:{} "

.format(T, ax, ay, az, a_total, status))

time_cnt += interval

# ジャイロ:角速度

# print("Gyro X:%.2f, Y: %.2f, Z: %.2f degrees/s"%(mpu.gyro))

結果出力

PS C:\Users\omoiy\scripts\ft232h_mpu6050_i2c> python .\mpu6050_i2c.py
Temperature degC, Acceleration m/s2

2020-04-24 21:35:43.968182 0.209 T:28.39, ax:-0.35, ay:0.12, az:-8.31, a_total:4.10, status:
2020-04-24 21:35:44.175897 0.417 T:28.62, ax:-0.34, ay:0.16, az:-8.28, a_total:4.09, status:
2020-04-24 21:35:44.385182 0.626 T:28.62, ax:-0.41, ay:0.07, az:-8.36, a_total:4.12, status:
2020-04-24 21:35:44.594621 0.836 T:28.53, ax:-0.33, ay:0.08, az:-8.29, a_total:4.10, status:
2020-04-24 21:35:44.804302 1.045 T:28.72, ax:-0.29, ay:0.07, az:-8.34, a_total:4.11, status:
2020-04-24 21:35:45.013619 1.255 T:28.58, ax:-0.41, ay:0.11, az:-8.32, a_total:4.11, status:

PS C:\Users\omoiy\scripts\ft232h_mpu6050_i2c> python .\mpu6050_i2c.py

Temperature degC, Acceleration m/s2

2020-04-24 21:35:43.968182 0.209 T:28.39, ax:-0.35, ay:0.12, az:-8.31, a_total:4.10, status:

2020-04-24 21:35:44.175897 0.417 T:28.62, ax:-0.34, ay:0.16, az:-8.28, a_total:4.09, status:

2020-04-24 21:35:44.385182 0.626 T:28.62, ax:-0.41, ay:0.07, az:-8.36, a_total:4.12, status:

2020-04-24 21:35:44.594621 0.836 T:28.53, ax:-0.33, ay:0.08, az:-8.29, a_total:4.10, status:

2020-04-24 21:35:44.804302 1.045 T:28.72, ax:-0.29, ay:0.07, az:-8.34, a_total:4.11, status:

2020-04-24 21:35:45.013619 1.255 T:28.58, ax:-0.41, ay:0.11, az:-8.32, a_total:4.11, status:

今後について

I2Cデバイスの複数接続

MPU-6050がまだ3つほどあるのでチャレンジします。

FT232HとI2Cデバイスの複数接続（MPU-6050）

SPI通信

本当はこっちをやりたかった。

MPU-9250/6500を購入しましたが、いい感じのライブラリとか知らないのでどうしたものか悩んでいます。

SPIデバイスの複数接続

最終的な目標。

MPU-9250/6500を２個購入しましたので、なんとしてもやりきりたいです。

以上、まだまだ続きます。

追記１

PowerShell管理者権限で入らないと実行できません。

PowerShellをリブートしたら、同じスクリプトなのに実行できませんでした。

PS C:\Users\omoiy\scripts\ft232h_mpu6050_i2c> python .\mpu6050_i2c.py
Traceback (most recent call last):
  File ".\mpu6050_i2c.py", line 3, in <module>
    import board
  File "C:\Program Files\Python37\lib\site-packages\board.py", line 153, in <module>
    raise NotImplementedError("Board not supported {}".format(board_id))
NotImplementedError: Board not supported None

PS C:\Users\omoiy\scripts\ft232h_mpu6050_i2c> python .\mpu6050_i2c.py

Traceback (most recent call last):

File ".\mpu6050_i2c.py", line 3, in <module>

import board

File "C:\Program Files\Python37\lib\site-packages\board.py", line 153, in <module>

raise NotImplementedError("Board not supported {}".format(board_id))

NotImplementedError: Board not supported None

PowerShell管理者権限で入って

$env:BLINKA_FT232H=1

をすると、何事もなく実行できました。一体なんでしょう・・・？

PS C:\Users\omoiy\scripts\ft232h_mpu6050_i2c> $env:BLINKA_FT232H=1
PS C:\Users\omoiy\scripts\ft232h_mpu6050_i2c> python .\mpu6050_i2c.py
Temperature degC, Acceleration m/s2

2020-04-24 21:35:43.968182 0.209 T:28.39, ax:-0.35, ay:0.12, az:-8.31, a_total:4.10, status:
2020-04-24 21:35:44.175897 0.417 T:28.62, ax:-0.34, ay:0.16, az:-8.28, a_total:4.09, status:
2020-04-24 21:35:44.385182 0.626 T:28.62, ax:-0.41, ay:0.07, az:-8.36, a_total:4.12, status:
2020-04-24 21:35:44.594621 0.836 T:28.53, ax:-0.33, ay:0.08, az:-8.29, a_total:4.10, status:
2020-04-24 21:35:44.804302 1.045 T:28.72, ax:-0.29, ay:0.07, az:-8.34, a_total:4.11, status:
2020-04-24 21:35:45.013619 1.255 T:28.58, ax:-0.41, ay:0.11, az:-8.32, a_total:4.11, status:

PS C:\Users\omoiy\scripts\ft232h_mpu6050_i2c> $env:BLINKA_FT232H=1

PS C:\Users\omoiy\scripts\ft232h_mpu6050_i2c> python .\mpu6050_i2c.py

Temperature degC, Acceleration m/s2

2020-04-24 21:35:43.968182 0.209 T:28.39, ax:-0.35, ay:0.12, az:-8.31, a_total:4.10, status:

2020-04-24 21:35:44.175897 0.417 T:28.62, ax:-0.34, ay:0.16, az:-8.28, a_total:4.09, status:

2020-04-24 21:35:44.385182 0.626 T:28.62, ax:-0.41, ay:0.07, az:-8.36, a_total:4.12, status:

2020-04-24 21:35:44.594621 0.836 T:28.53, ax:-0.33, ay:0.08, az:-8.29, a_total:4.10, status:

2020-04-24 21:35:44.804302 1.045 T:28.72, ax:-0.29, ay:0.07, az:-8.34, a_total:4.11, status:

2020-04-24 21:35:45.013619 1.255 T:28.58, ax:-0.41, ay:0.11, az:-8.32, a_total:4.11, status:

追記２

PowerShellで管理者権限でない状態でスクリプトを実行するとimport boardが機能しないことがわかっています。

boardモジュールがないのでインストールしてくださいというエラーメッセージの通りに pip install boardを行うとインストールできますが、機能しません。board.なんちゃらはメソドを持っていませんというエラーがでるので、別物のboardではないでしょうか？。

pip uninstall boardして管理者権限に移行して、追記１の通り$env:BLINKA_FT232H=1　をしてからスクリプトを実行したところ、実行されません。先程pip uninstall boardしたことで何かがおかしくなってしまったのでしょうか。

解決策としては、ずーっと前まで戻って

$ pip uninstall adafruit-blinka

$ pip install adafruit-blinka

することで、再度import boardできるようになりました。

まだ理屈がわかってません。

FT232HとMPU-9250/6500

お世話になりました。

https://qiita.com/kotai2003/items/0c96143b7d6e84629d99

https://zadig.akeo.ie/

https://learn.adafruit.com/circuitpython-on-any-computer-with-ft232h/windows

Python:datetimeモジュールで細かい時間(msec, μsec)を出したいとき

datetimeで作った時刻データでは、秒よりも細かい６桁の数字が含まれています。

単位はマイクロ秒　なので　ミリ秒で出したいときは下記のように出せます。

import datetime
import time

# 1秒のsleep時間を正確に測定する
time_init = datetime.datetime.now()
time.sleep(1.0)
time_delta = datetime.datetime.now() - time_init

# 確認
print(time_delta)
print(time_delta.seconds, "sec")
print(time_delta.microseconds, "micro sec")
print(time_delta.seconds * 1000 + time_delta.microseconds / 1000, 'msec')

import datetime

import time

# 1秒のsleep時間を正確に測定する

time_init = datetime.datetime.now()

time.sleep(1.0)

time_delta = datetime.datetime.now() - time_init

# 確認

print(time_delta)

print(time_delta.seconds, "sec")

print(time_delta.microseconds, "micro sec")

print(time_delta.seconds * 1000 + time_delta.microseconds / 1000, 'msec')

結果出力

0:00:01.000511
1 sec
511 micro sec
1000.511 msec

0:00:01.000511

1 sec

511 micro sec

1000.511 msec

numpyとlistのappendの違い

センサーから時系列で入ってくるデータを変数に格納したい時、ありますよね。

普段はlistとしてli = []のような空リストを作ってからli.append(入ってくるデータ)　でどんどんリストの要素として追加していましたが、時間方向の分解能を高めるために、numpyを使おうとすると、直感ではうまくできなかったので、メモしておきます。

numpyのappendは破壊的でないため、変数に再代入しなくてはappendの結果が反映されません。注意点はここだけです。

import numpy as np
import datetime


ar = []
li = []

for i in range(3):
    time_init = datetime.datetime.now()
    time.sleep(1.0)
    time_delta = datetime.datetime.now() - time_init
    
    ar = np.append(ar, time_delta.microseconds)
    li.append(time_delta.microseconds)

print('ar : ', ar)
print('li : ', li)

import numpy as np

import datetime

ar = []

li = []

for i in range(3):

time_init = datetime.datetime.now()

time.sleep(1.0)

time_delta = datetime.datetime.now() - time_init

ar = np.append(ar, time_delta.microseconds)

li.append(time_delta.microseconds)

print('ar : ', ar)

print('li : ', li)

python:flaskの基本２ GET, POST, PUT, DELETE

今日はflaskが実行されているサーバーのIPアドレス127.0.0.1:5000に対して、クライアントからPOSTするやりかたを見ていきます。

flaskサーバー側のスクリプト

flaskのメインスクリプトに下記の関数を追加します。

# get post put deleteを使う場合

@app.route('/post', methods=['GET', 'POST', 'PUT', 'DELETE'])
def show_post():

    # 送られてきたデータは flask.request.values に格納されている。
    return str(request.values)

# get post put deleteを使う場合

@app.route('/post', methods=['GET', 'POST', 'PUT', 'DELETE'])

def show_post():

# 送られてきたデータは flask.request.values に格納されている。

return str(request.values)

これをVScode右上の再生ボタンでRUNさせておきます。

127.0.0.1:5000でRUNし始めたはずです。

クライアント側のスクリプト

これに対して、クライアント側からPOSTするために、pythonファイルを新規作成してrequestsモジュールのpostメソドを使ってアクセスしてみます。

import requests

# flaskサーバーにrequestsモジュールを使用して
# アクセスしてみる
url = 'http://127.0.0.1:5000/post'

# ディクショナリ形式でデータを渡してみる
r = requests.post(url, data={'username': 'mike'})

# 返ってきたデータを確認する
print(r.text)

import requests

# flaskサーバーにrequestsモジュールを使用して

# アクセスしてみる

url = 'http://127.0.0.1:5000/post'

# ディクショナリ形式でデータを渡してみる

r = requests.post(url, data={'username': 'mike'})

# 返ってきたデータを確認する

print(r.text)

で、これをVScode上ではなくて、cmdを開いてそこから実行すると。

cmdでクライアント側のスクリプトを実行

C:\Users\omoiy\scripts\flask_test>python show_post_test.py

CombinedMultiDict([ImmutableMultiDict([]), ImmutableMultiDict([('username', 'mike')])])

C:\Users\omoiy\scripts\flask_test>python show_post_test.py

CombinedMultiDict([ImmutableMultiDict([]), ImmutableMultiDict([('username', 'mike')])])

(‘username’, ‘mike’)が返ってきています。

以上、GET, PUT, DELETEも同じやり方です。

flaskをちょっといじってみます。

IPアドレスは127.0.0.1:5000がデフォルトとのこと。

トップページ
トップページの下層にページ１
トップページの下層に引数付きのページ２

from flask import Flask           #クラスを作る
from flask import g               # グローバルな値を入れる
from flask import render_template 
from flask import request
from flask import Response


# グローバル宣言
app = Flask(__name__)

# トップページを作成する
@app.route('/')
def toppage():
    return 'this is the toppage!'

# トップページ以下にpage1を作成する
@app.route('/page1')
def page1():
    return 'this is the page1'

# 引数usernameを入れる場合
# 入れない場合も考慮して２個作る
@app.route('/page2')
@app.route('/page2/<username>')
def page2(username=None): # デフォルトにNoneを入れておく
    return 'user :{}'.format(username)

# メイン関数（flaskの実行）
def main():
    app.debug = True
    app.run(host='127.0.0.1', port=5000)

# メイン実行スクリプト
if __name__ == '__main__':
    main()

from flask import Flask #クラスを作る

from flask import g # グローバルな値を入れる

from flask import render_template

from flask import request

from flask import Response

# グローバル宣言

app = Flask(__name__)

# トップページを作成する

@app.route('/')

def toppage():

return 'this is the toppage!'

# トップページ以下にpage1を作成する

@app.route('/page1')

def page1():

return 'this is the page1'

# 引数usernameを入れる場合

# 入れない場合も考慮して２個作る

@app.route('/page2')

@app.route('/page2/<username>')

def page2(username=None): # デフォルトにNoneを入れておく

return 'user :{}'.format(username)

# メイン関数（flaskの実行）

def main():

app.debug = True

app.run(host='127.0.0.1', port=5000)

# メイン実行スクリプト

if __name__ == '__main__':

main()

テンプレートを使ってみます。

同層にディレクトリtemplatesを作成して、その中に下記のようなhtmlファイルを作成します。{% ○○ %} を使うとif文が使用できたりします。

<!DOCTYPE html>
<html lang="ja">
<head>
    <meta charset="UTF-8">
    <title>hello</title>
</head>
<body>

{% if username %}
Hello {{username}}

{% else %}
Hello

{% endif %}

</body>
</html>

<!DOCTYPE html>

<head>

<title>hello</title>

</head>

<body>

{% if username %}

Hello {{username}}

{% else %}

Hello

{% endif %}

</body>

</html>

pythonファイルにはrender_templateを使用して下記のようにhtmlファイルを呼び出します。

# テンプレートを使う場合 flask.render_template()
@app.route('/page3')
@app.route('/page3/<username>')
def page3(username=None):
    return render_template('hello.html', username=username)

# テンプレートを使う場合 flask.render_template()

@app.route('/page3')

@app.route('/page3/<username>')

def page3(username=None):

return render_template('hello.html', username=username)

次回は、get, post, ,put, delete をやっっていきます。

OpenCV:異物検出プログラム

Jetaon Nanoで異物を検出したいのですが、まずは使い慣れたPCで作ってみます。

カメラ

エレコム WEBカメラ 200万画素マイク内蔵 MAC対応ブラック UCAM-C0220FBNBK

2015年に買った、２０００円くらいの安物です。

レア過ぎて価格にプレミアがついていました。

インストール

参考にさせていただきました：https://www.kkaneko.jp/tools/win/cv2.html

Python3.7.7を入れました。最新の3.8.2はOpenCVが対応してない可能性があるのでやめておきました。

https://www.python.org/downloads/release/python-377/

Windows x86-64実行可能インストーラー

cmdでpythonとして、 3.7.7が起動させます。

pip listをすると

pip 19.2.3
setuptools 41.2.0
WARNING: You are using pip version 19.2.3, however version 20.0.2 is available.
You should consider upgrading via the ‘python -m pip install –upgrade pip’ command.

とバージョンアップを促されるので、

python -m pip install –upgrade pip

します。

numpyも入れてみましょう。

pip install numpy　で1.18.2が入りました。

ではVScodeを起動させて、メニュー>view > select interpriter で python 3.7.7を選択し・・・たいところですが、ありません。

一旦VScodeを起動させ（まだpython 3.7.7は表示されない。）、そしてVScode下部のターミナルで一旦pythonを起動させます。3.7.7が起動しました。

スクリプト実行を何回かさせて、numpyがないよー、と言われながら、interpriterの指定を開くと,python 3.7.7が選択できるようになっていました。

で、スクリプトを実行すると、今度はcv2がないよー、といわれましたので、cmdから

$ py -m pip install -U opencv-python

1	$ py -m pip install -U opencv-python

で入れました。opencv-python-4.2.0.34が入りました。

cmdでエラーが出るときは、Power Shellを管理者権限で開いてやってみましょう。

で、確認です。

> python
import cv2
cv2.__version__
'4.2.0'

> python

import cv2

cv2.__version__

'4.2.0'

その他のライブラリをインストール

VScodeをいじっているとpylintをいれてと促されるので

$ -m pip install -U pylint –user

いろんなライブラリも同時に勝手にはいりました。

Package Version
—————– ——–
astroid 2.3.3
colorama 0.4.3
isort 4.3.21
lazy-object-proxy 1.4.3
mccabe 0.6.1
numpy 1.18.2
opencv-python 4.2.0.34
pip 20.0.2
pylint 2.4.4
setuptools 41.2.0
six 1.14.0
typed-ast 1.4.1
wrapt 1.11.2

エラー

こんなんがでます、frame.shepeがわからないそうです。

File “c:/Users/keita/scripts/shihenDetector/main.py”, line 39, in <module>
height, width, channels = frame.shape
AttributeError: ‘NoneType’ object has no attribute ‘shape’

frame.shepe[:3]にして、カメラ番号を１から０に変更したら内蔵カメラが映りました。

webカメラをUSBに指して、カメラ番号１に戻したらこれでも映りました。

ということで[:3]は関係なかったと思われます。

画像処理

OpenCVで

案１：BGR画像→グレースケール→検査窓トリミング→現在画像→二値化

案２：BGR画像→グレースケール→検査窓トリミング→初期画像と現在画像を差分を取る→二値化

の２案をやってみましたが、結果的に案１を採用します。

案１は、背景が動いたりカメラが動いたりしたときでも、検出精度は変わらない利点があります。

案２は、初期画像と現在画像を比較するので、背景になんらかの均一でない構造があったとしても、初期画像と現在画像で比較するので異物検出のロバスト性が高くなる利点があります。しかし、背景が動いたりカメラが動いたりして、初期画像とのズレが発生するとと検出できないか検出精度が大幅に落ちます。

今回は、よりシンプルな案１でやっていきます。

結果

スクリプトを回すと自動的に時系列データがcsvファイルとして入ってきます、

グラフ化

作成されたcsvファイル読み込んでグラフ化しました。

横軸が時間、縦軸は検出された異物（黒）の画素数です。

検出画像

開始５秒の画像は異物がない、まっさらな状態です。影一つありません。

開始１５秒で5mm程度の異物を置いてみました。黒い点が現れます。

開始６０秒で1mmと5mm程度の異物を置いてみました。どちらも黒い点になって現れます。２００万画素の安物カメラでもこれだけの精度が用意に出ます。

周囲の照明コンディションが良ければ、0.5mm程度までは検出できそうです。

メインスクリプト

import numpy as np
import cv2
import datetime
import time


def interval_file_save(date, current_time, time_cnt, pixels_objects, pixels_percentile):

    # データをcsvファイルとして書き込む
    file_path = r'C:\Users\omoiy\scripts\shihenDetector\data\data.csv'
    with open(file_path, mode='a') as f:
        f.write(str(date) + ',' + str(current_time) + ',' + str(time_cnt)+ ',' + str(pixels_objects) + ',' + str(pixels_percentile) + '\n')

def onTrackber(position):
    # ２値化のスレショルド用トラックバー
    global threshold
    threshold = position
 
if __name__ == '__main__':
    # グローバル変数を定義
    ESC_KEY = 27     # Escキー
    INTERVAL= 33     # インターバル
    FRAME_RATE = 30  # フレームレートfps

    # 検出範囲を指定
    x_min = 150
    x_max = 640 - x_min
    y_min = 120
    y_max = 480 - y_min
    
    # 使用カメラの選択 1: 外部UVCカメラ
    DEVICE_ID = 1
 
    # カメラ映像を取得
    cap = cv2.VideoCapture(DEVICE_ID)
 
    # 初期フレームを読み込む
    end_flag, frame = cap.read()
    height, width, channels = frame.shape
    
    # 基準画像の定義
    img_bgr = frame
    img_gray = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2GRAY) # RGB to Gray:Y←0.299⋅R+0.587⋅G+0.114⋅B
    img_partial_gray = img_gray[y_min : y_max, x_min : x_max]
    img_reference = img_partial_gray

    # 初期フレームは以後のフレームより若干暗いので補正係数を掛けて調整する
    c = 1.0 # 補正係数
    img_reference = (img_reference * c ).astype('uint8') # 初期画像 以後、この画像を基準して参照する

    #２値化用トラックバー
    #cv2.namedWindow("img_diff_abs_adbinary")
    #threshold = 100  #初期値
    #cv2.createTrackbar("track", "img_diff_abs_adbinary", threshold, 255, onTrackber)

    # 画像処理
    date_init = datetime.datetime.now()
    pixels_objects = 0    # 初期値
    pixels_percentile = 0 # 初期値

    pixels_objects1 = 0    # 初期値
    pixels_percentile1 = 0 # 初期値

    # データ保存の時間間隔（インターバル）
    initial_time = datetime.datetime.now() # 初期値
    time_cnt = 0      # sec 初期値
    time_interval = 5 # sec 定期実行の時間間隔


    # OpenCV リアルタイム処理開始
    while end_flag == True:

        # 現在時間 sec
        current_time = (datetime.datetime.now() - initial_time).total_seconds()
 
        # 画像行列の取得と変換
        img_gray = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2GRAY)
        img_partial_gray = img_gray[y_min : y_max, x_min : x_max]

        # BGRカラー画像を表示する
        img_bgr = frame
        line_thickness = 10
        cv2.rectangle(img_bgr, (x_min-line_thickness, y_min-line_thickness),
                               (x_max+line_thickness, y_max+line_thickness),
                                color=(100,100,255), thickness = line_thickness)     
        cv2.imshow('img_bgr', img_bgr)

        # グレースケール画像を表示する    
        #cv2.imshow('img_gray', img_gray)

        # 基準画像を表示する
        cv2.imshow('img_referece', img_reference)

        # リアルタイム画像を表示する
        cv2.imshow('img_partial_gray', img_partial_gray)

        # リアルタイム画像と基準画像との差を算出して表示する (負の場合は絶対値が自動的に取られる)
        img_diff_abs = np.abs(img_partial_gray - img_reference)
        cv2.imshow('img_diff_abs', img_diff_abs)

        # リアルタイム画像と基準画像との差の２乗算出して表示する
        #img_diff_sqared = np.square(img_partial_gray - img_reference)
        #cv2.imshow('img_diff_sqared', img_diff_sqared)

        # リアルタイム画像と基準画像との差の画像をアダプティブスレッショルドで２値化する
        # img_diff_abs_adbinary = cv2.adaptiveThreshold(img_diff_abs, 255, cv2.ADAPTIVE_THRESH_MEAN_C, cv2.THRESH_BINARY, 3, threshold) #アダプティブスレショルド
        # cv2.imshow("img_diff_abs_adbinary", img_diff_abs_adbinary)

        # リアルタイム画像と基準画像との差の画像を固定スレッショルドで２値化する
        ret, img_diff_abs_binary = cv2.threshold(img_diff_abs,127, 255, cv2.THRESH_BINARY) 


        # 上記img_diff_abs_binary画像の異物の画素数と割合を出力する(ただし１フレーム前)
        txt = str(time_cnt) + 's,' + str(pixels_objects) + 'pix,{:.2f}%'.format(pixels_percentile)
        cv2.putText(img=img_diff_abs_binary, text=txt, org=(10, 30),
                    fontFace=cv2.FONT_HERSHEY_PLAIN, fontScale=1.5,
                    color=(255, 255, 255), thickness=1, lineType=cv2.LINE_AA)
        
        cv2.imshow("img_diff_abs_binary", img_diff_abs_binary)



        # リアルタイム画像の画像を固定スレッショルドで２値化する
        ret, img_partial_gray_binary = cv2.threshold(img_partial_gray,127, 255, cv2.THRESH_BINARY) 

        # 上記img_partial_gray_binary画像の異物の画素数と割合を画面内に出力する(ただし１フレーム前)
        txt1 = str(time_cnt) + 's,' + str(pixels_objects1) + 'pix,{:.2f}%'.format(pixels_percentile1)
        cv2.putText(img=img_partial_gray_binary, text=txt1, org=(10, 30),
                    fontFace=cv2.FONT_HERSHEY_PLAIN, fontScale=1.5,
                    color=(0, 0, 0), thickness=1, lineType=cv2.LINE_AA)
        
        cv2.imshow("img_partial_gray_binary", img_partial_gray_binary )
        #cv2.imwrite(image_path + '.new.jpg', img)


        # ==== 異物の画素数をカウントする ====       

        # 検出窓の画素数
        pixels_window = (img_partial_gray_binary.shape[0] * img_partial_gray_binary.shape[1])

        # ---- 異物の画素数　と　割合 をターミナルに出力する ----

        # img_diff_abs_binary リアルタイム画像と基準画像との差の画像を固定スレッショルドで２値化した画像
        date = datetime.datetime.now()
        pixels_objects = np.count_nonzero(img_diff_abs_binary == 255)
        pixels_percentile = pixels_objects / pixels_window * 100
        print(date, ' : ',
              date - date_init, ' : ',
              '異物の画素数 / pixels: ', pixels_objects,
              '割合 / % : {:.2f}'.format(pixels_percentile)) 

        # img_partial_gray_binary リアルタイム画像の画像を固定スレッショルドで２値化した画像
        pixels_objects1 = np.count_nonzero(img_partial_gray_binary == 0)
        pixels_percentile1 = pixels_objects1 / pixels_window * 100
        print(date, ' : ',
              date - date_init, ' : ',
              '異物の画素数 / pixels: ', pixels_objects1,
              '割合 / % : {:.2f}'.format(pixels_percentile1)) 

        # ---- time_interval毎に定期実行する内容 ----
        if current_time >= time_cnt :

            # データをテキストデータとしてファイルに書き出す
            if time_cnt == 0:
                pixels_objects = 0 # フレーム1枚目はカメラの光量不足で大きな数値になってしまうので強制的にゼロにする
            else:
                interval_file_save(date, current_time, time_cnt, pixels_objects1, pixels_percentile1)

            # 画像データを保存する
            # file_path =  r'C:\Users\omoiy\scripts\shihenDetector\img.jpg'
            numbering = time_cnt
            file_path =  r'C:\Users\omoiy\scripts\shihenDetector\img\img_' + str(numbering) + r'.jpg'
            cv2.imwrite(file_path, img_partial_gray_binary)

            # 次回、定期実行する時刻 time_cntを更新
            time_cnt += time_interval # sec

        # Escキーで終了
        key = cv2.waitKey(INTERVAL)
        if key == ESC_KEY:
            break
 
        # 次のフレーム読み込み
        end_flag, frame = cap.read()
 
    # 終了処理
    cv2.destroyAllWindows()
    cap.release()

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

import numpy as np

import cv2

import datetime

import time

def interval_file_save(date, current_time, time_cnt, pixels_objects, pixels_percentile):

# データをcsvファイルとして書き込む

file_path = r'C:\Users\omoiy\scripts\shihenDetector\data\data.csv'

with open(file_path, mode='a') as f:

f.write(str(date) + ',' + str(current_time) + ',' + str(time_cnt)+ ',' + str(pixels_objects) + ',' + str(pixels_percentile) + '\n')

def onTrackber(position):

# ２値化のスレショルド用トラックバー

global threshold

threshold = position

if __name__ == '__main__':

# グローバル変数を定義

ESC_KEY = 27 # Escキー

INTERVAL= 33 # インターバル

FRAME_RATE = 30 # フレームレートfps

# 検出範囲を指定

x_min = 150

x_max = 640 - x_min

y_min = 120

y_max = 480 - y_min

# 使用カメラの選択 1: 外部UVCカメラ

DEVICE_ID = 1

# カメラ映像を取得

cap = cv2.VideoCapture(DEVICE_ID)

# 初期フレームを読み込む

end_flag, frame = cap.read()

height, width, channels = frame.shape

# 基準画像の定義

img_bgr = frame

img_gray = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2GRAY) # RGB to Gray:Y←0.299⋅R+0.587⋅G+0.114⋅B

img_partial_gray = img_gray[y_min : y_max, x_min : x_max]

img_reference = img_partial_gray

# 初期フレームは以後のフレームより若干暗いので補正係数を掛けて調整する

c = 1.0 # 補正係数

img_reference = (img_reference * c ).astype('uint8') # 初期画像以後、この画像を基準して参照する

#２値化用トラックバー

#cv2.namedWindow("img_diff_abs_adbinary")

#threshold = 100 #初期値

#cv2.createTrackbar("track", "img_diff_abs_adbinary", threshold, 255, onTrackber)

# 画像処理

date_init = datetime.datetime.now()

pixels_objects = 0 # 初期値

pixels_percentile = 0 # 初期値

pixels_objects1 = 0 # 初期値

pixels_percentile1 = 0 # 初期値

# データ保存の時間間隔（インターバル）

initial_time = datetime.datetime.now() # 初期値

time_cnt = 0 # sec 初期値

time_interval = 5 # sec 定期実行の時間間隔

# OpenCV リアルタイム処理開始

while end_flag == True:

# 現在時間 sec

current_time = (datetime.datetime.now() - initial_time).total_seconds()

# 画像行列の取得と変換

img_gray = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2GRAY)

img_partial_gray = img_gray[y_min : y_max, x_min : x_max]

# BGRカラー画像を表示する

img_bgr = frame

line_thickness = 10

cv2.rectangle(img_bgr, (x_min-line_thickness, y_min-line_thickness),

(x_max+line_thickness, y_max+line_thickness),

color=(100,100,255), thickness = line_thickness)

cv2.imshow('img_bgr', img_bgr)

# グレースケール画像を表示する

#cv2.imshow('img_gray', img_gray)

# 基準画像を表示する

cv2.imshow('img_referece', img_reference)

# リアルタイム画像を表示する

cv2.imshow('img_partial_gray', img_partial_gray)

# リアルタイム画像と基準画像との差を算出して表示する (負の場合は絶対値が自動的に取られる)

img_diff_abs = np.abs(img_partial_gray - img_reference)

cv2.imshow('img_diff_abs', img_diff_abs)

# リアルタイム画像と基準画像との差の２乗算出して表示する

#img_diff_sqared = np.square(img_partial_gray - img_reference)

#cv2.imshow('img_diff_sqared', img_diff_sqared)

# リアルタイム画像と基準画像との差の画像をアダプティブスレッショルドで２値化する

# img_diff_abs_adbinary = cv2.adaptiveThreshold(img_diff_abs, 255, cv2.ADAPTIVE_THRESH_MEAN_C, cv2.THRESH_BINARY, 3, threshold) #アダプティブスレショルド

# cv2.imshow("img_diff_abs_adbinary", img_diff_abs_adbinary)

# リアルタイム画像と基準画像との差の画像を固定スレッショルドで２値化する

ret, img_diff_abs_binary = cv2.threshold(img_diff_abs,127, 255, cv2.THRESH_BINARY)

# 上記img_diff_abs_binary画像の異物の画素数と割合を出力する(ただし１フレーム前)

txt = str(time_cnt) + 's,' + str(pixels_objects) + 'pix,{:.2f}%'.format(pixels_percentile)

cv2.putText(img=img_diff_abs_binary, text=txt, org=(10, 30),

fontFace=cv2.FONT_HERSHEY_PLAIN, fontScale=1.5,

color=(255, 255, 255), thickness=1, lineType=cv2.LINE_AA)

cv2.imshow("img_diff_abs_binary", img_diff_abs_binary)

# リアルタイム画像の画像を固定スレッショルドで２値化する

ret, img_partial_gray_binary = cv2.threshold(img_partial_gray,127, 255, cv2.THRESH_BINARY)

# 上記img_partial_gray_binary画像の異物の画素数と割合を画面内に出力する(ただし１フレーム前)

txt1 = str(time_cnt) + 's,' + str(pixels_objects1) + 'pix,{:.2f}%'.format(pixels_percentile1)

cv2.putText(img=img_partial_gray_binary, text=txt1, org=(10, 30),

fontFace=cv2.FONT_HERSHEY_PLAIN, fontScale=1.5,

color=(0, 0, 0), thickness=1, lineType=cv2.LINE_AA)

cv2.imshow("img_partial_gray_binary", img_partial_gray_binary )

#cv2.imwrite(image_path + '.new.jpg', img)

# ==== 異物の画素数をカウントする ====

# 検出窓の画素数

pixels_window = (img_partial_gray_binary.shape[0] * img_partial_gray_binary.shape[1])

# ---- 異物の画素数　と　割合をターミナルに出力する ----

# img_diff_abs_binary リアルタイム画像と基準画像との差の画像を固定スレッショルドで２値化した画像

date = datetime.datetime.now()

pixels_objects = np.count_nonzero(img_diff_abs_binary == 255)

pixels_percentile = pixels_objects / pixels_window * 100

print(date, ' : ',

date - date_init, ' : ',

'異物の画素数 / pixels: ', pixels_objects,

'割合 / % : {:.2f}'.format(pixels_percentile))

# img_partial_gray_binary リアルタイム画像の画像を固定スレッショルドで２値化した画像

pixels_objects1 = np.count_nonzero(img_partial_gray_binary == 0)

pixels_percentile1 = pixels_objects1 / pixels_window * 100

print(date, ' : ',

date - date_init, ' : ',

'異物の画素数 / pixels: ', pixels_objects1,

'割合 / % : {:.2f}'.format(pixels_percentile1))

# ---- time_interval毎に定期実行する内容 ----

if current_time >= time_cnt :

# データをテキストデータとしてファイルに書き出す

if time_cnt == 0:

pixels_objects = 0 # フレーム1枚目はカメラの光量不足で大きな数値になってしまうので強制的にゼロにする

else:

interval_file_save(date, current_time, time_cnt, pixels_objects1, pixels_percentile1)

# 画像データを保存する

# file_path = r'C:\Users\omoiy\scripts\shihenDetector\img.jpg'

numbering = time_cnt

file_path = r'C:\Users\omoiy\scripts\shihenDetector\img\img_' + str(numbering) + r'.jpg'

cv2.imwrite(file_path, img_partial_gray_binary)

# 次回、定期実行する時刻 time_cntを更新

time_cnt += time_interval # sec

# Escキーで終了

key = cv2.waitKey(INTERVAL)

if key == ESC_KEY:

break

# 次のフレーム読み込み

end_flag, frame = cap.read()

# 終了処理

cv2.destroyAllWindows()

cap.release()

グラフ作成スクリプト

pandasとmatplotlibを使うのでインストールします。

pip install pandas

installed pandas-1.0.3 python-dateutil-2.8.1 pytz-2019.3

pip install matplotlib

installed cycler-0.10.0 kiwisolver-1.2.0 matplotlib-3.2.1 pyparsing-2.4.7

はい、ではスクリプト実行しましょう。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

file_path = r'C:\Users\omoiy\scripts\shihenDetector\data\data.csv'

df = pd.read_csv(file_path, sep=',', names=('date', 'current_time','time_cnt', 'pixels', 'ratio'))

print(df.head())
#print(df.current_time, df.time_cnt)
plt.plot(df['time_cnt'], df['pixels'], label='pixels')
plt.title('Object Pixels', fontsize=18)
plt.xlabel('Time / sec', fontsize=18)
plt.ylabel('Pixels', fontsize=18)
plt.legend(loc='best', fontsize=18)
plt.grid()
plt.show()

# time_cntとcurrent_timeとのズレを確認　: 0~70sec
# plt.plot(df.time_cnt, df.current_time-df.time_cnt)
# plt.show()

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

file_path = r'C:\Users\omoiy\scripts\shihenDetector\data\data.csv'

df = pd.read_csv(file_path, sep=',', names=('date', 'current_time','time_cnt', 'pixels', 'ratio'))

print(df.head())

#print(df.current_time, df.time_cnt)

plt.plot(df['time_cnt'], df['pixels'], label='pixels')

plt.title('Object Pixels', fontsize=18)

plt.xlabel('Time / sec', fontsize=18)

plt.ylabel('Pixels', fontsize=18)

plt.legend(loc='best', fontsize=18)

plt.grid()

plt.show()

# time_cntとcurrent_timeとのズレを確認　: 0~70sec

# plt.plot(df.time_cnt, df.current_time-df.time_cnt)

# plt.show()

以上です。

shihenDetector

Python:一定の時間間隔でプログラムを実行する方法

一定の時間間隔でプログラムを実行する方法を考える必要がありましたので、考えたスクリプトをメモしておきます。

これを使えば、OpenCVを使っているときに、while文の中で動画を取得し処理している最中に、任意のインターバルで時刻や分析データをファイルに保存することができます。

スクリプト

# ---- 一定の時間間隔でプログラムを実行する方法 ----
# interval_test.py

import datetime
import numpy as np

initial_time = datetime.datetime.now()

time_cnt = 0      # sec 初期値
time_interval = 1 # sec 定期実行の時間間隔

while True:

    # 現在時間 sec
    current_time = (datetime.datetime.now() - initial_time).total_seconds() 

    # time_interval毎に実行する
    if current_time >= time_cnt :

        # 定期実行の内容
        print('if文の中に入りました', time_cnt, current_time)

        # 次回、定期実行する時刻 time_cntを更新
        time_cnt += time_interval # sec

# ---- 一定の時間間隔でプログラムを実行する方法 ----

# interval_test.py

import datetime

import numpy as np

initial_time = datetime.datetime.now()

time_cnt = 0 # sec 初期値

time_interval = 1 # sec 定期実行の時間間隔

while True:

# 現在時間 sec

current_time = (datetime.datetime.now() - initial_time).total_seconds()

# time_interval毎に実行する

if current_time >= time_cnt :

# 定期実行の内容

print('if文の中に入りました', time_cnt, current_time)

# 次回、定期実行する時刻 time_cntを更新

time_cnt += time_interval # sec

出力結果

0.001sec つまり 0～1msec程度の遅れがあります。

私の用途では、十分許容できます。

if文の中に入りました 0 0.0
if文の中に入りました 1 1.0
if文の中に入りました 2 2.000031
if文の中に入りました 3 3.0
if文の中に入りました 4 4.0
if文の中に入りました 5 5.001031
if文の中に入りました 6 6.000024
if文の中に入りました 7 7.000025
if文の中に入りました 8 8.000025
if文の中に入りました 9 9.00003
if文の中に入りました 10 10.001025
if文の中に入りました 11 11.000001
if文の中に入りました 12 12.001025
if文の中に入りました 13 13.0
if文の中に入りました 14 14.0
if文の中に入りました 15 15.001025
if文の中に入りました 16 16.0
if文の中に入りました 17 17.0
if文の中に入りました 18 18.0
if文の中に入りました 19 19.0
if文の中に入りました 20 20.000024

if文の中に入りました 0 0.0

if文の中に入りました 1 1.0

if文の中に入りました 2 2.000031

if文の中に入りました 3 3.0

if文の中に入りました 4 4.0

if文の中に入りました 5 5.001031

if文の中に入りました 6 6.000024

if文の中に入りました 7 7.000025

if文の中に入りました 8 8.000025

if文の中に入りました 9 9.00003

if文の中に入りました 10 10.001025

if文の中に入りました 11 11.000001

if文の中に入りました 12 12.001025

if文の中に入りました 13 13.0

if文の中に入りました 14 14.0

if文の中に入りました 15 15.001025

if文の中に入りました 16 16.0

if文の中に入りました 17 17.0

if文の中に入りました 18 18.0

if文の中に入りました 19 19.0

if文の中に入りました 20 20.000024

以上

Jetson Nano: Python OpenCVからMIPIカメラへアクセスする方法

参考にさせていただきました。

https://qiita.com/tsutof/items/2d2248ec098c1b8d3e32

今回で画面が緑色になってしまう問題を解決できるか！

試運転：shellからでは映像が出力できています。

$ gst-launch-1.0 nvarguscamerasrc ! 'video/x-raw(memory:NVMM), width=1920, height=1080, format=(string)NV12, framerate=(fraction)30/1' ! nvoverlaysink -e

1	$ gst-launch-1.0 nvarguscamerasrc ! 'video/x-raw(memory:NVMM), width=1920, height=1080, format=(string)NV12, framerate=(fraction)30/1' ! nvoverlaysink -e

Python3から　nano_cam_test.py　を実行してみるとエラーが出ます。

import cv2

GST_STR = 'nvarguscamerasrc \
    ! video/x-raw(memory:NVMM), width=3280, height=2464, format=(string)NV12, framerate=(fraction)30/1 \
    ! nvvidconv ! video/x-raw, width=(int)1920, height=(int)1080, format=(string)BGRx \
    ! videoconvert \
    ! appsink'
WINDOW_NAME = 'Camera Test'

def main():
    cap = cv2.VideoCapture(GST_STR, cv2.CAP_GSTREAMER)

    while True:
        ret, img = cap.read()
        if ret != True:
            break

        cv2.imshow(WINDOW_NAME, img)

        key = cv2.waitKey(10)
        if key == 27: # ESC
            break

if __name__ == "__main__":
    main()

import cv2

GST_STR = 'nvarguscamerasrc \

! video/x-raw(memory:NVMM), width=3280, height=2464, format=(string)NV12, framerate=(fraction)30/1 \

! nvvidconv ! video/x-raw, width=(int)1920, height=(int)1080, format=(string)BGRx \

! videoconvert \

! appsink'

WINDOW_NAME = 'Camera Test'

def main():

cap = cv2.VideoCapture(GST_STR, cv2.CAP_GSTREAMER)

while True:

ret, img = cap.read()

if ret != True:

break

cv2.imshow(WINDOW_NAME, img)

key = cv2.waitKey(10)

if key == 27: # ESC

break

if __name__ == "__main__":

main()

エラー：

nak@jetson:~/scripts$ python3 nano_cam_test.py
GST_ARGUS: Creating output stream
CONSUMER: Waiting until producer is connected...
GST_ARGUS: Available Sensor modes :
GST_ARGUS: 3264 x 2464 FR = 21.000000 fps Duration = 47619048 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

GST_ARGUS: 3264 x 1848 FR = 28.000001 fps Duration = 35714284 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

GST_ARGUS: 1920 x 1080 FR = 29.999999 fps Duration = 33333334 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

GST_ARGUS: 1280 x 720 FR = 59.999999 fps Duration = 16666667 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

GST_ARGUS: 1280 x 720 FR = 120.000005 fps Duration = 8333333 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

Error generated. /dvs/git/dirty/git-master_linux/multimedia/nvgstreamer/gst-nvarguscamera/gstnvarguscamerasrc.cpp, threadExecute:243 Stream failed to connect.
Error generated. /dvs/git/dirty/git-master_linux/multimedia/nvgstreamer/gst-nvarguscamera/gstnvarguscamerasrc.cpp, threadFunction:177 (propagating)
(Argus) Error InvalidState:  (propagating from src/eglstream/FrameConsumerImpl.cpp, function streamEventThread(), line 135)
(Argus) Error InvalidState:  (propagating from src/eglstream/FrameConsumerImpl.cpp, function streamEventThreadStatic(), line 177)
Error generated. /dvs/git/dirty/git-master_linux/multimedia/nvgstreamer/gst-nvarguscamera/gstnvarguscamerasrc.cpp, execute:654 Frame Rate specified is greater than supported
Segmentation fault (core dumped)

nak@jetson:~/scripts$ python3 nano_cam_test.py

GST_ARGUS: Creating output stream

CONSUMER: Waiting until producer is connected...

GST_ARGUS: Available Sensor modes :

GST_ARGUS: 3264 x 2464 FR = 21.000000 fps Duration = 47619048 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

GST_ARGUS: 3264 x 1848 FR = 28.000001 fps Duration = 35714284 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

GST_ARGUS: 1920 x 1080 FR = 29.999999 fps Duration = 33333334 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

GST_ARGUS: 1280 x 720 FR = 59.999999 fps Duration = 16666667 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

GST_ARGUS: 1280 x 720 FR = 120.000005 fps Duration = 8333333 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

Error generated. /dvs/git/dirty/git-master_linux/multimedia/nvgstreamer/gst-nvarguscamera/gstnvarguscamerasrc.cpp, threadExecute:243 Stream failed to connect.

Error generated. /dvs/git/dirty/git-master_linux/multimedia/nvgstreamer/gst-nvarguscamera/gstnvarguscamerasrc.cpp, threadFunction:177 (propagating)

(Argus) Error InvalidState: (propagating from src/eglstream/FrameConsumerImpl.cpp, function streamEventThread(), line 135)

(Argus) Error InvalidState: (propagating from src/eglstream/FrameConsumerImpl.cpp, function streamEventThreadStatic(), line 177)

Error generated. /dvs/git/dirty/git-master_linux/multimedia/nvgstreamer/gst-nvarguscamera/gstnvarguscamerasrc.cpp, execute:654 Frame Rate specified is greater than supported

Segmentation fault (core dumped)

たぶん、カメラが対応している解像度と違うからでしょう。

直してみましょう。

2020年4月
月	火	水	木	金	土	日
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30

接続方法

スクリプト

ＦＴ２３２Ｈ使用 ＵＳＢ⇔ＧＰＩＯ＋ＳＰＩ＋Ｉ２Ｃ変換モジュール

BLINKAとサーキットPythonライブラリ

ＦＴ２３２ＨをUSBへ認識させる

Windowsへのセットアップ

ZadigでFT232Hを接続してドライバーを修正

pyftdiとpyusbをアンインストールしてからインストールする

pyusbとpyftdiをテストする

Adafruit Blinkaをインストールする

環境変数を設定

プラットフォーム検出確認

インストール後のチェック

Python環境変数の確認

ピン配列を確認

電源ピン

GPIOピン

I2Cピン

SPIピン

MPU6050用 Pythonモジュールのインストール

スクリプト

結果出力

今後について

I2Cデバイスの複数接続

SPI通信

SPIデバイスの複数接続

追記１

追記２

numpyとlistのappendの違い

flaskサーバー側のスクリプト

クライアント側のスクリプト

cmdでクライアント側のスクリプトを実行

flaskをちょっといじってみます。

テンプレートを使ってみます。

カメラ

インストール

その他のライブラリをインストール

エラー

画像処理

結果

グラフ化

検出画像

メインスクリプト

グラフ作成スクリプト

スクリプト

出力結果

参考にさせていただきました。

今回で画面が緑色になってしまう問題を解決できるか！

ＦＴ２３２Ｈ使用　ＵＳＢ⇔ＧＰＩＯ＋ＳＰＩ＋Ｉ２Ｃ変換モジュール