今回で画面が緑色になってしまう問題を解決できるか！

試運転：shellからでは映像が出力できています。

$ gst-launch-1.0 nvarguscamerasrc ! 'video/x-raw(memory:NVMM), width=1920, height=1080, format=(string)NV12, framerate=(fraction)30/1' ! nvoverlaysink -e

1	$ gst-launch-1.0 nvarguscamerasrc ! 'video/x-raw(memory:NVMM), width=1920, height=1080, format=(string)NV12, framerate=(fraction)30/1' ! nvoverlaysink -e

Python3から　nano_cam_test.py　を実行してみるとエラーが出ます。

import cv2

GST_STR = 'nvarguscamerasrc \
    ! video/x-raw(memory:NVMM), width=3280, height=2464, format=(string)NV12, framerate=(fraction)30/1 \
    ! nvvidconv ! video/x-raw, width=(int)1920, height=(int)1080, format=(string)BGRx \
    ! videoconvert \
    ! appsink'
WINDOW_NAME = 'Camera Test'

def main():
    cap = cv2.VideoCapture(GST_STR, cv2.CAP_GSTREAMER)

    while True:
        ret, img = cap.read()
        if ret != True:
            break

        cv2.imshow(WINDOW_NAME, img)

        key = cv2.waitKey(10)
        if key == 27: # ESC
            break

if __name__ == "__main__":
    main()

import cv2

GST_STR = 'nvarguscamerasrc \

! video/x-raw(memory:NVMM), width=3280, height=2464, format=(string)NV12, framerate=(fraction)30/1 \

! nvvidconv ! video/x-raw, width=(int)1920, height=(int)1080, format=(string)BGRx \

! videoconvert \

! appsink'

WINDOW_NAME = 'Camera Test'

def main():

cap = cv2.VideoCapture(GST_STR, cv2.CAP_GSTREAMER)

while True:

ret, img = cap.read()

if ret != True:

break

cv2.imshow(WINDOW_NAME, img)

key = cv2.waitKey(10)

if key == 27: # ESC

break

if __name__ == "__main__":

main()

エラー：

nak@jetson:~/scripts$ python3 nano_cam_test.py
GST_ARGUS: Creating output stream
CONSUMER: Waiting until producer is connected...
GST_ARGUS: Available Sensor modes :
GST_ARGUS: 3264 x 2464 FR = 21.000000 fps Duration = 47619048 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

GST_ARGUS: 3264 x 1848 FR = 28.000001 fps Duration = 35714284 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

GST_ARGUS: 1920 x 1080 FR = 29.999999 fps Duration = 33333334 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

GST_ARGUS: 1280 x 720 FR = 59.999999 fps Duration = 16666667 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

GST_ARGUS: 1280 x 720 FR = 120.000005 fps Duration = 8333333 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

Error generated. /dvs/git/dirty/git-master_linux/multimedia/nvgstreamer/gst-nvarguscamera/gstnvarguscamerasrc.cpp, threadExecute:243 Stream failed to connect.
Error generated. /dvs/git/dirty/git-master_linux/multimedia/nvgstreamer/gst-nvarguscamera/gstnvarguscamerasrc.cpp, threadFunction:177 (propagating)
(Argus) Error InvalidState:  (propagating from src/eglstream/FrameConsumerImpl.cpp, function streamEventThread(), line 135)
(Argus) Error InvalidState:  (propagating from src/eglstream/FrameConsumerImpl.cpp, function streamEventThreadStatic(), line 177)
Error generated. /dvs/git/dirty/git-master_linux/multimedia/nvgstreamer/gst-nvarguscamera/gstnvarguscamerasrc.cpp, execute:654 Frame Rate specified is greater than supported
Segmentation fault (core dumped)

nak@jetson:~/scripts$ python3 nano_cam_test.py

GST_ARGUS: Creating output stream

CONSUMER: Waiting until producer is connected...

GST_ARGUS: Available Sensor modes :

GST_ARGUS: 3264 x 2464 FR = 21.000000 fps Duration = 47619048 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

GST_ARGUS: 3264 x 1848 FR = 28.000001 fps Duration = 35714284 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

GST_ARGUS: 1920 x 1080 FR = 29.999999 fps Duration = 33333334 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

GST_ARGUS: 1280 x 720 FR = 59.999999 fps Duration = 16666667 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

GST_ARGUS: 1280 x 720 FR = 120.000005 fps Duration = 8333333 ; Analog Gain range min 1.000000, max 10.625000; Exposure Range min 13000, max 683709000;

Error generated. /dvs/git/dirty/git-master_linux/multimedia/nvgstreamer/gst-nvarguscamera/gstnvarguscamerasrc.cpp, threadExecute:243 Stream failed to connect.

Error generated. /dvs/git/dirty/git-master_linux/multimedia/nvgstreamer/gst-nvarguscamera/gstnvarguscamerasrc.cpp, threadFunction:177 (propagating)

(Argus) Error InvalidState: (propagating from src/eglstream/FrameConsumerImpl.cpp, function streamEventThread(), line 135)

(Argus) Error InvalidState: (propagating from src/eglstream/FrameConsumerImpl.cpp, function streamEventThreadStatic(), line 177)

Error generated. /dvs/git/dirty/git-master_linux/multimedia/nvgstreamer/gst-nvarguscamera/gstnvarguscamerasrc.cpp, execute:654 Frame Rate specified is greater than supported

Segmentation fault (core dumped)

たぶん、カメラが対応している解像度と違うからでしょう。

直してみましょう。

やっていきましょう。

参考にさせていただきました。

https://qiita.com/daisuzu_/items/8cc8de8ea8dc557a2aad
https://qiita.com/wawoon/items/f61338d6e11a8e9521a4
https://pysource.com/2019/08/26/install-opencv-4-1-on-nvidia-jetson-nano
https://qiita.com/tsutof/items/2d2248ec098c1b8d3e32

自動インストールのシェルスクリプトを保存

下記、シェルスクリプトをファイル名 install_opencv4.1.0_Nano.shとしてホームディレクトリに保存します。まだ保存するだけです。

#==== Shell script for OpenCV 4.1.0 Installation ====
# File Name : install_opencv4.1.0_Nano.sh




## Update the packages

sudo apt update
sudo apt install -y nano
sudo apt install -y build-essential cmake git libgtk2.0-dev pkg-config  libswscale-dev libtbb2 libtbb-dev
sudo apt install -y python-dev python3-dev python-numpy python3-numpy
sudo apt install -y curl


## Install video &amp; image formats:
sudo apt install -y  libjpeg-dev libpng-dev libtiff-dev libjasper-dev 
sudo apt install -y libavcodec-dev libavformat-dev
sudo apt install -y libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev
sudo apt install -y libv4l-dev v4l-utils qv4l2 v4l2ucp libdc1394-22-dev


## Download OpenCV and Contrib
curl -L https://github.com/opencv/opencv/archive/4.1.0.zip -o opencv-4.1.0.zip
curl -L https://github.com/opencv/opencv_contrib/archive/4.1.0.zip -o opencv_contrib-4.1.0.zip
unzip opencv-4.1.0.zip
unzip opencv_contrib-4.1.0.zip 
cd opencv-4.1.0/


## Create directory
mkdir release
cd release


## Build
cmake \
-D WITH_CUDA=ON \
-D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib-4.1.0/modules \
-D WITH_GSTREAMER=ON \
-D WITH_LIBV4L=ON \
-D BUILD_opencv_python2=ON \
-D BUILD_opencv_python3=ON \
-D BUILD_TESTS=OFF \
-D BUILD_PERF_TESTS=OFF \
-D BUILD_EXAMPLES=OFF \
-D CMAKE_BUILD_TYPE=RELEASE \
-D CMAKE_INSTALL_PREFIX=/usr/local ..

## Install OpenCv using 4 cores
make -j4
sudo make install

## Delete zip files
cd ~
rm opencv-4.1.0.zip 
rm opencv_contrib-4.1.0.zip

#==== Shell script for OpenCV 4.1.0 Installation ====

# File Name : install_opencv4.1.0_Nano.sh

## Update the packages

sudo apt update

sudo apt install -y nano

sudo apt install -y build-essential cmake git libgtk2.0-dev pkg-config libswscale-dev libtbb2 libtbb-dev

sudo apt install -y python-dev python3-dev python-numpy python3-numpy

sudo apt install -y curl

## Install video & image formats:

sudo apt install -y libjpeg-dev libpng-dev libtiff-dev libjasper-dev

sudo apt install -y libavcodec-dev libavformat-dev

sudo apt install -y libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev

sudo apt install -y libv4l-dev v4l-utils qv4l2 v4l2ucp libdc1394-22-dev

## Download OpenCV and Contrib

curl -L https://github.com/opencv/opencv/archive/4.1.0.zip -o opencv-4.1.0.zip

curl -L https://github.com/opencv/opencv_contrib/archive/4.1.0.zip -o opencv_contrib-4.1.0.zip

unzip opencv-4.1.0.zip

unzip opencv_contrib-4.1.0.zip

cd opencv-4.1.0/

## Create directory

mkdir release

cd release

## Build

cmake \

-D WITH_CUDA=ON \

-D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib-4.1.0/modules \

-D WITH_GSTREAMER=ON \

-D WITH_LIBV4L=ON \

-D BUILD_opencv_python2=ON \

-D BUILD_opencv_python3=ON \

-D BUILD_TESTS=OFF \

-D BUILD_PERF_TESTS=OFF \

-D BUILD_EXAMPLES=OFF \

-D CMAKE_BUILD_TYPE=RELEASE \

-D CMAKE_INSTALL_PREFIX=/usr/local ..

## Install OpenCv using 4 cores

make -j4

sudo make install

## Delete zip files

cd ~

rm opencv-4.1.0.zip

rm opencv_contrib-4.1.0.zip

メモリ領域の確保

メモリ領域を確保するために下記４つを、順番にやりますが、一つ一つに時間がかかりますので、進まないからといってターミナルを４つ開かないように！（やって失敗したのは私だけで十分です。）

$ sudo dd if=/dev/zero of=/swapfile bs=1M count=6144

1	$ sudo dd if=/dev/zero of=/swapfile bs=1M count=6144

$ sudo chmod 600 /swapfile

1	$ sudo chmod 600 /swapfile

$ sudo mkswap /swapfile

1	$ sudo mkswap /swapfile

$ sudo swapon /swapfile

1	$ sudo swapon /swapfile

で、この４つではOpenCV4.1.2もOpenCV4.1.1もうまくいかなかったので、気を取り直して下記の３つをやりました。

おそらく、上記４つは必要ないと思いますので試しに飛ばしてみてください。（リブートしなかったのが良くなかったのか？したかどうかも覚えてませんｗ）

目的は同様にメモリの確保で、４GBでよいっぽい。デフォルトが２GBなので　式中の割る２を削除すればOKです。

$ sudo apt-get install zram-config

1	$ sudo apt-get install zram-config

$ sudo sed -i -e "s/mem=\$(((totalmem \/ 2 \/ \${NRDEVICES}) \* 1024))/mem=\$(((totalmem \/ \${NRDEVICES}) \* 1024))/g" /usr/bin/init-zram-swapping

1	$ sudo sed -i -e "s/mem=\$(((totalmem \/ 2 \/ \${NRDEVICES}) \* 1024))/mem=\$(((totalmem \/ \${NRDEVICES}) \* 1024))/g" /usr/bin/init-zram-swapping

$ sudo reboot

1	$ sudo reboot

リブートできたら、コンパイル～インストールしましょう。

# Move to home directory
$ cd ~

1 2	# Move to home directory $ cd ~

# インストールのシェルスクリプトを実行します
$ sh install_opencv4.1.0_Nano.sh opencv

1 2	# インストールのシェルスクリプトを実行します $ sh install_opencv4.1.0_Nano.sh opencv

Pythonでインポートして確認

import cv2してprint(cv.__version__)で

4.1.0と出力されたらOKです。

課題：MIPIカメラが使えない

・pythonからvideoCapture(0)したところ、MIPIカメラでは緑一色の画面しか出力されない。numpy.arrayなのでRGBを確認すると、きれいにすべての画素でR, G, B =[0, 255, 0] ですw　助けてくださいｗ

・安物のwebカメラではvideoCapture(1)したところ、問題なく映像が出力されています。ついでに顔認識などやってみましたが問題なし。

うーん、このままUVCカメラしか使えないのも尺ですしねえ。せっかくの800万画素のソニーIMX219センサが無駄になってしまう・・・

解決法ありましたら、コメントお願いします🙏

いつか4.1.2を入れられるようになりたいです。

日: 2020年4月14日

Jetson Nano: Python OpenCVからMIPIカメラへアクセスする方法

参考にさせていただきました。

今回で画面が緑色になってしまう問題を解決できるか！

Jetson Nano: OpenCV 4.1.0をインストールする

やっていきましょう。

参考にさせていただきました。

自動インストールのシェルスクリプトを保存

メモリ領域の確保

リブートできたら、コンパイル～インストールしましょう。

Pythonでインポートして確認

課題：MIPIカメラが使えない

2020年4月
月	火	水	木	金	土	日
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30