東洋インタレスト出版
Windowsマシンからファイルを転送する方法をメモっておきます。
ホストのIPアドレスをいれて、TCPポートは２２でサービスはSSHでOKします。
IPアドレスは人によって違うので、予めJetson側のターミナルでifconfigで調べておいてください。
ユーザー名とパスワード（パスフレーズ）を入力してOKします。
接続したらTera Termのコマンドプロンプトのウィンドウ上に転送したいファイルをドラッグアンドドロップします。
このままOKすればホームディレクトリに保存されます。送信先の枠に任意のディレクトリを指定することもできます。
とても簡単ですが、たまに忘れるのでメモっておきます。
今回参考にさせていただいたサイトはこちらです↓↓↓
https://qiita.com/iwatake2222/items/a3bd8d0527dec431ef0f
では、SSH接続に続いてVNC接続をやっていきましょう。
まずは、Jetson Nano側の作業です。
事前に Tera Term などでSSH接続して ターミナルで ifconfigしてIPアドレスを確認しておきましょう。 192.168.xxx.xxxという部分です。
|
1 2 3 4 5 6 7 8 |
#アップデートしておきましょう sudo apt update #tigervncをインストールします。 sudo apt install tigervnc-standalone-server tigervnc-scraping-server # パスワードを定義する vncpasswd |
|
1 |
x0vncserver -display :0 -passwordfile ~/.vnc/passwd |
# 別途、X環境を作る場合は、vncserver :1 などの番号にするそうで、どうやらJetson Nanoに普通につなげると、今現在ディスプレイに映っている画面ではなくてX環境というものが表示されてしまうようです。
前回、うまくVNC接続したと思ったのはこのX環境につながったものと思われます。Nvidiaと書いてある壁紙の画面になり、開いた記憶のないウィンドウ（開こうとしても出てこなかった？）が開かれてありました。当時は全く意味がわかりませんでした。
では、次にWindows10側の作業です。
事前にVNC Viewer（Windows版）をインストールしておきましょう。
起動させたら、メニューバーのFile > New connection から、VNC Server: のところにIPアドレス 192.168.xxx.xxx を入力して OKします。
パスワードを聞かれるので入力してOKです。
これでつながるはずです。
初めて開くと若干汚いのですが、後で調整しましょう。
Jetson Nano側のターミナルでcntrol+c をおせば、強制終了できます。
次回から自動的にVNCサーバーが立ち上がるようにしましょう。
x0vncserver.serviceというファイルを作って、編集します。
|
1 |
sudo vi /etc/systemd/system/x0vncserver.service |
viを使うので、”a” を押して追記編集モードに入り、貼り付けたあとは”Esc”を押してコマンドモードに入り “:wq! ” で保存強制終了できます。
名前とパスの一部は適宜書き換えてください。４箇所あります。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
[Unit] Description=Remote desktop service (VNC) After=syslog.target After=network.target remote-fs.target nss-lookup.target After=x11-common.service [Service] Type=forking User=keita Group=keita WorkingDirectory=/home/keita ExecStart=/bin/sh -c 'sleep 10 && /usr/bin/x0vncserver -display :0 -rfbport 5900 -passwordfile /home/keita/.vnc/passwd &' [Install] WantedBy=multi-user.target |
まずはちゃんと動作するか手動で確認
|
1 2 3 4 5 6 7 8 |
#先にこれをやるらしい systemctl daemon-reload # 動かします sudo systemctl start x0vncserver.service # 動いているのを確認します sudo systemctl status x0vncserver.service |
|
1 2 3 4 5 |
#有効にします sudo systemctl enable x0vncserver.service #再起動をかけます sudo reboot yes |
正しく動いていたら、以下のコマンドで確認できます。
|
1 |
keita@jetson:~$ systemctl list-units | grep vnc |
↓↓↓これが出ればOKです↓↓↓
x0vncserver.service loaded active running Remote desktop service (VNC)
Windows10マシンのVNCビュワーを起動させて、File > New Connection から 接続先の指定をします。
VNC Server：IP address を入れます 192.168.xxx.xxx
（正確には 192.168.xxx.xxx:0 ですが、どちらでもOKです。）
OKします。
VNCパスワードを入力すると、VNCできます。
でも、画面が小さいですね。調整しましょう。
SSH接続に続きましてGUIの方も操作したいので、VNC接続をやってみましょう。
とりあえず繋がりましたが、ただ、現時点でなにが間違っている部分とか無駄があると思われますのでもう少し研究が必要です
sudo apt install vnc4server をやろうとしたところ、
sudo dpkg –configure -a をしなさいと警告が出たのでやってみる。
気を取り直してsudo apt install vnc4server をやろうとしたところ、
sudo apt-get upgrade してみたら？と警告がでたのでやってみる。
再度気を取り直して。sudo apt install vnc4serverをやったところ、 使えませんこの場所にvnc4server パッケージを置くことは。と警告がでる。
まったくわかりません・・・。
システムセッティングの中にスクリーンシェアリングがあるはずが、英語バージョンではなくなっている。
代わりにDesktop Sharing があるが クリックしても無反応。完全に詰んだ
https://qiita.com/Tats_U_/items/c170f61a5e03ae045128
GUI画面右上の歯車マークから System Settingsを選択します。
Sharing>Screen Sharingで
Allow connections to control the screen にチェックをいれて
Require a passwordにもチェックを入れて パスワードを指定します。
Networksは ONにします。
dconfエディタをインストールします
$ sudo apt install dconf-editor
起動します
$ dconf-editor
警告がでるので I’ll be careful を押します。
org/gnome/desktop/remote-access/require-encryption がONになっているところをOFFに変更します。
|
1 |
sudo apt install tigervnc-standalone-server |
開いているデスクトップの画面をリモートでも共有したい場合は次のコマンドも実行しておきましょう。←ってどういういみ？
|
1 |
sudo apt install tigervnc-scraping-server |
VNC接続用のパスワードを設定します。
|
1 |
tigervncpasswd |
View-onlyパスワードはどうするか聞かれるのですが、noで結構です。
設定したパスワードは~/.vnc/passwdに保存されるようです。
windowsマシンからSSH接続しているときにVNCサーバーを起動する場合は次のコマンドで起動します。
|
1 |
<span style="background-color: #ffffff; font-family: Merriweather, Georgia, serif; font-size: 16px;">tigervncserver </span><span class="nt" style="background-color: #ffffff; font-family: Merriweather, Georgia, serif; font-size: 16px;">-localhost</span><span style="background-color: #ffffff; font-family: Merriweather, Georgia, serif; font-size: 16px;"> no</span> |
-localhost noがないと別のコンピュータからLAN等を経由して繋げないようです。要注意とのことです。
このコマンドを実行した後は、実行すると接続できますよと提示されたコマンドのコロン:とその直後の数字を確認してください。(大体は:1だと思います)SSHセッションなどを閉じても構いません。
もう一つの起動方法ですが、すでに起動しているデスクトップをミラーリングしたい場合は次のコマンドを入力します。
|
1 |
x0tigervncserver <span class="nv">PasswordFile</span><span class="o">=</span><span class="nv">$HOME</span>/.vnc/passwd |
オプション部分をつけないとパスワード入力の段階で弾かれます。こちらはCtrl+Cで終了するタイプとのことです。
https://tigervnc.org/ の
https://bintray.com/tigervnc/stable/tigervnc/1.8.0 から
tigervnc64-1.8.0.exe をダウンロードしてインストールします。
SSH接続先でtigervncserver -localhost no したときに表示された
|
1 2 3 4 5 6 7 |
Warning: jetson:1 is taken because of /tmp/.X11-unix/X1 Remove this file if there is no X server jetson:1 New 'jetson:7 (keita)' desktop at :7 on machine jetson Starting applications specified in /home/keita/.vnc/xstartup Log file is /home/keita/.vnc/jetson:7.log |
を見て、:7とあるので、TigerVNCを起動したあと、アドレスには192.168.xxx.xxxだけでなく 192.168.xxx.xxx:7 と後ろに追加してconnectボタンを押します。
＝＝＝＝＝＝ 以下、メモ ＝＝＝＝＝＝＝＝＝＝＝＝
参考
http://lime-piko.blog.jp/archives/16558731.html
https://qiita.com/iwatake2222/items/a3bd8d0527dec431ef0f
|
1 2 3 |
$ sudo apt search vnc4server $ sudo apt install vnc4server $ sudo apt install gnome-panel gnome-settings-daemon metacity |
ここで数分かかりました。
vi で 下記のファイルを開きます。というか作ります。
|
1 |
$ vi ~/.vnc/xstartup |
下記の内容を書き込んで保存します。 Esc > :wqで書き込み保存です。
|
1 2 3 4 5 6 7 8 9 10 |
#x-terminal-emulator -geometry 80x24+10+10 -ls -title "$VNCDESKTOP Desktop" & #x-window-manager & export XKL_XMODMAP_DISABLE=1 /etc/X11/Xsession exec gnome-session & gnome-panel & gnome-settings-daemon & metacity & nautilus & gnome-terminal & |
だめでした。
つぎにこれを＾やってみます。
ってもう何がなんだかわかりません。
Jetsonは初期状態で日本語入力ができません。
ブラウザも全部アルファベットになってしまいます。
以前、ラズパイでやって時と同じやり方を試してみました。
ipafontとipaexfontがよさそうです。
|
1 |
sudo apt-get install fonts-ipafont fonts-ipaexfont |
まずはアップデート
sudo apt-get update
Google日本語入力のMozcをインストール
読み方は、もずく・・・でいいんでしょうか？
sudo apt-get install fcitx-mozc
インストール後はJetson Nanoを再起動しておきましょう。
|
1 |
sudo reboot |
再起動後GUI右上のJPマークが「キーボードマークとjp」になっています。
ブラウザを立ち上げて、キーボードの半角全角ボタンを押すと、日本語入力に切り替わります。
これでokです。
まずはWelcomeと言われますので言語をEnglishにします。
日本語にしてしまうと、フォルダ構造も日本語になってしまい後々支障がでます。
初めてやったときにしくじりましたので、今回が二回目です。
キーボードは日本語にしました。左と右のウィンドウ 両方ともJapaneseです。
どこにいるの？と聞かれたのでTokyo！！と答えました。
ユーザーネームとコンピュータネームをつけます
Pick a user name の意味はわかりませんが ユーザーネームと同じにしました。
passwordを設定します。
基本的にこのJetson Nano は 電源を入れたあとは、外部のPCにからVNC接続することを前提としますので
Log in automaticallyにチェックを入れました。
さあ、Ubuntuが始まりました！
壁紙はNvidia様のロゴで、光がスパークしていてカッコいいです。
https://kitto-yakudatsu.com/archives/6003
PLANEX GW-450D2 を使います。
5GHz 専用なので、無線ルーターは ” a ” を使います。
全然これじゃなくていいのですが、大きめのドングルなので紛失しにくくて良いかなと思います。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
#見えないディレクトリへ移動 $ cd /usr/local/src #githubからドライバを拝借いたします。 $ sudo git clone https://github.com/xtknight/mt7610u-linksys-ae6000-wifi-fixes.git # 下記のようなフォルダが出来上がっております。 $ cd mt7610u-linksys-ae6000-wifi-fixes #これをmakeします。 $ sudo make # makeしたものでinstallします。 $ sudo make install # 最後にリブートします。 $ sudo reboot |
GUI画面右上Wifi設定で無線ルーターを選択して、無線ルーターのキーを入力します。” a “しか使えませんので注意です。
CntキーとAltキーと” T “ を同時に押すと、Terminalを素早く立ち上げることができます。
|
1 |
ifconfig |
192.168.xxx.xxx と書かれてあるので控えましょう。
windowsマシンのTera Termを起動して、IPアドレスを入力しましょう。
↓↓↓例えば192.168.10.116とか。
※予めwindowsマシンにはTera Termをインストールしておきます。
ポートは22のまま
サービスはSSH でバージョンはSSH2を選択します。
で、OKです。
ユーザー名とパスフレーズを入れてOKです。
このとき警告が出ますが、無視して続行です。
はい、これでJetsonにSSH接続が完了しました。
次回接続するときは cmdから
|
1 |
ssh ユーザー名@コンピュータ名.local |
または
|
1 |
ssh ユーザー名@192.168.xxx.xxx |
でOKです。
のはずですが、インストール２回目では、cmdからのsshコマンドを受け付けなくなってしまいました。インストール１回目のときと状態が変わっているときに警告が出るようになっているようです。警告内容は大げさでビビりますが大丈夫です。
回避する方法は色々ありますが、TeraTermからは接続できますのでしばらくこれでやっていきます。
以上、次回はVNC接続をやっていきます。
今日は、Jetson nanoを組み立てていきます。
Jetson nano 本体
Jetson nano用 クリアケース
Wifi 5GHz専用ドングル
ジャンパーピン
5V 4A 電源
Jetson用カメラ （ラズパイカメラV2 77deg）
※購入忘れ：冷却ファン
説明書などありません。カンで組み立てて１５分程度です。
これに、キーボードとマウスとLANケーブルをつなげて、次回設定をやっていきましょう。
こんにちは Keita_Nakamori @ (´・ω・`)です。
Jetson Nano を入手いたしました。ラズパイの４倍の性能と伺っております。
考えるな！まずやってみろ！ の精神で、やっていきます。
Nvidiaの公式ページに従って、OSをマイクロSDカードに入れていきます。
jetson-nano-sd-r32.2-2019-07-16.zip がダウンロードされます。
SDCardFormatterv5_WinEN.zip がダウンロードされます。
解凍して、インストールしてフォーマッターを起動して、SDカードをクイックフォーマットします。ボリュームラベルは空白でOKです。
balenaEtcher-Setup-1.5.52.exe がダウンロードされます。
この実行ファイルを実行してインストール、および起動します。
OSイメージとして、先程ダウンロードしたjetson-nano-sd-r32.2-2019-07-16.zipを指定します。zipのままでOKです。
マイクロSDカードのドライブを指定します。
FLASHを押すと書き込みが開始されます。２０分程度かかりました。そこらへんに転がっていたSDカードリーダーなのでUSB1.0だったかもしれません。
Flash Complete! と表示されれば完了です。
さて、次回はこのマイクロSDカードをJetson Nanoに突っ込んで起動させてみます。
と、その前に・・・Jetson Nanoの性能をフルに引き出すためには、ACアダプタで5V 4Aを安定的に供給する必要があるとのこと。Amazonでポチりましょう。
さらに、このACアダプタを使用する場合は、ジャンパーを短絡させる必要があるとのこと。Amazonでポチりましょう。
なんだかアフィリエイターみたいになってしまいましたが。本当に必要なモノなので、ポチってください。
sklearnのサポートベクター分類の一般的なやり方です。
線形分類とか
カーネルに操作を加えた分類とか
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 |
#sklearn_text_for_data_science_svm """サポートベクターマシン できること：分類 回帰 外れ値検出 線形分離できないとき、データを高次元の移すのではなく、データ間の近さを定量化するカーネルを導入する カーネル：高次元空間でのデータ間の内積を計算する関数に相当する """ 'サポートベクターマシン\nできること：分類\u3000回帰\u3000外れ値検出\n線形分離できないとき、データを高次元の移すのではなく、データ間の近さを定量化するカーネルを導入する\nカーネル：高次元空間でのデータ間の内積を計算する関数に相当する\n' %matplotlib inline import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split # ---- sklearnのプリセットデータの取り扱い（基本形）---- #インスタンスを作成 iris = load_iris() type(iris) # sklearn.utils.Bunch iris.keys() # dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename']) #入力データと目標データを定義する X = iris.data y = iris.target # 訓練データと検証データに分割する X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0) # ----一般的な SVCのやり方 ---- # ランダム生成の固定 np.random.seed(0) # クラス0のクラスターとして X軸 Y軸ともに0-1のランダム値を100個ずつ生成する X0 = np.random.uniform(low=0.0, high=1.0, size=(100, 2), ) # クラス0のラベル0を100個 y0 = np.repeat(0, 100) # クラス1のクラスターとして X軸 Y軸ともに-1-0のランダム値を100個ずつ生成する X1 = np.random.uniform(low=-1.0, high=0.0, size=(100, 2)) # クラス1 のラベル1を100個 y1 = np.repeat(1, 100) # 散布図としてプロットする fig, ax = plt.subplots() ax.scatter(X0[:,0], X0[:,1], marker='o', label='class 0', color='blue') ax.scatter(X1[:,0], X1[:,1], marker='x', label='class 1', color='red') ax.set_xlabel('x') ax.set_ylabel('Y') ax.legend(loc='best') plt.show() %matplotlib inline import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.svm import SVC # 関数化しておく： def plot_boundary_margin_sv(X0, y0, X1, y1, kernel='linear', C=1e6, xmin=-1, xmax=1 , ymin=-1, ymax=1): """学習 決定境界 マージン SV可視化 args: X0:クラス0の座標 X0[:,0]:X座標 X0[:,1]:Y座標 y0:クラス0の正解 X1:クラス1のX座標 X1[:,0]:X座標 X1[:,1]:Y座標 y1:クラス1の正解 kernel:カーネル linear , rbf など C:マージン設定（大きい方が狭くなる) xmin:グラフ描画範囲 xmax:グラフ描画範囲 ymin:グラフ描画範囲 ymax:グラフ描画範囲 """ # SVCのインスタンスを生成する svc = SVC(kernel=kernel, C=C) # argesを代入する # 学習 svc.fit(np.vstack((X0, X1)), np.hstack((y0, y1))) #(200, 2) , (200,) スタック方向に注意 # 可視化 fig, ax = plt.subplots() # クラス０をプロット ax.scatter(X0[:, 0], X0[:, 1], marker='o', label='class_0', color='blue') # クラス１をプロット ax.scatter(X1[:, 0], X1[:, 1], marker='x', label='class_1', color='red') # 決定境界とマージンをプロット # メッシュグリッドの下準備 xx, yy =np.meshgrid(np.linspace(xmin, xmax, 100), np.linspace(ymin, ymax, 100)) xy = np.vstack([xx.ravel(), yy.ravel()]).T # np.ravel():np.flatten()よりも高速に、配列を一次元化する p = svc.decision_function(xy).reshape((100, 100)) # 等高線を定義する ax.contour(xx, yy, p, colors='k', levels=[-1, 0, 1], alpha=0.5, linestyles=['--','-','--']) # サポートベクターを黒丸でマーキングする ax.scatter(svc.support_vectors_[:,0], svc.support_vectors_[:,1], s=250,facecolors='none',edgecolors='black') # グラフを装飾する ax.set_xlabel('x') ax.set_ylabel('y') ax.legend(loc='best') plt.show() # ============================================================================= # クラス0のクラスターとして X軸 Y軸ともに0-1のランダム値を100個ずつ生成する X0 = np.random.uniform(low=0.0, high=1.0, size=(100, 2), ) # クラス0のラベル0を100個 y0 = np.repeat(0, 100) # クラス1のクラスターとして X軸 Y軸ともに-1-0のランダム値を100個ずつ生成する X1 = np.random.uniform(low=-1.0, high=0.0, size=(100, 2)) # クラス1 のラベル1を100個 y1 = np.repeat(1, 100) # 関数を実行する plot_boundary_margin_sv(X0, y0, X1, y1, kernel='linear', C=0.1) # 直線では分類できない場合 %matplotlib inline import numpy as np import pandas as pd import matplotlib.pylab as plt # サンプルデータの生成 # X,Y座標データの生成 np.random.seed(0) X = np.random.random(size=(100,2)) # ２次曲線で クラスを分類する y = (X[:,1] > 2*(X[:,0]-0.5)**2+0.5).astype(int) # 散布図を作成する fig, ax =plt.subplots() ax.scatter(X[y == False, 0], X[y == False, 1], marker='x' ,color='red', label='class_0') ax.scatter(X[y == True, 0], X[y == True, 1], marker='o' ,color='blue', label='class_1') # グラフを装飾する ax.set_xlabel('x') ax.set_ylabel('y') ax.legend(loc='best') plt.show() # X,Y座標データ X0, X1 = X[y==False,:], X[y==True,:] # 正解データ y0, y1 = y[y==False], y[y==True] # 境界マージンサポートベクター関数を使う # rbf:動径基底関数 radial basis function plot_boundary_margin_sv(X0, y0, X1, y1, kernel='rbf', C=1e3, xmin=0, ymin=0) # ---- end of script ---- |
Sklearnのプリ処理の部分をメモっておきます。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 |
#sklearn_text_for_data_science # sklearn import numpy as np import pandas as pd # 欠損値を含む サンプルデータ・セットを作成 np.random.seed(0) df = pd.DataFrame(np.random.randn(15).reshape(5,3)) df.loc[0,0] = np.nan df.loc[1,1] = np.nan df.loc[2,2] = np.nan df 0 1 2 0 NaN 0.400157 0.978738 1 2.240893 NaN -0.977278 2 0.950088 -0.151357 NaN 3 0.410599 0.144044 1.454274 4 0.761038 0.121675 0.443863 # 欠損値かどうかを調べる df.isnull() 0 1 2 0 True False False 1 False True False 2 False False True 3 False False False 4 False False False # 欠損値を含むindexを削除する df_dropna = df.dropna() df_dropna 0 1 2 3 0.410599 0.144044 1.454274 4 0.761038 0.121675 0.443863 # 欠損値を含むindexを meanで補完する from sklearn.preprocessing import Imputer # インスタンスを作成する imp = Imputer(strategy='mean', axis=0) #欠損値を分析して補完する imp.fit(df) imp.transform(df) array([[ 1.09065446, 0.40015721, 0.97873798], [ 2.2408932 , 0.12862965, -0.97727788], [ 0.95008842, -0.15135721, 0.47489921], [ 0.4105985 , 0.14404357, 1.45427351], [ 0.76103773, 0.12167502, 0.44386323]]) # カテゴリー変数をエンコーディングする # サンプルDataFrame dic = {0:[0, 1, 2, 3, 4], 1:['a', 'b', 'a', 'b', 'c']} df = pd.DataFrame(dic) df 0 1 0 0 a 1 1 b 2 2 a 3 3 b 4 4 c # カテゴリー変数をラベルエンコーディングする from sklearn.preprocessing import LabelEncoder # LabelEncoderのインスタンスを作成する le = LabelEncoder() le.fit(df[1]) df[2] = le.transform(df[1]) # array([0, 1, 0, 1, 2]) df 0 1 2 0 0 a 0 1 1 b 1 2 2 a 0 3 3 b 1 4 4 c 2 # カテゴリー変数を One-Hot ラベルエンコーディングする ''' pd.get_dummieと同じ機能。 pd.get_dummieのほうが使いやすいのでおすすめ ''' from sklearn.preprocessing import LabelEncoder from sklearn.preprocessing import OneHotEncoder # サンプルDataFrame dic = {'A':[0, 1, 2, 3, 4], 'B':['a', 'b', 'a', 'b', 'c']} df = pd.DataFrame(dic) # DataFrameをコピー df_ohe = df.copy() df_ohe A B 0 0 a 1 1 b 2 2 a 3 3 b 4 4 c # まず labelEncoder のインスタンスを作成 le = LabelEncoder() # エンコードしたものを df_ohe[3]として新規作成する df_ohe['B'] = le.fit_transform(df_ohe['B']) # a b c を含む列 を解析・変換 le.classes_ # OneHotEncoder のインスタンスを作成する ohe = OneHotEncoder(categorical_features=[1]) # 変換する列の番号をリストとして指定する # OneHotエンコーディングする ohe.fit_transform(df_ohe).toarray() # .toarray():scipy.sparse形式からnumpy配列に変換 array([[1., 0., 0., 0.], [0., 1., 0., 1.], [1., 0., 0., 2.], [0., 1., 0., 3.], [0., 0., 1., 4.]]) # 正規化 # 分散正規化 StanderdScaler """ x' = (x - mean)/ stdev """ from sklearn.preprocessing import StandardScaler # サンプルDataFrameを生成する df_dict = {'A':[1,2,3,4,5], 'B':[100,200,300,400,500]} df = pd.DataFrame(df_dict) # スタンダードスケーラーのインスタンスを生成する stdsc = StandardScaler() # 解析して変換する stdsc.fit(df) stdsc.transform(df) array([[-1.41421356, -1.41421356], [-0.70710678, -0.70710678], [ 0. , 0. ], [ 0.70710678, 0.70710678], [ 1.41421356, 1.41421356]]) # 最小最大正規化 MinMaxScaler """ x' = (x - x_min) / (x_max - x\min) """ from sklearn.preprocessing import MinMaxScaler # サンプルDataFrameを生成する df_dict = {'A':[1,2,3,4,5], 'B':[100,200,300,400,500]} df = pd.DataFrame(df_dict) # スタンダードスケーラーのインスタンスを生成する mmsc = MinMaxScaler() # 解析して変換する mmsc.fit(df) mmsc.transform(df) array([[0. , 0. ], [0.25, 0.25], [0.5 , 0.5 ], [0.75, 0.75], [1. , 1. ]]) |
可視化の基本 matplotlibです。
貼っておきます。
matplotlib_taxt_for_data_science.html
matplotlib_taxt_for_data_science.ipynb
スクリプト
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 |
# matplotlib import matplotlib.pyplot as plt import matplotlib.style #ggplotを使用する matplotlib.style.use('ggplot') # MATLABスタイル matplotlib.style.use('ggplot') x = [0,1,2,3,4] y = [0,1,2,4,8] plt.plot(x,y) plt.title('MATLAB-STYLE') Text(0.5,1,'MATLAB-STYLE') # オブジェクト指向スタイル x = [0,1,2,3,4] y = [0,1,2,4,8] #スタイルの指定は matplotlib.style.available で確認できる matplotlib.style.use('ggplot') # ２行２列のプロットを用意する fig, axes = plt.subplots(nrows=2,ncols=2) # １行１列にプロットする axes[0,0].plot(x, y, label='legend_001') axes[0,0].legend(loc='best') # 凡例 外配置は loc='bbox_to_anchor' # 個別のグラフ axes を装飾する axes[0,0].set_title('axes[0,0].set_title') # タイトル axes[0,0].set_xlabel('axes[0,0].set_xlabel') # x軸ラベル axes[0,0].set_ylabel('axes[0,0].set_ylabel') # y軸ラベル # 全体 fig を装飾する fig.suptitle('fig.suptitle') # グラフを保存する fig.savefig('data/savefig.png') # グラフを表示する plt.show() # 縦棒グラフ ax.bar fig, axes = plt.subplots(1,2) matplotlib.style.use('ggplot') x = [0,1,2] y = [2,4,5] # x軸ラベルを任意のラベルにする labels = ['label_0','label_1','label_2'] axes[0].bar(x, y, tick_label=labels) plt.show() # 横棒グラフ ax.barh fig, axes = plt.subplots(1,2) matplotlib.style.use('ggplot') x = [0,1,2] y = [2,4,5] # x軸ラベルを任意のラベルにする labels = ['label_0','label_1','label_2'] axes[0].barh(x, y, tick_label=labels) plt.show() # 縦棒グラフ ２本並べる ax.bar fig, axes = plt.subplots(1,2) matplotlib.style.use('ggplot') x1 = [0,1,2] y1 = [2,4,5] y2 = [3,5,7] # x軸ラベルを任意のラベルにする labels = ['label_0','label_1','label_2'] # 棒の幅を決める y1 width = 0.4 axes[0].bar(x1, y1, tick_label=labels, width=width, label='y1') axes[0].legend(loc='best') # 棒の幅の分をx軸の正方向にずれた位置に y2 の棒グラフを書く x2 = [i + width for i in x1] axes[0].bar(x2, y2, tick_label=labels, width=width, label='y2') axes[0].legend(loc='best') plt.show() # 積み上げ棒グラフ fig, axes = plt.subplots(1,2) matplotlib.style.use('ggplot') x = [0,1,2] y1 = [2,4,5] y2 = [3,5,7] # x軸ラベルを任意のラベルにする labels = ['label_0','label_1','label_2'] # y1とy2 を足した y_total = y1 + y2 を作成する y_total = [i + j for i, j in zip(y1, y2)] # y_total の上に y2 で塗りつぶし、残りの部分を y1 と見立てる axes[0].bar(x,y_total, tick_label=labels, label='y1') axes[0].legend(loc='best') axes[0].bar(x,y2, tick_label=labels, label='y2') axes[0].legend(loc='best') plt.show() # 散布図 fig, ax = plt.subplots() # ランダム値を生成 import numpy as np np.random.seed(0) x = np.random.randn(1000) y = np.random.randn(1000) # 各種マーカーを使用してみる ax.scatter(x[0:100], y[0:100], marker='v', label='triangle down', color='red') ax.scatter(x[100:200], y[100:200], marker='^', label='triangle up', color='blue') ax.scatter(x[200:300], y[200:300], marker='s', label='square', color='green') ax.scatter(x[300:400], y[300:400], marker='*', label='star', color='yellow') ax.scatter(x[400:500], y[400:500], marker='x', label='x', color='black') ax.scatter(x[500:600], y[500:600], marker='+', label='+', color='cyan') plt.legend(loc='best') <matplotlib.legend.Legend at 0x176cffce710> # ヒストグラム np.random.seed(1) ave = 100 std = 15 x = np.random.normal(ave, std, 1000) fig, ax = plt.subplots() n, bins, patches = ax.hist(x, bins=20) plt.show() n # 各棒の度数 bins # 各棒の境界値 patches # 各棒の描画情報 <a list of 20 Patch objects> # ヒストグラム 横棒 np.random.seed(1) ave = 100 std = 15 x = np.random.normal(ave, std, 1000) fig, ax = plt.subplots() n, bins, patches = ax.hist(x, bins=20, orientation='horizontal') plt.show() # ヒストグラムを並べる np.random.seed(2) # 正規分布に従うデータを３つ用意する x0 = np.random.normal(10,10,1000) x1 = np.random.normal(10,20,1000) x2 = np.random.normal(10,30,1000) # ヒストグラムを書く fig, ax = plt.subplots() labels = ['x0', 'x1', 'x2'] ax.hist([x0,x1,x2],label=labels) plt.legend(loc='best') <matplotlib.legend.Legend at 0x176bad74470> # ヒストグラムを積み上げる np.random.seed(2) # 正規分布に従うデータを３つ用意する x0 = np.random.normal(10,10,1000) x1 = np.random.normal(10,20,1000) x2 = np.random.normal(10,30,1000) # ヒストグラムを書く fig, ax = plt.subplots() labels = ['x0', 'x1', 'x2'] ax.hist([x0,x1,x2],label=labels, stacked=True) plt.legend(loc='best') <matplotlib.legend.Legend at 0x176cfeeeef0> # 箱ひげ図 .boxplot # 正規分布に従うデータを３つ用意する np.random.seed(0) x0 = np.random.normal(10,10,1000) x1 = np.random.normal(10,20,1000) x2 = np.random.normal(10,30,1000) fig, ax = plt.subplots() labels = ['x0', 'x1', 'x2'] ax.boxplot([x0,x1,x2], labels=labels) plt.show() # 箱ひげ図.boxplot（横向き vert=False） # 正規分布に従うデータを３つ用意する np.random.seed(0) x0 = np.random.normal(10,10,1000) x1 = np.random.normal(10,20,1000) x2 = np.random.normal(10,30,1000) fig, ax = plt.subplots() labels = ['x0', 'x1', 'x2'] ax.boxplot([x0,x1,x2], labels=labels, vert=False) plt.show() # 円グラフ ちょっと斜め上から x = [3,5,7] labels = labels = ['x0', 'x1', 'x2'] fig, ax = plt.subplots() ax.pie(x, labels=labels) plt.show() # 円グラフ 真上から ax.axis('equal') x = [3,5,7] labels = labels = ['x0', 'x1', 'x2'] fig, ax = plt.subplots() ax.pie(x, labels=labels ) ax.axis('equal') # 真上から plt.show() # 円グラフ 真上から ax.axis('equal') # 12時(startangle=90) から 時計回り(counterclock=False) で # 影をつける shadow=True # %を入れる autopct='%1.2f%%' # 一部を切り離す explode x = [3,5,7] labels = labels = ['x0', 'x1', 'x2'] fig, ax = plt.subplots() explode =[0,0.1,0] # ２番めのデータだけ切り離す ax.pie(x, labels=labels, startangle=90, counterclock=False, shadow=True, autopct='%1.2f%%', explode=explode) ax.axis('equal') plt.show() # グラフを組み合わせる 棒グラフ-折れ線グラフ fig, ax = plt.subplots() x1 = [0,1,2,3] y1 = [1,3,5,7] x2 = [0,1,2,3] y2 = [10,8,20,10] ax.bar(x1, y1, label='y1') # 棒グラフ ax.bar() ax.plot(x2, y2, label='y2') # 折れ線グラフ ax.plot() ax.legend(loc='best') plt.show() # グラフを組み合わせる ヒストグラム-折れ線グラフ fig, ax = plt.subplots() # サンプルデータを生成する np.random.seed(0) x = np.random.randn(1000) # ヒストグラムを描く counts, edges, patches = ax.hist(x, bins=30) #中点を求める(何故かこれで求まるらしい) x_fit = (edges[:-1] + edges[1:])/ 2 y=1000 * np.diff(edges) *np.exp(-x_fit**2 / 2) np.sqrt(2 * np.pi) ax.plot(x_fit, y) plt.show() counts # array([ 9., 20., 70., 146., 217., 239., 160., 86., 38., 15.]) edges # array([-3.04614305, -2.46559324, -1.88504342, -1.3044936 , -0.72394379, # -0.14339397, 0.43715585, 1.01770566, 1.59825548, 2.1788053 , # 2.75935511]) array([-3.04614305, -2.46559324, -1.88504342, -1.3044936 , -0.72394379, -0.14339397, 0.43715585, 1.01770566, 1.59825548, 2.1788053 , 2.75935511]) edges[1:] array([-2.46559324, -1.88504342, -1.3044936 , -0.72394379, -0.14339397, 0.43715585, 1.01770566, 1.59825548, 2.1788053 , 2.75935511]) edges[:-1] array([-3.04614305, -2.46559324, -1.88504342, -1.3044936 , -0.72394379, -0.14339397, 0.43715585, 1.01770566, 1.59825548, 2.1788053 ]) # スタイル fig, ax = plt.subplots() # 色 color=名称'red' １６進数RGB'#0000FF' RGBAをfloatで ax.plot([0,1], [1,1], color='red') ax.plot([0,1], [2,2], color='#0000FF') ax.plot([0,1], [3,3], color=[0.2, 1.0, 0.2, 1.0]) plt.show() # 色 color=名称'red' １６進数RGB'#0000FF' RGBAをfloatで fig, ax = plt.subplots() # 棒グラフは color と edgecolor を設定できる ax.bar([1], [3], color='red') ax.bar([2], [4], color='cyan' , edgecolor='black') plt.show() # 線のスタイル 幅linewidth ラインスタイルlinestyle fig, ax = plt.subplots() ax.plot([0,1], [0,0]) ax.plot([0,1], [1,1], linewidth=1 ,linestyle='--') ax.plot([0,1], [2,2], linewidth=5 ,linestyle='-.') ax.plot([0,1], [3,3], linewidth=10 ,linestyle=':') plt.show() # フォント family, size, weght fig, ax = plt.subplots() ax.set_title('set_title', family='fantasy', size=20, weight='bold') ax.set_xlabel('set_xlabel', family='DejaVu Sans', size=30, weight='light') ax.set_ylabel('set_ylabel', family='monospace', size=25, weight='heavy') plt.show() # フォントはまとめてディクショナリにできる fig, ax = plt.subplots() fontdict = { 'family': 'fantasy', 'size': 20, 'weight': 'normal', } ax.set_title('set_title', fontdict=fontdict, size=40) ax.set_xlabel('set_xlabel', fontdict=fontdict) ax.set_ylabel('set_ylabel', fontdict=fontdict) plt.show() # グラフにテキストを描く fig, ax = plt.subplots() ax.text( 0, 0, 'text', size=10) ax.text(0.2, 0.2, 'text', size=20) ax.text(0.5, 0.5, 'text', size=30) ax.text(1.0, 1.0, 'text', size=40) plt.show() # ---- end of scripts ---- |
