チャットボット用の訓練データをクリーニングするために、正規表現を使ってルビを削除する方法をメモしておきます。
|
1 2 3 4 5 6 7 |
import re s = 'ペガサス【ぺがさす】に乗って、空【そら】を飛翔【ひしょう】する英雄【えいゆう】ペルセウス' print(s) s = re.sub('【[^】]+】', '', s) print(s) |
詳しくは↓↓↓
カテゴリー: npl
自然言語処理とチャットボット １
自然言語処理を少しかじっていこうと思います。
まずは環境構築
anaconda navigator で仮想Environmentsをcreateしてnpl_bot仮想環境を新規作成します。
installedをnot installedにして
モジュール群numpy , matplotlib, tensorflow, keras, gensim
をインストールします。
nlp_bot右にある三角をおして Open terminalして
pip install janome します。
(ganomeだと勘違いしていてしばらく悩みました。）
environmentasからhomeへ移動してJupyter Notebookをinstallします。
これで環境構築はOKです。
次からはJupyter Notebookを起動してスクリプトを書いて行きます。