DDPG by gymnasium1日目

深層強化学習をやっていこう

今日から強化学習AIの道場 gymnasiumを使って深層決定論的方策勾配DDPGを試していきたいと思います。

環境

  • windows10 python3.7.9
  • メモリ8GB
  • core i7 7700
  • RTX3070Ti
  • visual studio code/
  • python 3.7.9
  • venv 仮想環境

モジュール

多分もっと増えていきます。

 

とりあえず学習なしで動かしてみる。

gymnasiumの HalfCheetah-v4 半分チーター(動物)?のエージェントモデルを動かして描画するところまでやっていきます。

結果

エピソード数1、繰り返しステップ数1に変更した場合です。

観察空間は17個 マイナス無限からプラス無限までの連続値です。

行動空間は6個 -1から+1までの連続値です。

最後にscript is  done.と出力されているので、特に問題なさそうです。

が・・・

エラー発生

スクリプト自体は最後の行まで問題なく script is doneと表示されていますが、

なんか出てます。

chatGPTによると

と言われますが、どうにもならないので無視しました。

env.close()が本来こういったエラーが出ないようにするはずですが、メソドの中身を見ると、説明書きだけでコードは空でした・・・

次回

DDPGをちょっとずつ作っていきます。