強化学習の可視化
エージェントは行動し、報酬を受け取り、その経験で次の判断を変えます。ある行動の報酬が数回後に届くこともあります。二つのレッスンで遅れたフィードバックの使い方を調べます。
Q 学習は状態と行動の組ごとに価値を推定し、方策勾配は行動確率を直接変えます。どちらも標本経験から学びますが、更新する量と使う根拠が異なります。
レッスンの内容
| レッスン | 観察するもの |
|---|---|
| Q 学習 | 終端報酬 +5 が一項目を変え、後の訪問で推定が開始点へ伝わり、三手の経路が目前の +1 より有利になる |
| 方策勾配 | REINFORCE が標本行動の勾配を収益で重み付けし、失敗回が成功にも必要な最初の行動を抑えることがある |
推奨する学習順序
Q 学習から始めます。格子には六つの有効な状態・行動の組があり、報酬、次状態の最大推定値、一つの表項目への書き戻しを確認できます。探索率をゼロにすると、本例の固定シードでは近い報酬を選び続け、大きい報酬を見つけません。割引率をゼロにすると、終端報酬を発見しても更新目標を通じて以前の判断へ伝えられません。
次は方策勾配です。Q 表を使わず、学習した行動確率から標本を取ります。正負の収益が選んだ行動の確率をどう変えるかを見ます。最初の失敗経路は二つの判断をともに抑えますが、その初手は成功経路にも必要です。後の回から、一回の標本更新と多数の標本にわたる期待方向の違いを確認します。
他のコースとの関係
勾配降下は更新と学習率を説明します。方策勾配は勾配上昇で期待収益を増やします。Softmax と交差エントロピーは行動確率と対数確率の基礎になります。
学習ループは学習と評価を分けます。Q 学習でも最終の貪欲方策を実行する前に表を固定します。小さな決定論的環境は更新を調べやすくしますが、少数回で収束を証明したり、ニューラルネットを使う場合の難しさを網羅したりはしません。
強化学習の可視化一覧
既定例を動かし、一回の更新を確認し、設定を変えて比較してください。