强化学习可视化

智能体采取动作、获得奖励，再用这段经验改变下一次决策。有些动作要经过几次后续决策才带来奖励，本组课程展示两种利用延迟反馈的方式。

Q 学习为每个状态与动作保存价值估计，策略梯度直接改变动作概率。两者都从采样经验学习，但更新的量和使用的证据不同。

课程内容

建议学习顺序

先学 Q 学习。网格只有六个合法状态—动作对，每次更新都可检查：观察奖励、下一状态的最大估计，以及写回的单个表项。把探索率设为零，在本课固定种子的运行中，智能体一直选择附近奖励，发现不了更大奖励。再把折扣因子设为零：即使发现终点奖励，它也无法通过更新目标影响更早的决策。

再学策略梯度。智能体从学到的动作概率中采样，不再使用 Q 表。观察正负回报如何改变已采样动作的概率。第一次失败路线会同时抑制两个决策，其中首步也是成功路线所必需的。后续回合展示：一次采样更新的方向，不等于许多样本下的期望方向。

与其他课程的关系

梯度下降介绍参数更新与学习率；策略梯度则通过梯度上升增大期望回报。Softmax 与交叉熵提供动作概率和对数概率的基础。

训练循环区分学习与评估。Q 学习在执行最终贪心策略前冻结表格，展示同样的区别。这些小型确定性环境便于观察单次更新，少量回合不能证明收敛，也没有覆盖神经网络强化学习的额外难点。

全部强化学习可视化课程

选择课程，运行默认例子，检查一次更新，再改变参数做比较。