オプティマイザー：SGD、Momentum、Adam

オプティマイザーは勾配から更新を作りますが、すべての地形で勝つものはありません。固定 20 更新の比較では、円形で無雑音なら SGD、狭い谷なら Momentum、高雑音なら Adam が勝ちます。初期値、シード付きバッチ、予算、評価指標を共有し、各手法は明記した参照ハイパーパラメーターを使います。

問うのは、どの状態が何を直すかです。SGD は現在の勾配、Momentum は持ち越す速度、Adam はさらに座標別 RMS スケールを使います。幾何と雑音によって、その記憶が進行を助けるか行き過ぎるかが変わります。

3 手法の仕組み

• SGD：θₜ = θₜ₋₁ − αgₜ。バッチ間のオプティマイザーベクトル状態を持ちません。
• Momentum：uₜ = 0.8uₜ₋₁ − αgₜ、θₜ = θₜ₋₁ + uₜ。同方向で加速し、谷を横切って反転する勾配は一部相殺します。
• Adam：勾配平均 m と二乗平均 v を持ち、バイアス補正後に m̂ / (√v̂ + ε) を使います。座標ごとに有効な尺度が変わります。

学習率は SGD 1.5 / κ、Momentum 0.45 / κ、Adam 0.2 です。この二次曲面で比較を見せる値で、実モデルの万能な既定値ではありません。

オプティマイザーのステップ

初期 κ = 20、雑音 σ = 0.08、真の損失は L(x,y) = ½(x² + 20y²)。y の曲率は x の 20 倍です。全手法が (4, 1) から同じ 20 バッチの偏移を使います。

1. 最初のバッチ。 一時的な最適点が真の最低点からずれます。同じずれた曲面に対し、各手法は自分の位置で勾配を測ります。
2. 規則を予告。 SGD は現在方向、Momentum は初速度を作ります。Adam は m̂ の方向推定と、v̂ の RMS 分母を 2 ステップで示します。
3. 更新 1 を確定。 次バッチ到着時は点を固定し、持ち越すものを比較します。SGD はなし、Momentum は u₁、Adam は m₁ と v₁。
4. 更新 2〜20。 5、10、20 で確認します。等高線の x、y は同縮尺なので、長い横断は図の歪みではありません。
5. 末尾平均を比較。 更新 16〜20 の真の損失を平均します。SGD 0.7203、Momentum 0.0585、Adam 0.3854。この末尾では Momentum が最良です。
6. 3 設定を再生。 計算コアが作る円、谷、高雑音の経路を再生し、距離、横断の符号反転、Adam の RMS を示してから結果表へ進みます。

勝者が変わる理由

初期化、対応するシード付きバッチ列、20 更新の予算、指標を固定し、学習率は上の規則を保ちます。

0.0000 は表示の丸めです。3 地形とこの予算・設定の証拠で、手法名の普遍順位ではありません。

時間と空間

d パラメーターなら各更新は d 次元勾配を処理し、O(d) 時間です。パラメーターと入力勾配以外の状態は、通常 SGD が O(1)、Momentum が速度 1 ベクトルで O(d)、Adam が 2 モーメントで O(d)、定数は大きくなります。

実訓練では順・逆伝播が計算の大半を占めることが多い一方、大モデルの状態メモリも無視できません。

境界条件

• σ=0。 バッチ最適点が真の最低点と一致し、雑音なしの行き過ぎを見られます。
• κ=1。 円形で、特別に急な座標はありません。
• σ を増やす。 勾配を作るバッチ最適点だけが変わり、評価する真の損失面は不変です。
• 最後の点の偶然。 雑音下の幸不幸を減らすため、1 点でなく最後の 5 損失を使います。

よくある間違い

• 別バッチで競わせる。 初期化、順序、予算、損失をそろえ、手法別の調整規則も示します。
• Momentum を大きな学習率とする。 本質は速度の持ち越しです。この式で毎回ゼロにすると現在勾配の SGD に戻ります。
• Adam を単なる 2 平均とする。 二次モーメントの平方根が分母に入り、座標尺度を変えます。
• 小例の勝ちを本番推奨とする。 スケジュール、weight decay、バッチ、正規化、精度、構造にも依存します。

軌跡を診断に使う

一方向を往復し続けるなら、条件数、特徴量尺度、学習率を先に調べます。急方向の反転で浅い方向の進行も失うなら、速度を持つ効果を考えます。手法の交換だけで原因解決にはなりません。

末尾が揺れるなら区間を比較し、バッチサイズ、勾配クリッピング、学習率調整を見ます。状態は雑音の影響を変えても発生源を消しません。再開時は重みと u、m、v を復元します。同じ重みでも状態をリセットすると次の更新が違います。

モデルの簡略化

2 パラメーターとシード固定の二次バッチで、全結果を再現できます。実ネットワークは非凸損失、多数のパラメーター、混合精度、クリッピング、weight decay、手法別調整を使います。方程式は実際の更新で、地形だけを観察できる大きさにしています。