パーセプトロン

パーセプトロンは単一ニューロンの線形分類器です。直線で 2 クラスを分け、条件に違反する点を見たら重みを修正します。正のマージンを持つ線形分離可能データでは更新回数に上限があります。XOR は 1 直線で分けられず、全点が正しいパスには到達しません。

境界を 2 組の人を分けるロープと考えます。違う側に置かれた人が修正を起こします。本例は符号付きマージンと加算更新を直接示しますが、更新はパーセプトロン損失からも解釈できます。古典的な収束分析と 1969 年の単層の限界の議論は、成功条件と表現の不足を区別します。

パーセプトロンの仕組み

点 x = (x₁, x₂) のスコアは w·x + b。正側を +1、負側を −1 と予測します。w は正側を向く法線です。固定 w で b を変えると境界が移動し、w の変更は向きも変え得ます。

固定順で点を繰り返し訪問し、真のラベル y について y·score ≤ 0 なら更新します。等号も対象なので、線上の点はラベルによらず修正を起こします。初期 w = (0, 0)、b = 0 は全点ゼロで、最初は必ず更新します。

規則は w ← w + y·x、b ← b + y。誤った正例なら x を足し、負例なら引きます。図は y·x を w の先へつなぎ、法線と境界の変化を示します。条件を満たす点は変更しません。

η = 1 に固定しています。ゼロ初期値から別の固定正学習率を使うと、全 (w, b) が同じ倍率になり、符号と更新時点は変わりません。そのためスライダーはありません。ゼロ・負の η や異なる初期化はこの議論の対象外です。

1 パスで更新がゼロなら、すべての点が正マージンを持ち、同じ後続パスも何もしません。

パーセプトロンのステップ

初期 Separable は 8 点で、上側の +1 が 4 点（藍）、下側の −1 が 4 点（マゼンタ）。添字順、ゼロ初期値です。

パス 1、更新 3 回。 点 0 (4, 2)、y=+1 はスコア 0 で、w = (4, 2)、b = 1 へ更新します。点 1 (-2, -3)、y=−1 は −13 で正しい。点 2 (-4, 2)、y=+1 は −11 なので w = (0, 4)、b = 2、境界は水平です。点 3 (3, 0)、y=−1 は 2 なので w = (-3, 4)、b = 1。点 4〜7 のスコア 11, -17, 19, -12 はすべて正しく分類します。

パス 2、更新 2 回。 点 0 は −3 になっています。他の点への修正で以前の正解も変わりました。w = (1, 6)、b = 2 へ更新し、点 3 のスコア 5 で再び w = (-2, 6)、b = 1 へ。他の 6 点は通ります。

パス 3、更新 0 回。 全 8 点の符号が正しく、最終 w = (-2, 6)、b = 1、計 5 更新です。点 0 と 3 は各 2 回、点 2 は 1 回修正しました。1 点を直しても過去の全点が正しい保証はありません。

収束条件と XOR

バイアスも更新する本例では、入力を (x, 1)、パラメーターを (w, b) と拡張します。単位分離ベクトルが全例に γ > 0 以上の符号付きマージンを与え、拡張入力のノルムが R 以下なら、更新数は (R/γ)² 以下です。この R、γ は拡張空間の量で、画面の 2 次元の点から線への距離をそのまま使えません。

数えるのは更新で、点の検査数やパス数ではありません。式に n が直接なくても、総走査費用がデータ数と無関係ではありません。Narrow margin は同じ 8 点と範囲でもパス更新数 8, 5, 0、計 13 回。初期設定は 3, 2, 0、計 5 回です。

XOR は 4 隅で対角を同じラベルにし、直線で分けられません。本例はパス 2 の末尾でパス 1 と同じパラメーターになります。状態、訪問位置、決定的規則が同じなので、その後も繰り返します。これはこの軌跡の循環の証明で、整数・非分離という条件だけから任意データの重みが有界、周期的とは結論できません。

Minsky と Papert が 1969 年に扱った単層の表現限界は、この種の問題を含みます。非線形な隠れ層は平面をより多くの領域に分けられ、逆伝播は多層の勾配計算を提供します。

画面の cycles forever は、追加のパス末尾状態検出が最初の反復を見つけた結果です。基本の訓練器には検出がなく、パス予算で止める場合もあります。

境界条件

• score=0。 ≤ によりラベルによらず更新します。境界上の中立領域はありません。
• w がゼロ。 通常の分離直線はなく、全スコアは b です。初期値と本例 XOR の該当状態は b も 0 なので全点が同点になり、境界を消して描きます。
• 同じ点の反復更新。 点 0、3 は各 2 回。後の修正が前の点へ影響します。
• 順序の影響。 分離可能な更新上限はこの固定順を要しませんが、違反例を継続して処理する必要があります。XOR はゼロ誤りパスに達せず、具体的な循環形は順序に依存します。

よくある間違い

• 収束を最良境界と読む。 分離を見つけるだけで最大マージンではありません。初期設定は負側に近い線で終わります。最大マージンは SVM などの仕事です。
• XOR を学習率のせいにする。 正の η は線形表現力を増やしません。ゼロ初期化からの固定正倍率は本例の分類軌跡も変えません。
• 非分離データへ上限を使う。 (R/γ)² は正マージンを要し、パスではなく更新を数えます。
• 同点規則を忘れる。 sign(score) ≠ y は sign(0) の定義に依存し、必ず y·score ≤ 0 と同じではありません。初期同点を無視しない規則にします。