ロジスティック回帰
ロジスティック回帰は z=w·x+b を計算し、sigmoid σ(z)=1/(1+e^(−z)) で正クラスの確率 p∈(0,1) へ変換します。初期の判定規則は p≥0.5。学習では交差エントロピー、すなわち対数損失を最小化します。
境界の位置と確率の急峻さは別です。w,b を同時に二倍にすると境界を保ったまま両側の確率が 0 と 1 に近づきます。その確信の強まりがよいかを実際のラベルで採点するのが交差エントロピーです。
仕組み
線形スコア 1 や −3 は確率ではありません。Sigmoid は大きな正値を 1 付近、負値を 0 付近へ写し、z=0 は p=0.5 です。したがって p≥0.5 は z≥0 と同じで、境界は直線 w·x+b=0 のままです。
非零 w では、p は境界からの符号付き距離と ‖w‖ で決まります。同じ側の等距離点は同じ確率、鏡像の二点は p と 1−p。p∈[0.25,0.75] の不確実な帯の幅は 2 ln3/‖w‖ です。ノルムを大きくすると狭まります。
正例は −ln p、負例は −ln(1−p) を負担します。確信して正しければ小さく、確信して誤ると上限なく増えます。平均が NLL です。出力確率はモデルの推定であり、校正やデータの被覆を自動で保証しません。
ステップごとの例
十点は正負五つずつ。w=(1,1),b=0、問い合わせ x=(1,0)。正例 (−1,−2) を負例の三角形の内部に置き、全てを線形分離できない設定にします。
- 十点と問い合わせを表示し、クラスに加えて推定確率を示します。
z=1×1+1×0+0=1。p=σ(1)≈0.73。小図で sigmoid 上の位置を示します。p≥0.5で正クラス。73% は出力であり、信頼性には校正の検証が必要です。x₁+x₂=0を描きます。ここで p=0.5 です。- 確率で塗ります。帯は約
1.55幅。内部の正例はp(+)≈0.05で誤りの輪が付きます。 - 正例
(2,−1)はz=1,p≈0.73、損失約0.31。 - 内部の正例は約
3.05、前者の約十倍。表示確率は丸めていますが損失は丸め前から計算します。 - 十点平均は
NLL=0.374。その多くを内部の正例が占めます。 w,bを同時に二倍。z は全て二倍、ゼロ集合は不変、帯は約0.78に半減します。各点は固定された sigmoid の両端へ動きます。- 九点の損失は下がり、通常の正例は
0.31→0.13、問い合わせ確率は0.73→0.88。しかし内部の正例は3.05→6.00、平均は0.617に上がります。判定が同じでも損失は違います。 - 凸結合
(−1,−2)=¼(−3,1)+¼(1,−3)+½(−1,−3)が不可能性を示します。アフィンスコアも同じ組合せに従うため、三負例を負側に置いたまま内部の正例を正側には置けません。なお、正則化なしの有限最適解を一般に主張するには準分離と識別不能性も除く必要があり、厳密に分離できないという条件だけでは不十分です。
分離可能プリセットは内部の正例を (1,1) へ移します。NLL は 0.082→0.019、四倍では 0.002。全ての符号付きマージンが正なので、拡大は損失を下げ続けます。パラメータが無限大に近づく極限に下限があり、有限の最小点はありません。確率が 0/1 に寄り帯が細くなっても境界は動きません。
拡大で境界が動かない理由
正数 k で (w,b) を同時に拡大するとスコアは kz になり、符号とゼロ集合が保たれます。非零 b を固定して w だけ変える場合は別です。初期データの正解率は一倍と二倍を区別できませんが、交差エントロピーは誤る点への確信を区別します。
厳密に分離可能で正則化がなければ、損失は分離方向へのパラメータ拡大を報います。大きさへの正則化は適切な条件で有限解をもたらしますが、数値ソルバーの停止規則とは別です。学習の移動は勾配降下法の課で扱います。
遠い隅 (5,5) は学習点から離れていても約 p=1.00。Sigmoid が見るのは線形スコアで、近くの証拠の量ではありません。「未知」も自動では返しません。
境界ケース
(0,0)はz=0,p=0.50。正クラスになるのは≥の規約で、正例の証拠ではありません。w=(0,0)は全点でσ(b)。通常の方向を持つ境界を描けないため入力は拒否します。- 小さな
‖w‖では帯が画面を超えます。クリップは有効な状態です。 - 全符号付きマージンが正の任意の設定で分離可能の結末になります。プリセット名ではなくパラメータとデータの性質です。初期の矛盾するデータでは不可能です。
- 誤った側で境界から遠い一点が総損失を支配する場合があります。
よくある間違い
- 非線形 sigmoid なら境界も曲がると思う。0.5 の閾値は線形な z=0 です。
- p を豊富な近傍データの証明と読む。固定モデルではスコアだけで決まり、校正を保証しません。
- 正解率だけで学習する。多くの小さな変化や正の拡大で不変です。滑らかな損失が勾配を与えます。
- 飽和した sigmoid に MSE を使い、勾配を見落とす。MSE のスコア勾配には追加の
p(1−p)が入り、自信を持って誤る点で小さくなり得ます。交差エントロピーは異なる挙動です。ただし全分類で MSE が使用不能という意味ではありません。 - 分離可能データで正則化と停止規則を無視する。境界が改善しなくても重みは増え続け得ます。