単語埋め込み

単語埋め込みは、コーパスから学んだ固定長ベクトルで語を表します。似た文脈の語は方向が近く、一部の関係は繰り返す差分として現れます。

king − man + woman = queen は語の代数恒等式ではありません。左辺は新ベクトルで、余弦類似度で候補を検索します。本課の Stanford GloVe では queen が 0.8610 で首位です。一つの学習空間の統計規則で、辞書の規則でも人についての社会的事実でもありません。

man → king の矢印を透明紙に描き、始点を woman へ移すと終点が queen 付近です。引き算で移動量を残し、新しい起点へ加えます。

差分と余弦

GloVe の各 v(w) は 50 次元です。一成分に「王族」「国家」という事前の名前はなく、情報は座標へ分散します。a → b と新アンカー c に対し：

q = normalize(v(b) − v(a) + v(c))

cos(q,v(w)) = q · v(w) / (||q|| ||v(w)||)

余弦は生の長さより方向を比べ、1 付近なら近い向きです。三入力語は最終順位から除きます。式に含む語が上位を占めるのを避ける評価規約で、算術自体の一部ではありません。

散布図は PCA の二次元投影で矢印の理解用、順位は元の 50 次元です。画面上の近さと高次元の近さは一致しない場合があります。

ステップ実行

既定は { relation: "royalty", anchor: "woman" }、GloVe 6B 50d です。

1. 基準：関係を足す前の woman の近傍は girl 0.9065、man 0.8860、mother 0.8764、her 0.8613、boy 0.8596。
2. 関係：man → king を選び、図は 50 次元差の二次元表現です。
3. 元の始点を引く：v(king) − v(man) を求めます。
4. 合わせる：回転や長さを変えず、始点を woman へ動かします。
5. 平行移動：v(woman) を足して正規化します。結果は格納語でなく検索ベクトルです。平面は正規化したベクトルを描くので、クエリは写した矢印の先端ちょうどではなく、その近くに落ちます。
6. 評価：検証済みブラウザ候補の全語へ 50 次元余弦を計算します。
7. 順位：king、man、woman を除くと queen 0.8610、daughter 0.7685、prince 0.7641、throne 0.7635、princess 0.7513。
8. 比較：第一近傍が girl から queen へ変わりました。アンカーと余弦規則は同じで、girl は除外した入力語でもないので、1 位を変えたのは差分の加算です。

引き算を除く対照 king + woman では father 0.8827 が首位です。−man が元の位置を式から除き、関係の移動量を作ります。

他の例と偏り

首都の例は paris − france を固定しアンカーだけ変えます。

同じ差分を三国に転用した証拠で、一例だけより強い比較ですが、全国家や全埋め込みでの成立は保証しません。

「Bias audit」は doctor − man + woman で、同じ妥当な算術から nurse 0.8424、続いて child、pregnant、mother、patient を返します。これはコーパスの固定観念的な関連を示し、女性の職業や能力を定義するものではありません。

高余弦は学習空間の整列で、公平さ、規範、世界がそうあるべきことを意味しません。偏りは検索、クラスタリング、取得、後段判断へ影響し、式だけでなく出力の意味を監査します。

関係が生まれる理由

GloVe は共起統計から学びます。多くの文脈で二組の語の差が似ると、差ベクトルも近い方向になる場合があります。国・首都、親族・性別語には反復する構造があり、引き算がそれを表します。

目標は関係に名前を付けず、記号的一貫性も強制せず、capitalOf 関数を保存しません。50 次元に分散する統計傾向です。稀語、多義、コーパスで不一致な関係では雑音が増えます。

境界ケース

• 多義語：静的 GloVe の bank は川と融資でも同じ一ベクトルです。文脈モデルは周囲から token ごとの表現を作れます。
• 無意味な式にも第一位：doctor − man + japan でもソートは首位を返しますが、類推の妥当性は保証しません。
• 入力語が上位：除外は公開すべき規約で、数学的必然ではありません。
• 投影：PCA は二軸に保てる分散を優先し全近傍は保ちません。50 次元順位を読みます。
• 同点：元語彙順で決め、再生・問題・テストを一致させます。
• 語彙外：本課の閉集合にはベクトルがありません。部分語・文脈方式は多くの未知語表現を作れますが別の機構です。

よくある間違い

• ベクトル検索を語の厳密な等式と呼ぶ。
• 二次元で最終距離や順位を計算する。
• 余弦を生のユークリッド長で解釈する。長さは適合度ではありません。
• woman→girl の基準を省き、操作の差を見失う。
• 類推の成功を論理推論と呼ぶ。共起の幾何規則です。
• 偏りを付記で済ませ、用途への影響を無視する。

データと範囲

Stanford GloVe 6B 50d は Wikipedia 2014 と Gigaword 5、約 60 億 token、大小文字を区別しない 40 万語の静的語レベルデータです。

ブラウザは全量を持ちません。オフラインで全対応基準・類推・反実仮想を全語彙に検索し、各上位 64 と背景語を合併して、この構築は 824 語、圧縮約 146 KiB です。実行時は実 50 次元で再計算し、全対応クエリの上位 5 が全語彙順位と一致することをテストします。任意の新クエリまで保証しません。

二次元 PCA はその部分集合の幾何直観で、問題、状態、順位、本文数値は 50 次元からです。現代モデルは多くの場合、部分語と文脈ベクトルを使い次元も多様です。本課は計算を検査しやすい小型静的モデルを選んでいます。