词嵌入
词嵌入用从语料学得的定长向量表示词。相似语境中的词往往方向相近，一些关系也可表现为重复的偏移。
king − man + woman = queen 不是词的代数恒等式。左侧产生新向量，再按余弦相似度检索候选。本课真实 Stanford GloVe 数据中，queen 以 0.8610 排第一。这是一个训练空间的统计规律，不是词典规则，更不是关于人的社会事实。
把 man → king 的箭头画在透明纸上，再把起点移到 woman，箭头终点靠近 queen。减法保留位移，随后把它加到新起点。
偏移与余弦
本课 GloVe 每词有 50 维 v(w)，单维没有预定的“王室”或“国家”标签，信息分布在坐标间。给定 a → b 和新锚点 c：
q = normalize(v(b) − v(a) + v(c))
cos(q,v(w)) = q · v(w) / (||q|| ||v(w)||)
余弦比较方向而非原长度，近一表示方向接近。排名排除三个输入词，避免等式本身的词占据答案；排除是评估协议，不属于向量运算本身。
二维散点是 PCA 投影，用来理解箭头移动；排名板用原 50 维计算。屏幕上近不一定 50 维近，投影也可能把真实近邻分开。
逐步演示
默认 { relation: "royalty", anchor: "woman" }，使用 GloVe 6B 50d。
- 锚点基线：未加关系时，woman 最近五词是
girl 0.9065、man 0.8860、mother 0.8764、her 0.8613、boy 0.8596。 - 选关系：
man → king，屏幕箭头只是 50 维变化的二维示意。 - 减原起点：
v(king) − v(man)得偏移。 - 对齐：把箭头起点移到 woman，不旋转、不改变长度。
- 平移：加
v(woman)后归一化。结果是查询向量，不是词表里某个词。平面画的是归一化后的向量，所以查询点落在复制箭头的箭尖附近，而不是正好落在箭尖上。 - 评分：对经过校验的浏览器候选集逐词计算 50 维余弦。
- 排名：排除 king、man、woman，得到
queen 0.8610、daughter 0.7685、prince 0.7641、throne 0.7635、princess 0.7513。 - 比较：第一近邻从 girl 变 queen。锚点和余弦规则不变，girl 也不在被排除的输入词里，所以改变第一名的就是加入的偏移。
再做删除减法的对照：king + woman 第一名变为 father 0.8827。−man 不是装饰，它从表达式中去掉原起点，形成可移植的关系位移。
其他预设与偏差
首都实验固定 paris − france，只换锚点：
| 查询 | 第一名 | 余弦 |
|---|---|---|
paris − france + italy | rome | 0.8379 |
paris − france + germany | berlin | 0.9181 |
paris − france + japan | tokyo | 0.9190 |
一个偏移在三个国家上复用，比单个著名例子多一组证据，仍不保证所有国家或嵌入模型都成立。
“Bias audit”计算 doctor − man + woman，同样合法的运算却把 nurse 0.8424 排第一，随后 child、pregnant、mother、patient。它揭示语料中的刻板关联，不能据此定义女性职业或人的能力。
高余弦只表示这个训练空间里的向量对齐，不表示公平、规范或世界应如此。偏差可能影响搜索、聚类、检索和后续决策，应检查结果含义，而非只欣赏算式。
关系从哪里来
GloVe 从共现统计学习。若两对词在许多语境中的差异相似，训练可能让它们的差向量方向相似。国家与首都、亲属和性别词有重复结构，减法揭示这些变化。
目标没有命名关系，也没有强制符号一致性，不存 capitalOf 函数。偏移是分散在 50 维的统计趋势；罕词、多义混合、语料关系不一致都会让它变差。
边界情况
- 多义共用一向量：静态 GloVe 的 bank 不随河流或贷款语境变化，各含义混合。上下文模型可按句子产生不同 token 表示。
- 不合理关系也有第一名：
doctor − man + japan仍能排序；第一项不自动构成类比。 - 输入词占榜：排除规则需公开，不能把协议选择伪装为数学必然。
- 投影失真：PCA 尽量保留两轴能装下的方差，不保所有局部邻居，排名以 50 维为准。
- 同分：按源词表顺序破并列，保持回放、题目和测试一致。
- 词表外：本课封闭集合没有向量。子词与上下文方法可构造许多静态词表未见词的表示，但不是这里的机制。
常见错误
- 把向量查询写成词之间的精确等式。
- 在二维图上算最终距离或排名。
- 看余弦分数却按原始欧氏长度解释；向量长不意味着匹配更好。
- 跳过 woman→girl 基线，无法确认偏移改了什么。
- 把类比成功称为逻辑推理；这里是共现几何规律。
- 把偏差当可忽略的附注，忽略它对应用的影响。
数据与范围
来源为 Stanford GloVe 6B 50d：Wikipedia 2014 与 Gigaword 5、约 60 亿 token、40 万词、不区分大小写的静态词级词表。
浏览器不带全部向量。离线导出器对全部支持的基线、类比、反事实查询跑完整词表，保留各查询前 64，再加背景地标并取并集，本构建共 824 词，压缩生成载荷约 146 KiB。运行时重新算真实 50 维排名，测试确认各支持查询前五与完整源排名一致；这项保证不涵盖任意新查询。
二维 PCA 基于这个子集，标为几何直觉；题目、状态、排名与文档数值来自 50 维轨迹。现代模型多用子词与上下文向量，维数各异，本课选择小型静态模型便于检查运算。