自然语言处理可视化
语言模型把文本变成词元，将离散符号映射为向量，再用上下文改变表示，最后得到下一个词元的概率分布。本组逐个展示这些机制，证据包括真实词元 ID、GloVe 向量和 GPT-2 的下一词元计算轨迹。
模型处理的是词元 ID，而非人阅读时的整段含义。N-gram 按近期的精确词元序列计数，预测后续词元；神经语言模型把 ID 转成向量，反复混合上下文，最后为词表中每个候选打分。N-gram 提供可逐项核对的基线，后续课程展示学习到的表示如何取代精确匹配。
从文本到语言模型
- 切分词元：词元可能对应词、子词或更小片段。应用已有词表与训练分词器是两个过程。
- 统计基线：N-gram 记住最近
n - 1个词元，统计相同历史的后续内容。历史更具体，也更容易没有匹配。 - 建立几何表示：嵌入把符号映射为向量，使余弦检索和类比偏移成为可能，也会携带语料偏见。
- 混合上下文：注意力用查询与键的匹配决定从其他位置读取多少信息。
- 加入位置信息：正弦位置向量加入嵌入，让同样的词元在不同位置拥有不同输入。
- 组合架构：Transformer 叠加注意力和前馈层，用学习到的参数处理上下文。
- 预测后续词元：最终隐藏向量得到词表概率，解码器选一个词元，追加后继续循环。
课程内容
| 课程 | 观察内容 |
|---|---|
| 分词 | 句子如何拆成模型实际接收的词元 |
| BPE 训练 | 反复合并最常见相邻符号对，构建词表 |
| N-gram 语言模型 | 历史匹配、后续计数、平滑概率与稀疏性失败 |
| 词嵌入 | 用真实 50 维数据，把 woman → girl 的偏移应用于 queen，再检查偏见失败 |
| 注意力 | 各词元如何按权重读取其他词元 |
| 位置编码 | 正弦／余弦对把位置变成向量，再对比开关编码的效果 |
| Transformer | 注意力、前馈层与残差连接组成 GPT 所用架构的基础 |
| 下一词元预测 | GPT-2 把一个隐藏向量变成 50,257 个概率，再把选择反馈给模型 |
| 解码策略 | 对同一 GPT-2 logits 比较 Greedy、Top-k、Top-p，调节温度和截断条件 |
建议学习顺序
先学分词，观察句子切分的位置，理解模型只能接收词表中的符号。再学 BPE 训练：本例从单字符开始，反复合并最常见的相邻符号对，常见组合逐渐成为一个词元，罕见组合保留为片段。分词应用词表，BPE 训练构建词表。
引入向量前，先学 N-gram 语言模型。五句话的语料可以逐项检查：选择历史长度、统计精确匹配、归一化，再看一个词的变化如何让证据消失。缩短历史能恢复匹配，但会损失具体上下文。
接着学词嵌入。GloVe 的真实 50 维数据展示余弦相似度和向量偏移；偏见实验说明几何规律不是事实保证。静态嵌入给每个词一个向量，注意力让表示随上下文变化，例如 bank 从 river 或 savings 读取不同信息。
在 Transformer 之前学习位置编码。重复词元的对照中，相同嵌入相减抵消，剩下的差异只来自位置向量。再进入 Transformer，观察注意力、前馈层和残差连接的组合。下一词元预测把末尾向量投影为词表分数，经 softmax 得到概率，再选择一个词元反馈给模型，完成从文本到文本的循环。
最后学解码策略。固定前缀和随机抽样值，再比较 Greedy、Top-k、Top-p。温度改变概率分布，保留候选集合则决定哪些词元有机会被选中。
全部自然语言处理可视化课程
选择课程，改变输入，逐步检查对应机制。