AI

向量与点积

向量、权重与点积——每个模型都建立在这个加权和之上。

矩阵乘法

每个格子都是一次行 · 列点积——为什么形状必须对齐，以及 AB ≠ BA。

线性分类器

每个类别一个点积打分器:得分、argmax,以及切开平面的那些直边界。

线性回归

通过最小化平方误差为数据拟合一条直线——最简单的学习算法。

逻辑回归

用 sigmoid 把得分压成概率,再做分类。

k 近邻

按最近的有标签点多数投票来分类——无需训练。

决策树

每次按一个特征切分数据,选择能降低不纯度的切分。

支持向量机

在类别之间margin最宽的边界,由其支持向量决定。

K-Means 聚类

通过交替进行分配与centroid更新,把点分成 k 个簇。

主成分分析

把数据投影到方差最大的方向上以降维。

朴素贝叶斯

把每个特征的概率相乘来分类——朴素、快速、却出奇地强。

过拟合与验证

逐步提高多项式阶数，看训练误差与测试误差分裂成 U 形曲线。

交叉验证

轮换 k 折留出数据，让每个样本都以「未见过」的身份被评分。

混淆矩阵

精确率、召回率，以及准确率在类别不均衡数据上为何会骗人。

感知机

单层神经网络基础

前向传播

神经网络如何把像素变成预测

损失函数

预测错得有多离谱——梯度下降沿之而下的曲面。

Softmax 与 Cross-Entropy

把 logits 变成概率,再对照正确类别打分。

梯度下降

沿损失曲面逐步下降

反向传播

梯度下降与权重更新

MNIST 数字分类器

手写数字或加载真实 MNIST 样本，实时看训练好的 MLP 如何分类

卷积神经网络

卷积、池化、特征图

训练循环

在浏览器里实时训练一个小网络——亲眼看边界学会、震荡、欠拟合与过拟合。

RNN / LSTM

序列模型与隐状态

梯度消失

看链式法则的乘积穿过 sigmoid 后逐层消失,再对照活跃 ReLU 如何衰减、保持或爆炸。

Dropout

训练时随机遮住隐藏单元，直观看清正则化的取舍。

批归一化

逐通道标准化隐藏激活，并隔离观察统计分组大小如何改变深层训练。

优化器——SGD、动量、Adam

让三种更新规则在同一个损失面上赛跑。

分词

文本预处理与编码

BPE 训练

从语料中学习子词合并规则

N-gram 语言模型

靠数数预测下一个词——神经网络之前的语言模型。

词向量

在真实 GloVe 的 50 维空间里平移一种关系，再审视语料还编码了什么

注意力机制

自注意力与 Transformer

位置编码

给重复出现的 token 加上正弦／余弦位置向量，对比开启和关闭编码时的输入。

Transformer 块

逐层把注意力和前馈网络的输出加回残差流

下一个 token 预测

从 logits 到下一个 token——每个语言模型背后的目标。

解码策略

用真实 GPT-2 分数比较 Greedy、Top-k 和 Top-p，调节温度，观察候选范围和选择如何变化。

Agent 循环

每个智能体都是一个 while 循环:调用模型、运行它要的工具、把结果送回、重复直到它停下。循环永不变——其余一切都是 harness。

工具调用

模型从不执行任何东西——它返回 JSON 然后停下;你的代码运行函数并把结果送回。一次工具调用,两次往返。

权限治理

任何工具运行前都要过一道规则门:allow 直接跑、deny 直接挡、ask 升级给你。先立边界,再给自由。

钩子

把检查挂在工具执行前或执行后。切换事件和匹配条件，观察受保护的写入是被拦截、事后报告，还是漏过检查。

ReAct 循环

思考 → 行动 → 观察——查证世界为何胜过只靠推理,写下的思考又比只行动多了可审计的过程。

先计划后执行

先写清计划和完成条件，再跟随一次检查失败，修复并重新验证。对比清单上的完成状态与工具的实际结果。

子智能体

把大任务交给一个上下文干净的子智能体:它隔离工作,只把结论冒泡回来,噪音绝不泄漏进主对话。

上下文与记忆

智能体为何在接近上限时压缩上下文——摘要留下什么、丢掉什么,以及记忆文件把什么带进下一次会话。

System Prompt 组装

从运行时来源组装系统提示词、工具定义与上下文，比较列出的技能和已加载的指令，以及记忆文件和实际发送的内容。

错误恢复

调用失败不是终点——而是重试链的起点:重试、压缩腾地方、升级 token 预算、降级换另一个模型。

RAG:检索增强生成

LLM 如何回答它从未训练过的文档——嵌入、按余弦排序、top-k 进入 prompt——以及为什么答案在生成之前就已决定。

任务系统

大目标拆成小任务的依赖图,持久化到磁盘:每个节点等待阻塞它的前置,完成一个就解锁下一个。

后台任务

慢活丢到后台,智能体继续思考——一条长命令在旁边跑,完成通知在下一个轮次边界送达。

智能体团队

队友各自保留独立上下文。跟随契约更新穿过邮箱，再检查 API 与界面产物是否兼容。

MCP 插件

发现外部工具，注册服务器路由，再跟随一次 MCP 调用。对比工具不可用与查找失败的区别。

边缘检测

逐步计算 Sobel 响应，观察明暗反转、阈值和噪点的影响。

池化与特征图

比较最大池化与平均池化，再移动响应位置，观察跨越窗口边界后输出如何变化。

图像分类

一个裁剪变成 1000 个分数和一个标签，再看裁剪策略为何重要

目标检测

用真实检测框理解置信度阈值、IoU 与非极大值抑制

自编码器

对照瓶颈宽度、像素重建，以及陌生输入上的失败。

扩散模型

对照逐步去噪与一步估计的生成结果

GAN

观察对抗训练，对照生成样本的多样性

Q-Learning

观察延迟奖励如何通过 Q 表更新改变先前的选择。

策略梯度

观察 REINFORCE 如何用回报调整动作概率