计算机视觉可视化

视觉任务都从像素开始,输出含义却不同。边缘检测衡量局部亮度变化,图像分类器为输入裁剪打类别分数,对象检测还给出位置。区分这些输出,才能判断中间特征和对象预测各说明什么。

课程内容

课程输入与输出实验
边缘检测合成灰度网格 → Sobel 强度 → 阈值掩码反转对比度但保持强度,再测试噪声和弱边缘
池化与特征图独立特征图 → 各通道较小的汇总比较最大值与平均值,再把响应移过窗口边界
图像分类一处图像裁剪 → 真实分类器的 1,000 类分数分别改变裁剪大小和位置,观察首选标签何时改变
对象检测一张照片 → 类别、分数与边框记录改变评分和 IoU 阈值,区分重复框与漏检

建议学习顺序

先学边缘检测。对比平坦块和跨越亮度阶跃的块,即使两者都有亮像素,邻居关系也会产生不同响应。反转阶跃,区分带符号梯度与梯度幅值。噪声场景说明:局部变化不一定是对象边界。

若想把局部滤波器与特征图、池化连接起来,可学神经网络中的 CNN。滤波器编辑器允许改变卷积核的响应对象;Sobel 课则固定卷积核,以便单独研究极性和阈值。

池化与特征图展示空间压缩的代价。固定已计算的特征图,再从最大池化改成平均池化,或扩大窗口。一像素平移有时不会改变池化输出,但跨过窗口边界就会暴露这种容忍的限制。各滤波器的通道始终独立处理。

图像分类使用 SqueezeNet 对同一照片的推理记录。缩小裁剪和移动裁剪是两个独立对照。预测针对实际送入模型的像素,因此原照片不变,裁剪改变仍可能导致标签变化。

对象检测还需要定位,因为一张照片可能有同类的多个实例。真实的双猫示例产生重叠候选框。分别调整评分阈值和 NMS IoU 阈值:更严格的评分筛选可能漏掉一只猫,而更宽松的重叠阈值可能留下重复框。

与其他课程的关系

需要直接改输入并实时推理时,可使用 MNIST 手写数字分类器。要理解类别分数的归一化,可学习 Softmax 与交叉熵。

全部计算机视觉可视化课程

选择课程,检查输入,播放计算过程,再只改变一个控制项进行比较。