コンピュータービジョンの可視化

画素から始まっても、出力の意味は課題ごとに異なります。エッジ検出は局所的な明るさの変化を測り、画像分類器は入力した切り抜きへクラススコアを付け、物体検出は位置も返します。中間特徴と物体の予測を区別して読みます。

レッスンの内容

レッスン	入力と出力	実験
エッジ検出	合成グレースケール格子 → Sobel 強度 → 閾値マスク	強度を保ってコントラストを反転し、ノイズと弱いエッジを試す
プーリングと特徴マップ	別々の特徴マップ → チャネルごとの小さな要約	最大と平均を比べ、応答を窓の境界へ移す
画像分類	一つの切り抜き → 実分類器の 1,000 クラスのスコア	大きさと位置を別々に変え、首位ラベルを調べる
物体検出	一枚の写真 → クラス、スコア、矩形の記録	スコアと IoU の閾値で、重複矩形と見逃しを区別する

エッジ検出から始めます。平坦なパッチと明るさの段差をまたぐパッチは、どちらに明るい画素があっても、近傍の関係で応答が異なります。段差を反転し、符号付き勾配と大きさを分けます。ノイズ例は、局所変化が必ず物体境界になるわけではないと示します。

局所フィルターを特徴マップやプーリングへつなぐには、CNNを学びます。フィルター編集ではカーネルの反応を変えられます。Sobel のレッスンはカーネルを固定して、極性と閾値を分離します。

プーリングと特徴マップは空間圧縮の代償を扱います。計算済みのマップを固定し、最大から平均へ変えたり、窓を広げたりします。一画素の移動が出力に現れないこともありますが、窓の境界を越えるとその許容の限界が見えます。各フィルターのチャネルは最後まで別々です。

画像分類は、一枚の写真に対する SqueezeNet の推論記録を使います。切り抜きの縮小と移動は別の比較です。予測は実際に渡した画素に属するため、元写真が同じでも切り抜きで答えが変わります。

物体検出では、同じクラスの複数個体を位置で区別します。実際の二匹の猫の例は、重なる候補を生成します。スコア閾値と NMS の IoU 閾値を独立して変えます。厳しいスコア選別は猫を見逃し、重なりを許しすぎる閾値は重複を残すことがあります。

直接入力を変えてライブ推論するには、MNIST 数字分類器を使います。クラススコアの正規化は Softmax と交差エントロピーで学べます。

入力を調べ、計算を再生し、一つの設定だけを変えて比較してください。