機械学習評価の可視化

モデルが結果を計算できても、その結果が役立つかを評価する必要があります。このコース群は、訓練誤差、一回の分割のテスト正解率、クラスが偏った場合の正解率という、読み違えやすい三つの数を扱います。

容量を増やして訓練誤差が下がっても、汎化の改善は分かりません。小さいデータのホールドアウト評価は、選んだ行に左右されます。正例が少なければ、常に False を返しても高得点です。例えば正例が 0.3% なら正解率は 99.7% になります。モデルが改善していないのに、見栄えのよい指標が得られる場面を可視化します。

レッスンの内容

推奨する学習順序

過学習と検証から始め、訓練に使うデータと未使用データを分けます。次数が d 以下の多項式は、最高次係数をゼロにすれば d+1 以下の集合にも含まれます。より大きい集合での最小訓練誤差は悪化しませんが、どの次数で止めるべきかは分かりません。

本例では十個の係数で十点を通り、訓練誤差を 0.0000 にします。一方、未使用の点がある隙間で曲線が ±353 まで振れます。三つの比較では、標本を減らすと七次で問題が現れ、データを倍にすると同じ九次の負担が大きく減り、ノイズを除くとこの実験の U 字形が消えます。最後の結果はこのデータの性質であり、無ノイズなら常に過学習しないという一般則ではありません。

次に交差検証で分割を検証します。二十枚の写真を 1-NN と 80/20 ホールドアウトで評価すると、400 回のランダム分割で正解率の標準偏差は 0.2005、35% の分割で 1.00 です。本実験の全体評価は 80% です。固定の k 分割は各行をちょうど一度留保し、その行を見ていないモデルの結果を集約するため、一回だけの抽選とは異なります。

本例の k = 20 では、分割設定を変えても一個抜き法の結果は変わりません。失敗例は十匹の動物を写した二十枚の写真です。関連する写真が訓練とテストをまたぐとランダム分割は 1.000 を報告しますが、未知の動物への分類はコイン投げ程度です。k を増やしても漏洩は直らず、この例では悪化します。交差検証でもデータの由来に沿ったグループ分けが必要です。

最後は混同行列です。未使用データと各例のスコアがあっても、何を報告するかを選びます。スコアは順位を与え、閾値がそれを判断へ変えます。横軸はスコア、高さは正解ラベル、縦線は閾値で、行列の四セルは四領域に対応します。

同じ四十例に対し、閾値を「誰にも警報を出さない」から「全員に出す」へ動かします。正解率は最大 0.900 で、最後は何も出さない規則の 0.850 より低くなります。適合率は全体として下がり得ますが、新たに真の正例を含めると上がります。再現率は全員に警報するだけでも 1.000 に達します。三つの指標は別の問いに答えています。

各レッスンでは、要約した数が捨てた情報を補います。訓練誤差に未使用データの成績を加え、一回の分割に他の標本の評価を加え、正解率にクラス比率、誤りの種類、適合率、再現率を加えます。指標は、その条件と合わせて解釈します。

他のコースとの関係

ここではモデルを既存のものとして扱います。古典的機械学習はスコアの計算を説明します。ロジスティック回帰の sigmoid 出力は混同行列の閾値へ直接つながり、線形回帰を多項式へ拡張すると過学習の九つの次数になります。k 近傍法は交差検証で使うモデルで、訓練にほぼ時間をかけず評価手順に集中できます。学習ループでは、エポックごとに訓練と検証の曲線が離れる過程を見ます。

機械学習評価の可視化一覧

入力を変え、評価の過程を一段階ずつ追い、コードのハイライトと照らし合わせてください。