拡散モデル

拡散モデルは異なるノイズ水準での除去を学び、その知識でランダムノイズから新しい標本を生成します。一回の推定は複数のありうる起源を平均し、データ群の間に落ちる場合があります。本課では一回の推定が空の中心付近に集まり、反復すると八群の近くに標本が生まれます。

湖の周りに八つの町があるとします。曖昧な位置報告はどの町も指しえますが、平均位置は湖の中かもしれません。妥当な推定でも配達先には不適切です。推定と標本は別のものです。

データと解析的デノイザ

二次元点を八つのガウス群から取ります。中心は半径 2 の円上、各座標の標準偏差は 0.12。一点が完全な一標本で、画像なら長い画素・潜在ベクトルに相当します。

分布が既知なので理想的なノイズ予測を直接計算し、ニューラルネットワークは学習しません。訓練誤差を除き、条件付き平均の性質とサンプラの使い方を調べます。

既知の目標を持つ加ノイズ

きれいな x₀ と標準ガウス ε を使います。

xₜ = √a(t) · x₀ + √(1 − a(t)) · ε

a(t) は累積信号分散です。係数の二乗の和が 1 であり、通常の和や点数の割合ではありません。t = 0 はきれいな点、t = 1 は a = 0.0001、信号係数 0.01 で標準ガウスに近づきます。

ε を自分で引くため、ε̂(xₜ,t) を既知ノイズとの期待二乗差で学習できます。ノイズ水準も入力です。DDPM 論文を参照してください。本課は正確な E[ε | xₜ,t]、観測と両立するノイズの条件付き平均を使います。複数のきれいな起源が似た観測を作るため、最適予測でもその回の実ノイズと一致するとは限りません。

推定し、移動し、再推定する

生成は独立な新ノイズ x₁ ~ Normal(0,I) から始まり、復元すべき元の点はありません。

x̂₀ = (xₜ − √(1 − a(t)) · ε̂) / √a(t)

高ノイズでは遠い群の起源を平均し、空の中心へ落ちえます。八本の棒は今見ている一点が各群を起源とする条件付き確率です。似た高さは曖昧さを示します。推定は群内・群間の可能性を平均し、48 生成点の平均でも固定の行き先指定でもありません。

決定的 DDIM は低いノイズ水準 s へ移します。

xₛ = √a(s) · x̂₀ + √(1 − a(s)) · ε̂

新しい (xₛ,s) で再評価し、s = 0 まで繰り返します。最後はノイズ係数がゼロなので最新のクリーン推定が出力です。これは η = 0 の DDIM で、初期化後に新たな乱数を加えず、確率的 DDPM とは異なります。DDIM 論文も参照してください。

空洞マーカーがクリーン推定、プラスが次の標本、橙点がそこへ動く現在標本です。初期には推定と次標本が遠くても、実際の移動は小さい場合があります。

ステップ実行

既定は シード 42、32 サンプリングステップ、48 標本。順方向は別の固定乱数列を使い、生成シード変更で学習例は変わりません。

最初に t = 0.25、0.5、0.75、1 の加ノイズを見ます。正しい周辺分布からの例ですが、比較のため同じ ε を再利用しており、確率的 DDPM のマルコフ軌跡そのものではありません。

小窓は t = 0.5 の記録です。きれいな点 (-1.835,0.278)、ノイズ (0.185,-2.110)、観測 (-1.174,-1.287)、正確な条件付きノイズ予測 (-0.437,-0.488)。この対の二乗誤差は 3.018。最適な条件付き平均でも一例の誤差は正になり、隠れノイズが常に一意に分かるわけではありません。

新ノイズから標本 0 を追います。

最初の推定は中心付近で、次標本はまだノイズを含みます。二回目は新しい位置と水準で再予測します。各段が最近傍の群中心へ近づく必要はありません。距離を最小化する勾配降下ではなくサンプリングです。

評価 1 で八群の起源確率は各約 12–13%。そこへ一度停止してから一段出力を見せます。評価 25、t = 0.25 では左下斜めの群 6 が約 99.8% です。入力とノイズ水準が変わったのであり、再訓練ではありません。別シードは別群を選びえます。

評価 3–32 は同じ計算で、二回の起源表示は既存予測を説明するだけです。標本 0 は (-1.523356,-1.695873) で終了。48 中 43 がいずれかの中心から 0.24 以内で、八近傍すべてに点があります。五点が外でも、ガウス群は裾を持ち硬い境界ではありません。

一段比較は同じ初期ノイズと同じデノイザで、最初のクリーン推定を即座に返します。近傍内は 0/48 で、群間の中心へ集まります。モデルではなくサンプリング軌跡の違いです。

サンプリング予算と診断

ステップ数は固定日程上の評価回数で、訓練時間ではありません。シード 42 では 4 段が 33/48、32 段が 43/48。固定シードで「1 ステップのみ → 粗いステップで生成 → 段階的にノイズ除去」を比べ、次に「別のノイズで生成」で初期値を変えます。予算の比較ではモデルと初期ノイズを固定します。

近さだけでは生成品質を測れません。同シードの 8 段は 45、64 段は 42 ですが、8 段が良い分布の証明ではありません。全点を一中心へ潰しても近さは満点で、七群と群内変動を失います。占有数も第二の診断ですが、どちらも単独で分布の一致を検証しません。

32 段でシード 21 は近傍内 45、八群占有、137 は同じ 45 でも七群です。小バッチは揺らぎます。反復がこの実験で群を分けるという主張で、全シードが全群を埋める保証ではありません。

解析混合分布の M 点、N 段、K 成分は時間 O(NMK)。作業空間は O(MK)、逐点ならさらに減らせます。表示は巻き戻し用に O(NM) スナップショットも保持します。画像モデルの費用はネットワークとテンソルに依存し、この式はそのまま使えません。

境界ケース

• 一段：主実行と比較は同一で、初期クリーン推定を返し、UI も一致を示します。
• 厳密な中心：対称性で全水準のクリーン推定がゼロ、決定的サンプラもゼロを保ちます。連続ガウスで厳密に引く確率はゼロですが、平均が必ず妥当な標本でないことを示します。
• 有限の終端ノイズ：a(1) は小さくても非ゼロで、標準ガウス起点は終端順分布の近似です。
• 同シードと段数：再生、速度変更、巻き戻しは決定的です。非ゼロ η の DDIM や確率的 DDPM は別の乱数規則です。
• 操作範囲：1–64 段、シード 1–9999 は表示の制限で、拡散モデルの制限ではありません。

よくある間違い

• 保存した加ノイズ映像の逆再生と思う。生成は元のきれいな点も実ノイズも受けません。
• 日程係数を落として x − ε̂ だけにする。次水準でクリーン推定とノイズ成分を組み合わせます。
• 中間クリーン推定を現在標本と同じに読む。終点までは通常ノイズが残ります。
• 条件付き平均が各例の実ノイズに一致すると期待する。二乗誤差の最適値は条件平均です。
• 一段生成は不可能と一般化する。この失敗は本例の高ノイズ条件平均とサンプラについてで、一段用に学習したモデルは対象外です。

モデルの範囲

既知の二次元ガウス混合、解析的な理想デノイザ、決定的 DDIM で、ネットワーク訓練も画像生成もしません。実画像・潜在モデルは学習ネットワーク、訓練、条件、ガイダンス、場合によってオートエンコーダを使い、サンプラも異なります。学習ループが最適化を扱い、本課は推定を標本生成に使う方法を切り分けます。