1 Introduction

이 논문은 VE/VPSDE 선형 diffusion을 data-adaptive trainable 비선형 diffusion으로 바꾼다. Implict Nonlinear Diffusion Models(INDM)을 도입하는데 forward SDE를 학습한다. INDM은 데이터 공간에 선형 잠재 diffusion으로 변환하여 data diffusion의 비선형 구축한다.

저자는 데이터와 잠재 공간 사이에 변환을 구현했다. Invertibility는 nonlinearity를 위해 필요하다.

• INDM은 빠르고 tractable하다.
• drift만 배우지 않고 forward SDE의 volatility 계수도 학습한다.
• MLE로 학습
• discretization smapling에 robust하다

2 Preliminary

diffusion model은 양방향 forwardm revers stochastic process로 구성되었다.

Forward and Reverse Diffusions

forward process data 변수는 $x_0$~$p_r$에 noise 변수를 넣어 process하고, reverse diffusion은 입력 변수를 재 생성하는 noise 변수를 denoise한다. forward SDE는 아래와 같고

reverse SDE는 아래와 같다.

Generative Diffusion

dift($f$)와 volatility($G$) term들은 이전에 주어졌다. diffusion model은 점수 모델 $s_θ(x_t, t)$를 이용해 data score $∇_{x_t}log p_t(x_t)$ 를 측정한다. data score에 score network를 넣으면 다른 diffusion process를 얻는데 generative SDE라 한다.

$x^θ_T ∼ π$의 사전 분포로 시작하고 SDE time 역전파를 해결한다.