Score matching with Langevin dynamics(SMLD)는 각 노이즈 크기에 점수를 측정했다. 그리고 랑주뱅을 이용해 노이즈 크기를 줄여가며 샘플을 만들었다. Denoising diffusion probabilistic modeling(DDPM)은 학습을 가능하게 하기위해 reverse 분포의 함수 knowledge를 사용했고 noise corruption 각 step을 역으로 한 probabilistic model을 학습한다.
저자는 이 2 모델을 score-based generative로 일컫는다. 이런 접근 방식을 일반화하고 기능을 확장시키기 위한 SDE 접근법을 제안한다.
pertubing data 대신에 저자는 유한한 noise distribution의 diffusion process에 따라 시간이 지나면 진화하는 연속 분포를 고려했다. forward diffuse는 데이터 포인트에서 랜덤 노이즈로 duffuse하고 SDE는 학습가능한 변수와 데이터에 의존하지 않는다. reversing은 sample generation을 위해 random noise를 자연스럽게 없앤다. 결정적을로 이 과정은 reverse-time SDE를 만족한다. 저자는 score 측정하는 neural network 학습으로 reverse-time SDE를 근접한다. 그리고 SDE solvers로 sample를 생성한다. Fig1에 잘 나와 있다.
Flexible sampling and likelihood computation: 2개의 특별한 방법이 있다.
Controllable generation: 학습동안 conditoning 정보를 접할 수 없게 generation process를 조정했다. 왜냐하면 conditional reverse-time는 SDE unconditional score를 측정하는데 효과적이기 때문이다.
Unified framework: score-based generative model 향상을 위해 다양한 SDE를 조정하고 연구했다. SMLD와 DDPM 방법들은 합쳤다.
저자는 무한한 noise scales로 생성하는 걸 제안한다. SDE 노이즈를 심화함에 따라 perturbed data distribution은 진화한다. 전반적인 framework fig 2에 주어진다.
<aside> 💡 ODE는 매끄럽게 움직인다. SDE는 굉장히 많이 움직인다.
</aside>
저자의 목표는 샘플 생성 효과적이고 다루기 쉬운 form을 만드는 거다. 즉, $p_0$는 데이터 분포이고 $p_T$는 사전 분포이다. 이 diffusion process는 Ito SDE로 해결했다.