Denoising Diffusion Probabilistic Models

1 Introduction

이 모델은 DDPM을 제안한다. DDPM은 시간에 맞춘 샘플을 생성하기 위해 변이추론을 사용해서 학습된 parameterized Markov chain이다. 시간에 맞는 데이터에 맞는 샘플 생성하기 위해 변이 추론에 사용하고 학습되어진다. 이 chain의 변화는 reverse a diffusion process를 학습한다.

2 Background

Diffusion model들은 $p_θ(x_0) :=\int p_θ(x_{0:T} ) dx_{1:T}$ 의 잠재변수 모델이다. $x_1,..x_T$는 $x_0$~$q(x_0)$에서 똑같은 차원이다. joint distribtuion(결합확률분포) $p_θ(x_{0:T})$는 reverse process, 그리고 $p(x_T)=N(x_t;0,I)$에서 시작하고 학습되어진 가우시안 전환이 있는 마르코프 체인을 정의한다.

기존 다른 잠재 변수 모델과 다른점은 forward process 또는 diffuce process가 고정된 마르코프 체인으로 점차 변수 $B_1,..,B_T$ 노이즈를 추가한다.

학습은 negative log likelihood에 보통 variational bound으로 최적화 의해 학습된다.

forwrard process 변수 $B_t$는 reparameterization 또는 hyperparameter로 고정된 상수가 된다, reverse process의 표현은 가우시간 조건($p_θ(x_{t-1}|x_t)$ㄴ) 선택 의해 보장된다. 왜냐하면 두 과정은 $B_t$가 작을 때 똑같은 기능을 가지기 때문이다.

위처럼 표현한다.

효율적인 저자는

위 공식은 forward 사후 과정을 위해 KLD를 $p_θ(x_{t−1}|x_t)$ 비교한다.