1 Introduction

DDPM의 가장 큰 문제는 좋은 샘플을 만들기 위해 많은 반복적으로 샘플을 생성해야한다. GAN보다 느리다. 32x32 이미지를 만드는데 5만 장 이미지를 만들고 20시간이 걸린다. 저자는 DDIM을 제안한다. Markovian에서 non-Markovian으로 바꾸고 reverse를 적절하게 바꾼다.

2 Background

$q(x_0)$ 분포로부터sample이 주어지면, $p_θ(x_0)$ 학습하여 $q(x_0)$에 근사하고 sample를 가져오기 쉽다. DDPM은 잠재변수 모델 공식은 아래와 같다.

$θ$ 변수는 $q(x_0)$ ELBO 최대화에 맞춰가며 결국 분포에 맞도록 학습되어진다.

3 VARIATIONAL INFERENCE FOR NON-MARKOVIAN FORWARD PROCESSES

DDPM $L_r$는 $q(x_t|x_0)$에 의존한다. 하지만 $q(x_{1:T}|x_0)$에 바로 joint 하지 못한다. 많은 추론과정이 있어야하기에 이를 대체한다. 아래 Fig에 오른쪽과 같이 말이다.

3.1 NON-MARKOVIAN FORWARD PROCESSES

실수 벡터 σ로 인덱스된 추론 분포 $Q$를 고려하자

$q_σ(x_T |x_0) = N ( √ {α_T x_0},(1 − α_T )I)$ 그리고 $t>1$일때 아래와 같다.

평균 함수는 $q_σ(x_T |x_0) = N ( √ {α_T x_0},(1 − α_T )I)$를 보장하기 위해 선택된다. 그래서 주변과 동일한 joint inference distribution을 정의한다.

베이즈 규칙에 따라 forward process는 아래와 같다.