Elucidating the Design Space of Diffusion-Based Generative Models

1. Introduction

기존 diffusion 모델들은 이론적임. 그러나 이러한 접근은 danger of obscuring the available design space(design space가 가려질 위험이 있다.

<aside> 💡 obscuring은 가려지다는 의미이다.

</aside>

저자는 tangible object에(명백한 object) 집중한다. 목표는 2가지다.

1. how these componets are linked together.
2. what degrees of freedom are available in the design of the overall system(전체 시스템 설계에 사용할 수 있는 자유도가 뭔지)

즉 전반적으로 쓰일 수 있는 걸 찾는다.

다른 기여는 diffusion model에 샘플링 속도를 빠르게 한다. 샘플링을 위해 higher-oredr Runge-Kutta(고차 룽게-쿠타) 방법을 사용, 다른 sampler schedulers, sampling process 분석.

3번째 기여는 network score modeling의 학습에 집중했다.

2 Expressing diffusion models in a common framework

standard 분산 σ의 Gaussian noise i.i.d를 추가하여 얻은 p(x;σ) 완화 분포를 고려하자. 오랜 시간 동안 SDE가 가장 많이 쓰였다. 저자는 다른 논문들과 달리 ODE를 실험하는데 sampling trajectories나 discretunation을 분석 결과 좋은 성과가 나왔다.

ODE formulatiom : ODE는 시간에 따라 noise 정도가 줄거나 심해지는 연속적인 분포다. schedule σ(t)는 노이즈 level이 시간에 따라 다르단 걸 정의한다. 예시로 σ(t) ∝√t 수학적 그대로, 이는 heat diffusion과 상응한다. 그러나, 저자는 이 schedule 선택은 함축적이고 기초적인 이론으로 만들어지지 않았다.

ODE sample $x_a$~$p(x_a;σ(t_a))$는 evolving시켜 $x_b$~$p(x_b;σ(t_a))$된다.

그리고 아래 공식을 만족한다.

$dx = −σ˙(t) σ(t) ∇_x logp(x; σ(t)) dt$ ,

직관적으로, ODE의 극소한 foward step이 데이터로부터 샘플을 멀리 떨어지게 한다. backward도 동일하다.

Denoising Score matching : score 함수는 일반적으로 다루기 힘든 $p(x;σ)$ 밀도 함수 기반으로 normalization const에 의존하지 않고 평가하기 더욱 쉽다. 특히, $D(x;σ)$는 모든 σ에 개별적 $Pdata$으로부터 sample들을 가져오기위해 $L_2$ denoising error 함수를 사용해 최소화한다.