denote부터 하자면 Score-based generative models는 SGMS로 critically-damped Langevin diffusion은 CLD로 일컫는다. CLD를 제안한 논문이다.

1 Introduction

CLD는 데이터 변수 $x_t$는 velocity(속도) 변수 $v_t$를 추가해 증강된다. diffusion process는 joint data-velocity space에서, 즉 노이즈와 data를 섞은 데이터가 있는 분포에 데이터를 process하는 것과 비슷하다. Data와 velocity는 각 다른 Hamiltonian dynamics에서 연결되고 noise는 속도 변수에 넣어진다.

Hamiltonian component는 data-velocity space 선회를 효과적으로 도와주고 이전 분포에서 현재 분포로 더욱 부드럽게 바꾼다.

score matching을 하고 neural network는 기존 diffused data의 score를 배우는 것보다 $∇_{v_t} log p_t(v_t|x_t)$ 주어진 속도 데이터의 condtional 분포 점수로 학습하는 게 더 좋다.

1. 저자는 CLD-based SGMs에 neural networks를 학습하는데 이전 SGMs보다 더 부드럽다.
2. CLD-based model이 훨씬 부드럽고 성과도 좋다. 이뿐만 아니라 더욱 쉽게긍정적인 결과를 얻는다.
3. CLD를 위한 새로운 sampling 방법은 오일러 마루야마 방법으로 뛰어난 성과를 얻었다.
4. CLD의 다양한 시점을 보고 CLD는 hyperparameters tune이 어렵지 않다.

2 BACKGROUND

Ito SDE로 diffusion process를 아래와 같이 정의 가능하다.

reverse process는 아래와 같다.

$∇u¯_t log p_{T −t}(u¯_t)$는 $T-t$ 분포에 Score function이다.

denoising score matching은 아래와 같다.

**$f(x_t, t)=f(t)x_t, G(x_t, t)=g(t)I_d$**이다.