Karras et al는 DM의 설계 공간을 분석했다. 3단계로 나누는데 i) noise scheduling ii) the network parameterization iii) the sampling algorithm이다. 저자는 여기게 추가적인 중요한 단계를 추가하는데 iv) choosing how to corrupt이다.
저자는 corruption processes의 일반적인 것과 다르게 반대로 뒤집는 방법을 배우기 위한 pricipled framework를 제안한다. 저자는 Soft Score Matching이라 부르는데 어떤 선형 corruption process든 학습 할 수 있다.
Soft Score Matching은 네트워크에 filtering 과정을 통합하고 clean image를 예측한다.
기여한 내용
a) 저자는 평범한 diffusion process에 널리 친숙한 socre를 학습하고 diffusion에 제한된 무작위성 아래에 학습 할 수 있다.
b) 저자는 중간 분포를 선택하는 방법을 원칙화한다. 시작과 마지막 분포로부터 Wasserstein 거리를 최소화하는 방법이다.
c) 저자는 Momentum Sampler라는 새로운 sampling method를 제안한다. 저자의 sampler는 다른 diffusion level에 corruptions의 convex combination을 사용한다.
d) 저자의 선형 diffusion 모델은 기존 Gaussian denoising diffusion 모델 학습과 비교해 빠르다.