Score-Based Generative Modeling through Stochastic Differential Equations
Score-based 와 DDPM을 SDE로 묶어낸 논문. 매우 잘 써진 논문이라 생각하며, 필수적으로 읽어봐야 한다고 생각.
DENOISING DIFFUSION IMPLICIT MODELS (1)
Marcov chain을 끊고 Deterministic 하게 만든 논문. 수식적으로 복잡하나, 잘 이해해둬야 하는 필수 논문 중 하나.
Generative Modeling by Estimating Gradients of the Data Distribution (1)
Score-based models의 시초격인 논문. 결국 VE-SDE를 이해하기 위해선 이 논문이 선행되어야 함.
Denoising Diffusion Probabilistic Models (1)
DDPM. 읽어야 함. xt를 x0를 가지고 바로 샘플링하는 방식 제안, Loss를 simple하게 만들어도 잘 된다는 것을 보임.
Diffusion Models Beat GANs on Image Synthesis (1)
Classifier guidance 방식을 제안한 논문. 정말 많이 쓰이고 있으며 읽어두는 것을 추천. 추가 : UNet downsampling 부분을 classifier로 학습한다. 이 calssifier와 기존 모델과 곱하여 답을 얻어낸다. 보면 그렇게 어려운 방법은 아님. 구현 쉽다
Elucidating the Design Space of Diffusion-Based Generative Models (1)
실험적으로 Diffusion model을 어떻게 설계하는 것이 좋은지 잘 정리해놓은 논문.
CLASSIFIER-FREE DIFFUSION GUIDANCE (1)
GAN으로 치면 condition GAN. 외부에서 classifier로 guidance를 주는 대신, UNet에 바로 컨디션을 꽂아줌. 이 때 수식을 classifier guidance랑 같아지도록 전개, 잘 됨. 현재 잘 되는 대부분의 모델들은 free guidance 방식으로 학습됨.
깊게는 안읽음. 하지만 중요함. 다시 꼭 읽어야함. SNR을 정의 내린 논문. 그리고 수식적으로 잘 정리된 논문. 그리고 discrete, continuous에 관해 정리한 논문이다. 어떻게 loss를 정리할지 깔끔하다.