1. Learning Fast Samplers for Diffusion Models by Differentiating Through Sample Quality
Pre-trained을 fine-tunning 하지 않고 step#를 줄여서 빠르게 sampling 하면서도 FID/IS 를 최대한 유지할 수 있는 방법제시, diffusion의 object function(ELBO) term을 무시하고, step과 step사이에 sampling하는 paremeter들만 KID loss 를 줘서 train.
2. Pseudo Numerical Methods for Diffusion Models on Manifolds
이전 numerical ODE의 방식이 DDPM의 sampling manifold를 제대로 반영하지 못함을 지적, DDIM과 high-order numerical sampling의 장점을 결합하여 새로운 sampling 방식을 제시. stable diffusion에서 사용된 sampling방식이고 성능이 좋다.
3. gDDIM: Generalized denoising diffusion implicit models
DDPM, DDIM, 등등을 모두 SDE의 형태로 전환, Blur Diffusion이나 Critically-Damped Langevin Diffusion 까지도 SDE로 표현한 뒤, general한 form의 SDE -> DDIM을 만드는 방법을 제안한다. 이를 통해 istropic diffusion models까지 DDIM으로 fast sampling 가능하게 함
4. On Fast Sampling of Diffusion Probabilistic Models
FastDPM은 unified framework를 제공한다. 속도와 퀄리티 trade off를 최소한으로 줄이는 방법이다. discrete를 continuous하게 바꾸고 Bijective mapping을 통해 얻은 결과이다. variance를 바꾸는데 이에 바꾼 sample 학습방법을 따르면 된다.
Yang Song의 논문. PF ODE를 활용하여 1 step으로 sampling이 가능하며, quality와 compute에 trade off으로도 성능을 달리 할 수 있음. 그리고 Distillation을 깊게 연구함.