1. Score-Based Generative Modeling with Critically-Damped Langevin Diffusion
Nvidia에서 낸 논문으로 기존에 Score-based에 velocity 축을 하나 더 만들어서 수렴도 잘 되고 학습도 빠르게 만듬. 수학적으로 잘 정리되어있어서 좋은 논문.
2. Cascaded Diffusion Models for High Fidelity Image Generation
이미지 resolution을 키워가면서 생성하는 방법 소개.
이미지를 좀 더 잘 뽑아내는 방법 소개.
4. Your ViT is Secretly a Hybrid Discriminative-Generative Diffusion Model
ViT를 가지고 Diffusion을 만들었지만 classification도 같이 한다는 것이 중요포인트. 그러나 이미지 생성 성능은 그리 좋지 못함. 다만 기존 하이브리드모델 중에선 제일 좋은듯.
5. Progressive Deblurring of Diffusion Models for Coarse-to-Fine Image Synthesis
상윤좌의 논문으로, diffusion models의 generation과정이 coarse-to-fine이 아니라 holistically 생성되는것에 주목하여 이를 해결하고자 blur kernel을 삽입하여 train. Noise에 가까울 수록 low frequency 정보만 남도록 gaussian kernel 통과시키고, 결과적으로 low freqeucny(content)정보부터 미리 생성하고, high freqeuncy(style, detail)을 나중에 생성하도록 explicit bias를 줌.
6. SOFT DIFFUSION SCORE MATCHING FOR GENERAL CORRUPTIONS
gaussian noise말고 blur까지 씌우면 fid가 더 좋아진다 + new sampling method (momentum sampling)제안, noise(blur) scheduling 제안.
7. Maximum Likelihood Training of Implicit Nonlinear Diffusion Models
Normalizing flow의 invertible한 성질을 적용하여, data adatible 한 nonlinear diffusion process를 implicit하게 학습. FID 성능을 올림.
8. Minimizing Trajectory Curvature of ODE-based Generative Models
sampling trajectory의 curvature를 줄여서 학습된 denoising model에 ode solver 가 fit 하도록 만들고, 적은 step에서도 generation, reconstruction이 잘 되도록 시도함
9. Stable Target Field for Reduced Variance Score Estimation in Diffusion Models
기존 DSM(denoising score matching)을 분석해 phase가 3개로 나뉘어서 불안정함을 증명함, 그래서 STF(stable target field)를 이용해 score matching eq를 바꾸고 self-normalization과 큰 batch를 이용해 기존 DSM보다 안정적이고 성과 좋고 빠른 모델을 제시함.
10. Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow
아직 다 못읽었음. rectifiedflow를 하면 점점 궤도가 직선 모양으로 바뀜. K-recitified flow로 몇번하는지에 따라 달라진다. 또한 x0,x1을 바로 input 하지 않고 z0,z1로 바꾸면 cross가 아닌 직선이 가능하다.