1. On distillation of guided diffusion models

두번의 distillation 으로 step 을 1~4 step 으로 비약적으로 줄인다. LDM 의 경우 1 step 까지 가능하다. stage 1. classifier-free guidance 의 score 에 대한 student 모델 학습. stage 2. progressive-distillation 을 통해 step 수를 N/2 으로 계속 줄여나감.

2. Progressive Distillation for Fast Sampling of Diffusion Models

progressive distillation을 제안. step 수를 N/2로 줄여감. 그리고 제시한 방법의 문제점인 step 수가 적어지는데 step 당 작은 변화만이 있다면 생기는 문제를 해결하고자 함. 이 문제 해결하기 위해 loss weight에 대한 분석이 많음.