classifier guidance는 classifier 없이 성과가 있는지 흥미를 가진다. classifier guidance는 추가적인 classifier 학습을 필요하기에 diffusion model의 pipeline은 복잡하다. 그리고 pre-trained classifier에 plug in이 불가능하다.

그래서 저자는 classifier-free guidance라는 classifier를 전체적으로 피하는 guidancce 방법을 제안한다.

Guidance

Classifier guidance

diffusion score는 아래와 같다.

auxiliary classifier model $p_θ(c|z_λ)$ log likelihood의 기울기를 포함하도록 수정할 거다. 그래서 score는 아래와 같다.

$w$는 classifier guidance의 비중을 조절한다.

guidance strength가 증가할 수록 위 그림처럼 더욱 멀어진다. 그리고 weight는 $w+1$를 적용했는데 똑같은 결과를 이끈다.(이를 applying classifier guidance라 한다.) 하지만 흥미롭게도 이렇게 applying classifier guidance가 uncoditional model 결과와 반대로 이미 clas-conditional model에 최고의 결과를 이끌었다.

CLASSIFIER-FREE GUIDANCE

classifier-free guidance는 $E_θ(z_λ, c)$를 수정하여 classifier guidance와 똑같은 효과를 얻는데 classifier가 없다는 차이가 있다.

uncoditional denoising diffusion model $p_θ(z)$를 score esitimator $E_θ(z_λ)$로 학습한다. 그리고 conditional model $p_θ(z|c)$를 $E_θ(z_λ, c)$ 통해 학습한다. conditional과 unconditional score estimates를 합치면 아래와 같은 공식이 된다.

이게 classifire free guidance이다.