Dhariwl & Nichol (2021)에서 classifer guidance를 제안했다. 이 기술은 추가적인 classifier 학습을 하여 샘플 퀄리티는 높게 만든다. classifier의 log 확률도 기울기를 넣은 score estimage를 섞어 사용한다.
저자는 classifier guidance가 classifier 없이 성과를 낼 수 있는지 알아본다. classifier guidance는 추가적인 classifier 학습이 필요하기 때문에 더욱 복잡하고 classsifier는 무조건 noisy data를 학습해야하기에 pre- rained classifier에 연결하는 것이 불가능하다. 게다가 샘플링 하는동안 score estimat를 섞이기 때문에, classifier-guided diffusion sampling은 image classifier를 gradient-based adversarial attck으로 혼동할 여지가 있다.
이 문제들을 해결하기 위해 저자는 classifier-free guidance를 제안한다. classifier-free guidance는 cinditional diffusion model과 unconditional diffusion model을 섞어서 score estimate를 한다.
$x$~$p(x)$ 그리고 $z = {z_λ | λ ∈ [λ_{min}, λ_{max}]}$ forwrad process $q(z|x)$는 variance-preserving Markov process이다.
저자는 $p(z)$는 z의 한계이다. $λ = log α^2_λ/σ^2_λ$이다. $λ$는 $z_λ$의 noise 비율과 forward process는 $λ$감소의 방향으로 진행된다고 해석 가능하다.
x에 조건부, forward process는 $q(z_λ* |z_λ, x) = N (µ˜_λ* |λ (z_λ, x), σ˜ ^2_ {λ* |λ} I)$의해 reverse 된다고 설명된다.
generative model의 reverse process는 $p_θ(z_{λ_min} ) = N (0, I)$으로 시작한다. 아래와 같이 표시 가능하다.
sampling 동안 timesteps $T$에 맞게 $λ_{min} = λ_1 < · · · < λ_T =λ_{max}$ 연속적으로 증가한다.
$E$-prediction에 term 안에 $x_θ$로부터 reverse process를 매개변수화 했다.
이와 같이 $x_θ(z_λ) = (z_λ−σ_λE_θ(z_λ))/α_λ$ 매개변수화 했고 아래와 같이 학습한다.
$z_λ = α_λx + σ_λE$ 그리고 $λ$는 $p(λ) [λ_{min},λ_{max}]$ 분포로부터 가져온다.