Encoder가 출력하는 것은 qϕ(z|x) 확률 분포의 모수이다. 우리는 qϕ(z|x) 를 정규 분포라고 가정했기 때문에, 이 경우에는 평균과 분산이다. 다음 단계는 이 확률분포로 부터 샘플링을 하는 것이다. 이 때, 그냥 샘플링을 한다면, Back propagation이 불가능하다. Back propagation은 편미분을 구함으로써 Gradient를 구하는 것인데, z 를 확률분포에서 그냥 샘플링 한다면 체인룰이 중간에 끊기게 된다. 여기서는 이를 극복하기 위해서 Reparameterization trick을 사용했다. Reparameterization trick이란, 가우시안 정규 분포의 샘플을 추출하고 싶을 때, 아래의 식과 같이 샘플링을 하는 것을 말한다. 이렇게 샘플을 추출 하더라도 원래의 확률적 특성을 보존 한다. 그리고 이렇게 샘플링 하면 z 는 확률분포의 모수인 분산과 평균이 더해진 형태이므로 Back propagation 또한 가능하다.

$z_i,l$~$N(μ_i,σ^2_i)→z_i,l=μ_i+σ^2_i⊙ϵ$

$ϵ$~$N(0,1)$