score-based generative models(SGMs)는 연산이 많다. 이유는 생산량이 complex한 SDE나 이에 동일한 ODE 때문이다.간단한 기본 분포를 complex 분포에 매핑한다. 결과는 복잡하고 풀기위해 많은 작은 step size들을 numerical integration(수치적분)이 필요하다. 더욱더 generation complexity는 data perturbation을 위해 forward SDE와 데이터 분포를 기반으로 유일하게 정의되어진다. 어떤 희생도 없이는 synthesis 속도가 빨라지지 않다는 걸 의미한다. 추가적으로 SDE-based generative models는 이진, 카테고리 또는 graph structured data에 쉽게 적용 할 수 없고 연속적인 데이터로 정의된다.
여기 저자는 Latent Score-based Generative Model(LSGM)을 제안한다. 잠재 공간에 SGMs를 학습하기 위한 새로운 접근법이다. autoencoder (VAE) framework를 레버리징한다. 저자는 input data에 latent space 그리고 SGM에 맵핑한다. score-based model은 데이터셋의 임배딩을 통해 분포 모델링를 할당한다. 새로운 데이터 synthesis는 기본 분포로부터 drawing을 통해 첫 임베딩을 생성한 후 iterative denoising한다. 그리고 데이터 공간에 디코더를 통해 임베딩을 transforming 시킴으로써 달성한다. 아래에 주요 장점을 정리했다.
Synthesis Speed
Normal prior로 VAE를 pretraining함으로써 저자는 Normal prior에 가까운 인코딩에 대한 주변 분포를 가져올 수 있다. SGM 기본 분포이기도 한다. 결론적으로 SGM은 남은 불일치 모델에 필요하다.샘플링은 더 쉬워짐으로써 덜 복잡한 모델을 결과이다. 더욱더 잠재공간을 우리가 필요한 거에 따라 맞춤형으로 만들 수 있다. 예시로 저자는 hierarchical latent variables와 그들의 부분 세트만 diffusion model에 적용한다. 통합 속도가 더욱 높아진다.
Expressivity
보통 SGM 학습은 데이터에 ODE를 직접적으로 학습하는 것을 고려할 수 있다. 그러나 잠재변수로 그들의 표현력을 높이는 augmenting neural ODEs와 더 일반적인 생성모델을 찾았다. 결론적으로 , 저자는 latent 변수 framework와 결합된 SGMs로부터 비슷한 결과를 기대할 수 있다.
Tailored Encoders and Decoders
잠재 공간에 SGM 사용하는데 더욱더 표현력을 높이기 위해 잠재 그리고 데이터 공간 사이에 encoder과 decoder 맵핑 설계를 조심스럽게 활용한다. 추가적으로 LSGM 기법은 연속적이지 않은 데이터에 적용 할 수 있다.
LSGMs는 데이터 가능도에 variational lower bound 최대화로 end-to-end로 학습한다. 표준 score matching과 비교해 저자의 접근법은score-based denoising model과 타겟 분포 둘 다 추가적인 도전으로 다가온다. 끝으로 저자는 기술적인 기여를 보여준다.
(i) 저자는 새로운 denoising score matching objective로 VAE 모델과 latent SGM prior를 동시에 효과적으로 학습한다,
(ii) 잠개 공간 score 함수의 새로운 매개변수화를 도입해 학습 가능한 SGM Normal 분포를 섞고 Normal prior(정규 사전분포)과 잠재 변수의 분포 사이에 mismatch만 모델링 할 수 있도록 해준다.
간단하게 정리한다. $z_0$는 시작 변수이고 $z_t$는 $t$에 perturbation이다. SDE로 diffusion process 나타내자.
Song et al에서 SDE를 $z_1$~$N(z_1;0,I)$로부터 첫 샘플링으로 인해 생성모델로 바꾸고 이후 reverse-time SDE는 아래와 같은데
위 SDE를 실행한다. reverse SDE는 $∇_{z_t} log q_t(z_t)$의 지식을 필요로하는데 forward diffusion 아래에 주변분포의 score function이다. 아래와 같이 score matching objective를 통해 추정이 가능하다.
