data density의 score로부터 sampling과 estimating을 기반으로 생성모델을 만든다.

neural network는 score matching으로 학습 →Langevin dynamics로 sample 생산 점차 노이즈를 없애간다.

그러나 문제가 있다.

1. 저차원 manifold를 제공한다면 score는 주변 공간에 정의되지 않는다. 그리고 score matching은 일정한 score estimator를 유지에 실패한다.
2. 저차원 densty region 학습 데이터가 부족하다면 score estimation 정확도와 랑주뱅 sampling의 mixing은 느려진다.

annealed 랑주뱅을 제안하는데 이게 DDIM에서 언급이 되긴한다.

Score matching

denoising score matching과 slcide score matching 결과는 거의 똑같다.

denoising score matching

score matching이다. 그러나 문제가 있다면 노이즈가 충분히 작을때만 성립한다는 문제가있다. 작아야지 아래와 같은 결과가 나온다.

Sliced score matching

sliced score matching은 random projections를 사용하여 score matching을 한다.

Sampling with Langevin

랑주뱅을 이용해 샘플링을 한다.

Challenges

manifold hypothesis는 실제 세계 데이터는 고차원 공간(aka ambient space)에 내장된 저차원 manifold에 집중하는 경향이 있다고 한다. 그래서 noise를 더해 해결한다.