Image Inpainting은 Image Completion으로 알려져있는데 이미지 내에 없는 영역을 채운다. 저자는 RePaint 모델을 제안한다. DDPM을 이용하는 방법이다. 그리고 특별한 점은 mask-conditional generative model을 학습하지 않고 reverse duffsion 동안 주어진 픽셀로부터 sampling하는 condition 생성과정이다. 여기에 2가지 장점이 있다.
<아래는 denoise하여 만든 sample(reverse)이고 위는 알고 있는 이미지에 noise(forward)를 더함. 이 2개를 합쳐 $x_{t-1}$ 생성한다.>
위 공식은 forward process와 reverse process이다.
저자는 ground truth image는 $x$, 모르는 픽셀들은 $m ⊙ x$, 그리고 알고 있는 픽셀은 $(1 − m) ⊙ x$로 표기한다. 모든 reverse step(2)은 오직 $x_t$에 의존한다, 저자는 이를 분포에 상응하는한 $(1 − m) ⊙ x_t$ 를 대체한다..
아는 영역 $m ⊙ x_t$에 샘플을 얻을 수 있다. 따라서, 모르는 영역 공식 2와 앍고 잇는 공식 7을 사용해 reverse step을 새로운 방식으로 표현한다.
따라서 $x^{known}{t-1}$은 주어진 이미지 $m ⊙ x_0$에 알고 있는 픽셀들을 사용해 샘플된다, 반면 $x^{unknown}{t-1}$는 모델로부터 샘플되어지는데 이전 $x_t$가 주어진다. 그리고 이 $known$과 $unknown$ 결과가 마스크가 씌어진 상태로 합쳐진다. 따라서, unknown region은 공식 2를 사용하고 known region은 공식 7을 사용한다.
Known regions에 맞는 컨텐츠 타입을 얻어야한다. DDPM은 know region의 맥락에 leveraging하지만 아직 나머지 이미지에 harmonizing이 안되는 경우가 있다. 그러나 공식 7을 사용해 known pixels를 샘플링 하는 것은 이미지의 생성 부분을 고려하지 않고 수행되기에 시작할때 disharmony하다. 비록 모델을 통해 매 step마다 다시 이미지를 harmonize하지만 아직 다음 step에 똑같은 issue가 발생하기에 완벽히 수렴하기가 힘들다.
모델은 conditional information $x^{known}{t-1}$ conditional information과 전보다 더 향상된 $x^{unknown}{t-1}$과 harmonie 되도록 시간이 필요하다.
결론은 저자는 공식 1로부터 샘플링하는 방식을 $x_{t-1}$을 다시 $x_t$로 돌린다. $x_t ∼ N ( √{1 − β_t}*x_{t−1}, β_tI).$ 이 방법이 scales를 노이즈를 더해 output을 다시 돌리지만, 몇 정보는 $x^{unknown}{t-1}$ 생성 영역은 여전히 $x^{unknown}{t}$에 보존된다. 이는 새로운 $x^{unknown}{t}$는 더 $x^{known}{t}$와 harmonized되고 conditional information을 더 포함한다.