SDEdit을 설명하는 논문이다. realism과 faithfulness(아래에서 설명)을 피하기 위해 SDE framework를 수정하고 image synthesis를 가이드한다. 위 사진이 SDEdit에 예시이다. 바꾸고 싶은 곳을 그림으로 칠해 reverse하면 이미지를 만든다.
SDEdit에 주요 intuition은 SDE-based generative model들의 생성 과정을 “hijack”한다. Fig2에 설명이 되어 있다. 주어진 이미지에 guidance를 추가한다. guidance는 이미지에 stroke painting이나 stroke edits를 한 것을 의미한다. 저자는 적절한 양에 노이즈를 더해 왜곡을 하는 것이다.(부자연스러운 디테일을 더하는 것이다), 유저가 가이드한 input에 전체적인 구조는 당연히 보존한다.
SDEdit은 자연스럽게 faithfulness와 realism를 trade-off하는 포인트를 찾는다. 저자가 가우시안 노이즈를 더하고 SDE를 오래 돌릴때, 합성된 이미지들 은 더 realistic하지만 덜 faithful하다. 저자는 realism과 faithfulness 사이에 올바른 밸런스를 찾는다. 저자는 SDEdit이 stroke-based image synthesis, stroke-based image editing, and image compositing 3개에 적용할 수 있단 걸 보여준다.
setup
full resolution image $x_{(g)}$ 는 guide로 불리는 이미지인데 high-leve guide는 거친 색깔의 strokes guide를 주고, mid-level guide는 실제 이미지에 colored strokes를 포함하고 low-level guide는 target image에 image patches를 포함한다.
Realism
이미지는 사람이 직접 평가하거나 neural network로 realistic를 나타낸다.
Faithfulness
이미지는 guide $x_{(g)}$에 비슷해야한다.(L2 distance로 측정)
realism과 faithfule은 양의 상관관계를 안가진다.
Procedure
SDEdit은 $t_0=1$부터 reverseSDE를 해결하지 않고 어떤 시간 $t_0 ∈ (0, 1)$ 에서든 사용할 수 있다.
SDE solver에 의해 discretization steps로부터 떨어지는데, 주요 매개변수는 SDEdit $t_0$이다. reverse SDE를 어디서부터 시작하는지 결절한다. 저자는 realism-faithfulness trade-off하는 합리적인 $t_0$를 선택한다.
Realism-faithfulness trade-off
저자는 SDE models를 학습하는 요소로, $t_0$의 다른 값을 선택할때 realismfaithfuness trade-off이 있다.
realism을 측정하기 위해, 저자는 이미지 분포를 비교하는 neural 방법들을 택했다. 예시로 Kernel Inception Score이다.
faithfulness를 위해 저자는 synthesized 이미지들과 guides $x_{(g)}$ 사이에 squared L2 distance를 측정한다. Fig3을 보면 $t_0$가 증가함으로써 faithfulness가 감소하고 realism을 올라간단 걸 알 수 있다.
Proposition 1.
위에 제안은 image가 realistic과 함께 high probability를 제안한다. 저자는 충분히 큰 $t_0$를 가져야한다 말한다. $t_0$가 너무 크다면 faithfulness는 guide는 악화된다. 그리고 SDEdit은 랜덤 realistic image를 생성한다.(unconditional과 같음)
Choice of t0
$t_0∈ [0.3, 0.6]$로 시작했다. 이는 확실히 효과적이긴한데 사용자는 sample이 더욱 faithful하고 더욱 realistice하길 바란다. 그래서 저자는 이유있는 $t_0$를 구하기위해 binary search를 이용해 구한다.
Detailed algorithm and extensions.
