1. Extracting Training Data from Diffusion Models
Image genreation 모델의 고질적인 문제 중 하나인 학습된 이미지를 ‘똑같이’ 생성하는 문제를 개선하고자 metrics를 만들고 개수가 몇이 이상이라면 threshold를 넘어 막는다. 그리고 다양한 실험으로 이를 증명한다. 정말 좋은 논문이다.
2. Erasing Concepts from Diffusion Models
최근 많은 데이터를 인터넷에서 가져오며 저작권이나 성적인 윤리적인 문제가 있는 데이터를 가져올 수 있음. 이 문제를 방지하기 위해 pretrained 모델에 classifier free guidance와 비슷하게concept c를 넣어 fine-tuning을 함. 하지만 negative한 버전으로 이 concept과 거리를 두게 만든다. 또한 layer가 Cross-attention(ESD-x)인지 Self-attention(ESD-u) 각각 fine-tuning의 결과가 다르기에 이 점을 이용해 정도를 조절 할 수 있음을 보임.