1. All are Worth Words: A ViT Backbone for Diffusion Models

기존까지는 Diffusion model에 U-Net 모델이 쓰임. 하지만 U-Net 말고도 ViT 모델도 쓰일 수있단 걸 보임. 또한 U-Net 모델의 특징인 long skip connection을 적용하여 U-ViT로 작명함. 저자가 모델을 깊이 연구하여 다양한 방법에 대해 제안을 함. 대형 데이터셋(laion2B)을 쓰는 시대인 지금 강력한 모델로 보임. 최근 One Transformer Fits All Distributions in Multi-Modal Diffusion at Scale에서 이 모델을 채택함. 3월 spotlight