1 Introduction

DDPM과 ViT 사이를 연결하여 image generation과 classification을 하는 기술을 도입한다. 특별한 점은, 오직 ViT 하나로만 생성 모델을 학습 한다는 점이다. 2개를 설계 했는데 Genrative ViT(GenViT)와 Hybrid ViT(HybViT)이다. HybViT는 GenViT와 확장 버전으로 생성 뿐만 아니라 분류도 한다. Fig 2, Fig 3에 구조가 설명도 되어있다. 그리고 이미지 patche들을 재설계하고 독립적인 2개의 루틴이 특징들을 같이 공유한다.

또다른 장점은 전 모델인 JEM 모델은 MCMC가 필요해서 굉장히 expensive하고 오랜 시간동안 학습과 많은 데이터셋, 불안정했다. HybBiT는 MCMC 샘플링한다는 장점이 있다.

1. 간단하고 안정적이고 모드 붕괴도 덜하다.

2. 생성자와 판별하는 모델들은 학습하며 강점을 공유한다.

3. 연산에 장점이 있다.