1. Improving Language Understanding by Generative Pre-Training
GPT 모델임. semi-supervised를 활용하여 classification 분야 외에도 널리 사용할 수 있는 방법을 연구함. auxiliary를 이용하면 fine-tuning에 수렴속도 증가하고 향상됨. 또한 다양한 작업이 가능하게 하기 위해 토큰을 추가하여 다양하게 사용이 가능함. 실제로 ChatGPT3 보면 다양한 작업을 함.
2. Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models
3月 Spotlight Visula ChatGPT는 현 인공지능 모델들의 문제인 Complex Prompt를 해결하는 데 기여함. 또한 Prompt Manager에 다양한 기능을 이용해 ChatGPT가 잘 이해하고 또 VLMs가 잘 이해하도록 Prompt를 decomposing하여 수정함. 그리고 ControlNet 사용으로 다양한 이미지 condition을 주며 Canny image 등과 같은 condition에 강력한 기능을 보임. filename에 규칙을 넣는다는 점도 재밌게 읽게됨. History가 ChatGPT 이해를 돕는 강력한 도구임을 보임.
3. INSTRUCTION TUNING WITH GPT-4
GPT-4로 데이터를 만들고 그 데이터에 값을 매김(강화학습에 쓰이는 사람이 평가 매기는 거 대체함). 결론적으로는 Instruction Tuning에 좋은 성과를 냄. 강화학습에 쓰이는 사람이 평가하는 기술을 대체한다는 점은 좋은 아이디어임. 왜냐하면 비용을 낮추기 때문임.
4. Training language models to follow instructions with human feedback
InstructGPT를 제안함. 3단계로 나누어 InstructGPT를 학습시킴. 그리고 reinforcement에 사용되는 human feedback이나 policy에 집중을 하여 좋은 성과를 냈음. 또한 loss 부분도 특이함. mixing하는 부분은 연산량을 늘리지만 더 좋은 효과를 낼 수 있음. 그렇게하여 toxic conent를 피할 수 있게 되며 사람들이 선호하는 답변을 내놓는데 더 좋은 모델이 됨.
4月 Spotlight