1. P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks

Prompt tuning은 NLU에 도움이 되지만 Fine-tuning보다는 성능이 떨어짐. 이유는 모델 크기가 크지 않으면 성능이 안좋음. 길이도 제한 있고 tagging tasks에서는 굉장히 성능이 안좋았음. 그래서 기존 임베딩만 하던 방식을 Deep Prompt Tuning 기법으로 위와 같은 문제를 해결함.

2. CAMEL: Communicative Agents for "Mind" Exploration of Large Scale Language Model Society

유저와 어시스턴트 인공지능 둘이 계속 대화하여 정답을 얻음. 그 과정 전에 task specifer로 업무를 명확히 하고(전문성이 부족할때 도움이 됨), user와 assistant의 역할을 설정하는 large language model을 활용함. 그리고 inception prompt를 사용해 특정 틀 안에 칸을 채우는 형식으로 대화를 하여 답을 얻어냄. Visual ChatGPT에 decomposing과 비슷한듯함. (근데 어느 순간 대화가 막히는 순간이 있어보임. 그래서 refresh할 수 있는 무언가가 필요할듯 뭐 clip 같은거 좋진 않지만)