1. LLaMA: Open and Efficient Foundation Language Models

효율적인 학습을 위해 Meta에서 다양한 기법을 내놓는다. 주요한 초점은 작은 모델이 긴 학습시간을 가지고 확실히 빠른 추론을 가진다는 점을 중시한다. 이외에도 데이터셋에 대한 설명과 toxic content에 대한 정보를 알려준다. 정말 다양한 기법을 제시하니 제대로 한번 읽어야한다.

2. LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention

LLaMA에 Adapter를 제공함. Zero-init transformer로 성능을 2배 내고 엄청 가벼운 모델임에도 좋은 성능을 내놓음. 물론 무거운 모델보다는 낮음. 그리고 Learnable Adaption prompt로 학습을 함. 좋은 논문임. 모델 경량화가 필요한 시대이기에 중요한 의의가 있다 봄

3. ChatDoctor: A Medical Chat Model Fine-tuned on LLaMA Model using Medical Domain Knowledge

LLaMA와 ChatGPT의 결합으로 ChatGPT가 데이터도 만들고 다양한 일을 할 수 있음. 결국은 이를 통해 다른 병원에 사이트를 만들어 주는 외주가 있듯이, 병원이나 다른 시설에 이 구조를 따라해 다양한 대화 프로그램과 솔루션을 제공이 가능할 듯함.