Alpaca: A Strong, Replicable Instruction-Following Model 리뷰

The Overview

 현존하는 많은 instruction-following 모델은 강력한 성능을 보여주고 있다. 하지만 이들은 아직 비속어를 사용하거나 잘못된 정보를 생성하는 등의 결함을 보여주고 있다. 이러한 문제를 해결하기 위해 academic community의 참여가 중요하지만, 학계에서 instruction-following 모델에 대해 연구를 진행하는 것은 한정된 자원에서 이러한 모델들에 쉽게 접근할 수 없기에 쉽지가 않다.. 😭

 

 Alpaca를 공개한 Stanford 연구팀에서는 Meta의 LLaMA 7B 모델로 fine-tune된 instruction-following 모델인 Alpaca를 소개하였다. (요즘 모델들은 동물 이름으로 만드는 것이 트렌드인 게 분명하다..!! 😆) 여기에서 Alpaca 모델은 text-davinci-003을 사용하여 Self-Instruct 방식으로 생성된 52K 개의 instruction-following 설명에서 학습되었다. Self-Instruct 평가 세트에서 Alpaca는 text-davinci-003보다 훨씬 쉽고 비용이 쌈에도 불구하고 비슷한 성능을 보여줬다! 😲

 

 Alpaca는 training recipe와 데이터가 공개되었다. 그리고 Alpaca의 특성을 더욱 잘 이해할 수 있도록 interactive demo도 공개하였다. Alpaca는 오직 학문적 연구 목적으로만 사용 가능하고 상업적 목적으로는 사용이 불가능하다. 🛑 이에 대한 3가지 이유는 다음과 같다.

 

• Alpaca의 베이스 모델은 LLaMA인데, LLaMA는 상업적 라이선스가 없기 때문임
• instruction data는 text-davinci-003에 기반을 두는데, 이것의 사용 약관에 OpenAI와 경쟁하는 모델을 개발할 수 없도록 막고 있기 때문임
• 아직 적절한 안전 규약이 없기에, Alpaca는 아직 일반적으로 사용될 준비가 되어 있지 않음

 

Stanford Alpaca

 

Training Recipe

 academic 예산에서 high quality instruction-following model을 학습시키는데에 2가지 난관이 존재한다: 강력한 PLM & high-quality instruction-following data. 강력한 PLM은 Meta의 새로운 LLaMA 모델의 공개로 해결되었고, high-quality insturction-following data는 기존의 강력한 LM을 사용해서 자동적으로 instruction 데이터를 생성하는 Self-Instruct의 등장으로 해결되었다. Alpaca는 OpenAI의 text-davinci-003으로부터 생성된 52K 개의 instruction-following 설명에서 LLaMA 7B의 supervised learning을 사용해서 fine-tune 된 LM이다. ✨

 

 데이터에 대해 Self-Instruct method로 instruction-following 설명을 생성시킨다. Self-Instruct에서 사용된 175개의 human-written seed set에서 시작해서, 이 seed set를 in-context example로 사용해 text-davinci-003으로 더 많은 instruction을 생성한다. 그리고 이 생성 파이프라인을 단순화시킴으로써 Self-Instruct method를 개선시키고 비용을 상당히 줄였다. 생성 파이프라인은 다음의 과정을 거쳐서 단순화되었다. 😉

 

• 더욱 aggreassive한 batch decoding을 적용해서 한 번에 20개의 instruction을 생성
• classification & non-classification instruction 간의 차이를 제거함으로써 데이터 생성 파이프라인을 단순화 시킴
• 각 isntruction에 대해 오직 하나의 instance를 생성

 

 이 데이터 생성 프로세스는 52K 개의 unique instruction과 이에 해당하는 output을 결과로 낳았고, 이는 OpenAI API를 사용해서 500$ 보다 적은 돈을 사용하여 만들어졌다. 🤑😲

 

이미지 출처: https://crfm.stanford.edu/2023/03/13/alpaca.html

 

 이 instructionp-following 데이터셋을 활용하여 Hugging Face의 training 프레임워크를 사용해서 LLaMA 모델을 fine-tune 하였다. 이럼으로써 Fully Shared Data Parallel과 mixed precision training의 이점을 가진다. 첫 실행에서 LLaMA 7B를 fine-tune 할 때 8개의 80GB A100에서 3시간을 소요하였다. 이는 100$도 안 드는 비용이다! 😲 이는 training 효율성을 개선하여 비용을 더욱 절감할 수 있다는 것을 보여준다.

 

Preliminary Evaluation

 Alpaca 평가를 위해 Self-Instruct 평가 세트로부터의 input에서 human evaluation을 진행하였다. text-davinci-003과 Alpaca 7B 간에 blind comparison을 진행하고, 이 두 모델은 비슷한 성능을 가진다는 것을 알아냈다. 총 90개의 비교 중 89개의 비교에서 Alpaca가 이기는 모습을 보여줬다! 😲 (이건 좀 신기한 것 같다)

 

 작은 모델 사이즈와 수수한 양의 instruction following data에도 불구하고 Alpaca는 좋은 성능을 보여줬다! 이 정적인 평가 세트 외에도 Alpaca 모델을 상호작용적으로 테스트 하였고, Alpaca가 다양한 input set에서 text-davinci-003과 유사하게 행동한다는 것을 발견하였다. 이러한 평가가 규모나 다양성 측면에서 제한되어 있다는 것을 인정해서, Alpaca의 interactive demo를 공개하였고, 사용자들에게 Alpaca를 평가하고 피드백을 줄 수 있게 하였다.

 

 다음은 Alpaca와의 상호작용 예시이다.

 

이미지 출처: https://crfm.stanford.edu/2023/03/13/alpaca.html

 

 위의 예시들은 Alpaca의 output이 일반적으로 잘 작성되어 있다는 것을 보여준다. Alpaca는 instruction-following 데이터셋의 일반적 스타일을 나타낸다. 그 결과, Alpaca의 대답들은 text-davinci-003의 짧은 output을 반영해서 대게 ChatGPT보다 짧다.

 

Known Limitations

 Alpaca도 hallucination, toxicity, stereotype을 포함한 LM의 일반적인 결함들을 보여준다. 특히, hallucination은 text-davinci-003과 비교해도 Alpaca에 대한 일반적인 failure mode이다.

 

 예를 들어 다음과 같이 탄자니아의 수도를 잘못 말하기도 한다.

 

이미지 출처: https://crfm.stanford.edu/2023/03/13/alpaca.html

 

 게다가 잘못된 정보를 퍼뜨리는 그럴 듯한 output을 생성하는 데 사용될 수도 있다.

 

이미지 출처: https://crfm.stanford.edu/2023/03/13/alpaca.html

 

 Alpaca는 베이스 모델과 instruction tuning data와 연관된 다른 많은 limitation을 포함하고 있을 수 있다. 그러니 사용자들이 웹 데모를 통해 새로운 유형의 failure을 밝혀낼 수 있길 바라고, 그리고 Alpaca의 공개가 instruction-following 모델과 이들의 alignment에 대한 향후 연구를 용이하게 해 줄 수 있길 바란다고 연구팀은 말하였다. 

 

Assets Released

 Alpaca에 대한 asset은 다음과 같이 공개되었다.

 

• Demo: interactive demo는 현재는 닫혀있는 상태
• Data: Alpaca를 fine-tune하기 위해 사용된 52K demonstrations
• Data generation process: 데이터를 생성하기 위한 코드
• Training code: Hugging Face API를 사용해서 모델을 fine-tune 하기 위한 코드

 

 

 

 

 

 

출처

https://crfm.stanford.edu/2023/03/13/alpaca.html

Stanford CRFM

https://github.com/tatsu-lab/stanford_alpaca/tree/main

GitHub - tatsu-lab/stanford_alpaca: Code and documentation to train Stanford's Alpaca models, and generate the data.