Instruction Tuning with GPT-4 논문 리뷰

The overview of this paper

 이전의 연구(Self-Instruct)에서는 human-written instruction 없이 machine-generated instruction만을 사용해서 LLM을 fine-tune 해서 새로운 task에 대해서 좋은 zero-shot 성능을 보여줬다. 이 논문에서는 GPT-4로 instruction data를 만들어서 LLM fine-tuning에 사용하고자 하였다. 또한 GPT-4로부터 피드백 & 비교 데이터 또한 수집해서 종합적인 평가와 reward model training을 가능하게 하고자 하였다.

 

 

Table of Contents

1. Introduction

2. Dataset

3. Instruction-Tuning Language Models

4. Experimental Results

 

 

1. Introduction

 LLM에 대한 instruction-tuning의 SoTA를 개선시키기 위해 논문에서는 GPT-4를 self-instruct tuning에 대한 teacher로 사용할 것을 제안하였다. 이 논문에서 만들어진 contribution은 다음과 같다.

 

• GPT-4 data: 영어와 중국어 버전의 52K 개의 instruction-following dataset을 포함하는 GPT-4에 의해 생성된 데이터를 공개하였다. 그리고 3개의 instruction-tuned model의 output을 평가하는 GPT-4-generated feedback 데이터 또한 공개하였다.
• Models & Evaluation: GPT-4-generated 데이터에 기반해서, 논문에서는 instruction-tuned LLaMA 모델과 reward model을 개발하였다. instruction-tuned LLM의 퀄리티를 평가하기 위해서, 논문에서는 test sample에서 3개의 metric을 사용하여 평가하였다: 3개의 alignment 기준에서 human evaluation, GPT-4의 피드백을 활용한 automatic evaluation, ROUGE-L.

 

2. Dataset

Data Collection.  논문에서는 Alpaca 데이터셋에서 수집된 52K 개의 instruction data를 재사용하였다. 이 데이터셋은 instruction, input, output의 형태로 이루어져 있는데 각각이 내포하고 있는 의미는 다음과 같다.

 

• instruction: 모델이 수행해야 하는 task를 나타냄
• input: task에 대한 input. task에 따라서 있을 수도 있고 없을 수도 있음
• output: LLM을 사용하여 instruction instance에 대해 응답

 

 Alpaca 데이터셋에서는 output이 GPT-3.5를 사용해서 생성되었지만, 이 논문에서는 그 대신에 GPT-4를 사용하여 output을 생성해냈다. 구체적으로 논문에서는 다음의 4가지 데이터셋을 생성하였다.

 

그림 1. GPT-4로 생성된 데이터셋

 

3. Instruction-Tuning Language Models

3-1. Self-Instruct Tuning

 

 논문에서는 LLaMA 7B checkpoint와 supervised fine-tuning을 사용해서 2개의 모델을 학습시켰다.

 

1. LLaMA-GPT4: GPT-4에 의해 생성된 52K 개의 instruction-following data에서 학습되었음
2. LLaMA-GPT4-CN: GPT-4로부터 52K 개의 Chinese instruction-following data에서 학습되었음

 

3-2. Reward Models

 

Reinforcement Learning from Human Feedback(RLHF)는 LLM을 더욱 유용하게 만들기 위해 LLM의 특성을 human preference에 align하는데 목표를 둔다. 이러한 RLHF의 중요한 요소가 reward modeling인데, 여기서 문제는 prompt와 response가 주어지면 스칼라 보상을 예측하는 회귀 작업으로 공식화된다. 이 방법은 보통 대규모 비교 데이터를 필요로 한다. 그래서 현존하는 open-source model들인 Alpaca, Vicuna, Dolly는 비교 데이터 라벨링의 비싼 비용 때문에 RLHF를 포함하지 않는다. 반면에 최근의 연구들은 GPT-4가 실수를 참지하고 스스로 고칠 수 있으며 응답의 퀄리티를 정확하게 평가할 수 있다는 것을 보여주고 있다. 그래서 RLHF에 대한 연구를 용이하게 하기 위해 논문에서는 GPT-4를 사용해서 비교 데이터를 만들었다. 

 

 데이터 퀄리티를 평가하기 위해 논문에서는 서로 다른 응답을 평가하기 위해 OPT 1.3B에 기반한 reward model을 학습시켰다. 하나의 prompt $\textbf{x}$와 $K$ 개의 응답을 포함하는 비교 데이터의 각 instance에 대해, GPT-4는 각 응답에 대해 $s \in [1, 10]$의 score를 지정한다. 여기에는 이 instance로부터 만들어진 $C_{2}^{K}$ 개의 독특한 쌍이 있고, 각 쌍은 $(y_{l}, y_{h})$이다. reward model $r_{\theta}$는 $\theta$에 의해 파라미터화 되고, 다음의 objective를 사용하여 학습된다: $min log(\sigma(r_{\theta}(x, y_{h}) - r_{\theta}(\textbf{x}, y_{l})))$. 비교 데이터의 분포는 다음의 그림 2와 같다.

 

그림 2. 비교 데이터의 분포

 

4. Experimental Results

4-1. Benchmarks

 

 이미 알려져 있는 것처럼 LLM 평가는 상당히 어렵다,, 논문의 목표는 GPT-4 data에서 self-instruct tune된 모델을 unseen instruction에서 평가하는 것이다. 논문에서 평가를 위해 사용된 3개의 데이터셋은 다음과 같다.

 

• User-Oriented-Instruction-252: 71개의 user-oriented application에 영감을 받아 수동으로 엄선된 252개의 instruction이다.
• Vicuna-Instructions-80: 80개의 어려운 question과 함께 GPT-4로 종합된 데이터셋.
• Unnatural Instructions: 15개의 수동으로 제작된 example로부터 3-shot in-context-learning을 사용해서 text-davinci-002로 종합된 68,478개의 데이터셋으로 이루어진 데이터셋.

 

4-2. Human Evaluation with Alignment Criteria

 

 논문의 instruction-tuned LLM의 alignment 퀄리티를 평가하기 위해, 논문에서는 Anthropic의 연구의 alignment 기준은 따랐다: helpful, honest, harmless(HHH). 이러한 기준은 AI 시스템이 human value와 얼마나 잘 align 되어 있는지를 평가하는데 사용된다. 이에 대한 human evaluation 결과의 파이 차트가 그림 3에 나타나 있다.

 

그림 3. Human Evaluation

 

 첫 번째로, 논문에서는 2개의 instruction-tuned LLaMA model로부터 생성된 응답의 퀄리티를 비교하였다. 각각은 GPT-4와 GPT-3에 의해 생성된 데이터에서 fine-tune 되었다. 여기서 LLaMA 모델을 GPT-3가 생성해낸 instruction에서 fine-tune한 모델은 Alpaca 모델이다. 그림 3(a)를 보면 'Helpfulness' 기준에서 보면 GPT-4가 확실한 승자라는 것을 알 수 있다. 하지만 'Honesty'와 'Harmlessness' 기준에서는 대부분의 투표가 tie group으로 간 것을 알 수 있다. 심지어는 GPT-3(Alpaca)가 조금 더 우수한 성능을 보여주는 것을 알 수 있다.

 

 두 번째로, 논문에서는 GPT-4-instruction-tuned LLaMA 모델과 teacher model GPT-4에 대해 그림 3(b)에서 비교하였다. 결과를 살펴보면 3개의 카테고리에서 일관된 모습을 보여주는 것을 알 수 있다: GPT-4-instruction-tuned LLaMA는 기존의 GPT-4와 유사한 성능을 보여준다! 논문에서는 이를 통해 GPT-4 generated data에서의 학습은 기존의 GPT-4와 매우 비슷한 성능을 이끌 수 있다는 결론을 내렸다. 

 

4-3. Comparison with SoTA using Automatic Evaluation

 

Automatic Evaluation with GPT-4.  Vicuna Evaluation을 따라서, 논문에서는 80개의 unseen question에서 서로 다른 모델의 응답을 자동적으로 평가하기 위해 GPT-4를 사용하였다. 각 평가에 대해 논문에서는 두 모델의 응답 간에 GPT-4를 사용하여 평가해서 1부터 10점 까지 점수를 매기게 하였다. 논문에서는 모든 모델들을 ChatGPT와 GPT-4 같은 강력한 모델 각각과 비교하였다. 결과는 그림 4에 나타나 있다.

 

 LLaMA-GPT4에 대해 논문에서는 디코딩 결과의 2개의 세트를 제공하였다.

 

1. question 당 baseline 디코딩 결과의 하나의 응답
2. question 당 5개의 응답

 

 후자에 대해 reward model은 상위 1위에서 상위 5위까지 순위가 매겨진 5개의 하위 집합으로 그룹화되는 응답의 순위를 매기는 데 사용된다. 논문에서는 baseline에 대해 5개의 ranked group을 비교하고 그림 4(a,b)에서는 상대 점수를 보여주고 있다. ChatGPT와 GPT-4 평가는 reward model에 의해 제안되는 순서와 일관적인데, 이는 피드백 데이터의 값과 reward model의 효과를 설명한다.

 

 논문에서는 모든 챗봇을 그림 4(c,d)에서 비교하고 있다. LLaMA-GPT4는 자주 text-davinci-003을 튜닝하는 것(Alpaca)과 그냥 LLaMA 보다 높은 성능을 보여준다: 7B LLaMA_GPT4는 13B Alpaca와 LLaMA를 능가하는 성능을 보여준다. 하지만, 아직 여기에는 GPT-4와 같은 상업적 챗봇에 비해 큰 갭이 존재한다. 

 

그림 4. GPT-4에 의해 평가된 성능 비교

 

 또한 논문에서는 추가적으로 중국어에서 챗봇의 성능을 연구하였다(그림 5). 중국어에 대한 결과는 다음과 같다. 본 포스팅에서는 자세하게 다루지는 않도록 하겠다.

 

그림 5. GPT-4에 의해 평가된 Chinese instruction의 성능 비교

 

 논문에서는 LLaMA-GPT4와 GPT-4, Alpaca를 unnatural instruction에서 비교하였다(그림 6). 평균 ROUGE-L score 면에서, Alpaca는 다른 두 모델을 능가하는 성능을 보여줬다. 논문에서는 ground truth response length가 증가할 때 LLaMA-GPT4와 GPT-4가 점진적으로 더 좋은 성능을 보여주다가 길이가 4보다 길 때 더 높은 성능을 보여주고 있다. 이것은 시나리오가 더욱 창의적일 때 이 모델들이 instruction을 더 잘 따를 수 있다는 것을 의미한다. 서로 다른 서브셋간에 LLaMA-GPT4는 GPT-4의 특성을 가깝게 따른다. sequence 길이가 짧을 때, LLaMA-GPT4와 GPT-4는 간단한 ground truth answer를 함유하는 응답을 생성할 수 있지만, 더욱 chat-like 응답을 만들기 위해 추가적 단어를 추가하는데, 이는 낮은 ROUGE-L score를 이끌게 된다.

 

그림 6. 9K 개의 샘플과 함께 unnatural instruction에서 평가된 ROUGE-L

 

 

 

 

출처

https://arxiv.org/abs/2304.03277

Instruction Tuning with GPT-4