FLAN: Fine-tuned Language Models are Zero-shot Learners 논문 리뷰

The overview of this paper

 이 논문에서는 LM의 zero-shot 학습 능력을 향상시키기 위한 간단한 method를 제안하였다. 이 간단한 method는 instruction tuning으로 instruction을 통해 묘사된 데이터셋의 모음에서 LM을 fine-tune 하는데, unseen task에 대해 zero-shot 성능을 상당히 향상시킨다. 논문에서는 137B PLM을 사용해서 60개의 NLP 데이터셋에서 자연어 instruction template을 통해 instruction tune을 하였다. 이 instruction-tuned model을 FLAN이라 부르고 unseen task 유형에서 평가하였다. FLAN은 수정되지 않은 counterpart의 성능을 크게 상회하는 모습을 보여줬고, 25개의 데이터셋 중 20개의 데이터셋에서 GPT-3 175B의 zero-shot을 능가하는 성능을 보여줬다. 또한 몇몇 task에 대해서는 few-shot GPT-3을 큰 마진으로 능가하는 성능을 보여줬다. ablation study는 instruction tuning이 성공한 핵심적인 이유가 fine-tuning 데이터셋의 수, 모델 크기, 자연어 instruction에 있다고 보고 있다.

 

그림 1. 위쪽: FLAN과 instruction tuning의 개요. 아래쪽: zero-shot & few-shot GPT-3와의 zero-shot FLAN의 성능 비교

 

 

Table of Contents

1. Introduction

2. FLAN: Instruction Tuning Improves Zero-shot Learning

   2-1. Tasks & Templates

   2-2. Classification with Options

   2-3. Training Details

3. Results

4. Ablaion Studies & Further Analysis

5. Discussion

 

 

1. Introduction

 GPT-3 같은 대규모 LM은 few-shot learning에서 좋은 결과를 보여줬지만, zero-shot 에서는 덜 성공적인 모습을 보여줬다. 특히 reading comprehension과 question answering, NLI에서는 더 안 좋은 성능을 보여줬다. 이에 대한 이유는 few-shot exemplar 없이는 pre-training 데이터의 형식과 유사하지 않은 prompt에서 잘 작동하기 어렵기 때문이다.

 

 논문에서는 LLM의 zero-shot 성능을 향상시키기 위한 간단한 method를 제안하였다. 이 method는 NLP task가 자연어 instruction을 통해 묘사될 수 있다는 점을 활용하였다. 논문에서는 137B 파라미터의 PLM을 사용하여 instruction tuning을 수행하였다. 이러한 결과로 나온 모델이 FLAN, Finetuned Language Net 이다.

 

 unseen task에서 FLAN의 zero-shot 성능을 평가하기 위해 task 유형에 따라 NLP 데이터셋을 분류해서 그룹화하였다. ㅡ 다음에 평가하려는 task를 제외한 다른 task에서 fine-tune 된 cluster를 사용해서 zero-shot 성능을 평가하였다. 그림 1의 예시를 보면 NLI를 수행하는 FLAN의 능력을 평가하기 위해 광범위한 다른 NLP task에서 모델을 instruction tune 하였다. 그다음에 zero-shot 능력을 평가하였다.

 

 논문의 평가는 FLAN 137B zero-shot 모델이 FPT-3 zero-shot & few-shot을 큰 마진으로 능가하는 모습을 보여준다. 그리고 ablation study에서는 instruction tuning의 task cluster의 수를 늘리는 것이 unseen task에 대해서 성능을 향상하고 instruction tuning의 이익은 오직 충분한 모델 규모에서만 나타난다는 것을 보여줬다.

 

 intruction tuning은 간단한 method이다. 그림 2에 묘사되어 있는 것처럼 추론 시간 테스트 상호작용에 대한 LM의 응답을 향상시키기 위한 fine-tuning을 사용함으로써 pretrain-finetune과 prompting 패러다임 둘의 매력적인 면을 혼합하였다. 실험의 결과는 instruction을 통해 순수하게 묘사된 task를 수행하기 위한 LM의 유망한 능력을 보여줬다.

 

그림 2. instruction tuning과 pretrain-finetune & pompting 비교

 

2. FLAN: Instruction Tuning Improves Zero-shot Learning

 instruction tuning의 동기는 NLP instruction에 응답하기 위한 LM의 능력을 향상시키는 것이다. instruction을 통해 설명된 task를 수행하기 위해 LM을 가르치기 위한 supervision을 사용함으로써 LM은 instruction을 따르고 unseen task에 대해 수행하기 위해 학습된다. unseen task에서의 성능을 평가하기 위해 논문에서는 task 유형에 따라 데이터셋을 그룹화하고 나머지 모든 cluster에 대한 instruction tuning 동안 평가를 위해 각 task cluster를 유지한다.

 

2-1. Tasks & Templates

 

 밑바닥부터 많은 task를 사용하여 instruction tuning 데이터셋을 만드는 것은 리소스가 많이 필요하기 때문에, 기존의 데이터셋을 instruction 형식으로 변형시켰다. 논문에서는 NLU와 NLG를 포함하는 62개의 텍스트 데이터셋을 종합하여 하나의 mixture를 만들었다. 그림 3은 이러한 데이터셋을 보여주는데, 각각의 데이터셋은 12개의 task cluster로 카테고리화된다. 주어진 cluster의 데이터셋은 비슷한 task 유형이다. 

 

그림 3. 데이터셋 & task cluster(NLU는 파란색; NLG는 청록색)

 

 각각의 데이터셋에 대해 수동으로 10개의 독특한 templater을 구성하였다. 이 10개의 template은 original task를 묘사하지만, 다양성을 위해 각각의 데이터셋은 task와 관련 없는 3개의 template을 포함하고 있다. 예를 들어 sentiment classification에 대해 영화 리뷰를 생성을 물어보는 template도 포함하였다. 그다음에 논문에서는 모든 데이터셋의 mixture에서 PLM을 데이터셋에 대해 랜덤 하게 선택된 instruction template을 통해 각각의 데이터셋의 example을 포맷하여  instruction tune 하였다. 그림 4는 NLI 데이터셋에 대한 다양한 instruction template을 보여준다.

 

그림 4. NLI task를 묘사하는 다양한 instruction templates

 

2-2. Classification with Options

 

 주어진 task에 대한 출력 공간은 여러 class 또는 free text 중 하나이다. FLAN은 decoder-only LM의 instruction-tuned 버전이기 때문에, 자연적으로 free text로 응답해서 generation task를 위해 추가적인 수정이 필요하지 않다.

 

 분류 task에 대해서 이전의 연구들은 rank classification 방식을 사용하였다. rank classification은 그럴듯해 보이지만 답변의 확률 mass가 각 답변을 말하는 방식 간에 바람직하지 않은 분포를 가질 수 있다는 점에서 불완전하다("예"라고 말하는 다른 방법이 많으면 "예"에 할당된 확률 mass가 낮아질 수 있다.). 그래서 논문에서는 options suffix를 포함하였다. 이 방법은 task에 대한 출력 클래스의 리스트와 함께 분류 task의 마지막에 'OPTION' 토큰을 추가한다. 이는 모델이 분류 task에 응답할 때 어떤 선택이 필요한 지 모델이 알 수 있게 해 준다. 옵션의 사용에 대한 예시는 그림 1에 나타나 있다.

 

2-3. Training Details

 

Model architecture & pre-training.  LaMDA-PT 137B 모델을 사용하였고, 웹 문서 모음에서 pre-train 하였다. LaMDA-PT 모델은 dense L-to-R decoder-only Transformer LM이다. 

 

Instruction tuning procedure.  FLAN은 LaMDA-PT의 instruction-tuned 버전이다. 논문의 instruction tuning 파이프라인은 모든 데이터셋을 합치고 각각의 데이터셋으로부터 랜덤 하게 샘플링한다. 서로 다른 크기의 데이터셋의 밸런스를 맞추기 위해 각 데이터셋에서 30k 개의 training example로 제한하고 example-proportional mixing scheme을 따랐다.

 

 

3. Results

 논문에서는 FLAN을 natural language inference(NLI), reading comprehension, closed-book QA, translation, commonsense reasoning, coreference resolution, struct-to-text에서 평가하였다. unseen task에 대해서 평가를 진행하기 위해 2-1에서 설명한 방법을 사용하였다. 각 데이터셋에 대해 모든 template에서 성능의 평균을 평가하였다. dev set은 때때로 수동 prompt engineering에 사용할 수 있으므로 각 데이터셋에 대해 최고의 dev set 성능을 가진 template을 사용해서 test set 성능도 얻을 수 있었다.

 

 비교를 위해 GPT-3와 똑같은 prompt를 사용하는 LaMDA-PT에 대한 zero-shot & few-shot 결과를 기록하였다. 이 baseline은 instruction tuning이 얼마나 도움 되는지에 대한 직접적인 ablation을 제공해 준다. intruction tuning은 대부분의 데이터셋에서 LaMDA-PT를 향상시켰다.

 

 논문에서는 또한 GPT-3 175B와 GLaM 64B/64E의 zero-shot 성능을 보여줬다. 최고의 dev template을 사용한 결과, zero-shot FLAN은 25개의 데이터셋 중 20개의 데이터셋에서 zero-shot GPT-3을 능가하는 모습을 보여주고, 25개 중 10개의 데이터셋에서는 GPT-3의 few-shot 성능을 능가하는 모습을 보여줬다. 또한 최고의 dev template을 사용한 zero-shot FLAN은 19개의 데이터셋 중 13개의 데이터셋에서 zero-shot GLaM을 능가하였고, 19개의 데이터셋 중 10개의 데이터셋에서 one-shot GLaM을 능가하는 모습을 보여줬다. 

 

 전반적으로 instruction tuning이 task에 대해 보여준 모습은 다음과 같다. 다음의 그림 5에서는 NLI, reading comprehension, closed-book QA, translation에서의 결과를 요약하고 있다.

 

• very effective: instruction으로 자연스럽게 언어화된 task (ex. NLI, QA, translation, struct-to-text)
• less effective: instruction이 대체로 불필요한 language modeling으로 고안된 task (ex. commonsense reasoning, coreference resolution)

 

그림 5. NLI, reading comprehension, closed-book QA, translation 에서 FLAN, LaMDA-PT 137B, GPT-3 175B, GLaM 64B/64E의 zero-shot 성능 비교

 

Natural Language Inference(NLI).  FLAN은 모든 baseline을 큰 마진으로 능가하는 결과를 보여줬다. FLAN에서는 NLI를 더욱 자연스러운 질문으로 표현해서 더 좋은 성능을 보여줬다.

 

Reading Comprehension.  MultiRC & OBQA에서는 FLAN이 더 나은 성능을 보여줬고, BoolQ에서는 GPT-3을 큰 마진으로 능가하지만, LaMDA-PT가 더 좋은 성능을 보여줬다.

 

Closed-book QA.  FLAN은 4개의 데이터셋에서 모두 GPT-3을 능가하는 결과를 보여줬다. GLaM과 비교하면, ARC-e와 ARC-c 에서 더 나은 성능을 보여줬고, NQ와 TQA에서는 살짝 떨어지는 결과를 보여줬다.

 

Translation.  모든 6개의 평가에서 zero-shot GPT-3를 능가하였지만, few-shot GPT-3 보다는 떨어지는 성능을 보여줬다. GPT-3와 유사하게 FLAN은 영어로 번역할 때는 강력한 성능을 보여줬지만, 다른 언어로 번역할 때는 약한 모습을 보여줬다. 이는 영어 sentencepiece tokenizer를 사용하고 pre-training 데이터의 대부분이 영어로 이루어져 있기 때문이다.

 

Additional Tasks.  위의 task cluster에서 강력한 결과를 보여줬지만, instruction tuning은 한 가지 한계를 가지고 있는데, 이는 language modeling task에 대해서는 성능을 향상시키지 못한다는 점이다. 그래서 7개의 commonsense reasoning과 coreference resolution task에 대해 평가를 진행한 결과, FLAN은 겨우 3개의 task에서만 LaMDA-PT보다 더 나은 성능을 보여줬다. 이러한 좋지 않은 결과는 downstream task가 일반적인 language modeling pre-training objective와 똑같을 때 instruction tuning은 유용하지 않다는 것을 보여준다.

 

4. Ablation Studies & Further Analysis

4-1. Number of Instruction Tuning Clusters

 

 논문의 핵심 질문은 어떻게 instruction tuning이 unseen task에 대해 모델의 zero-shot 성능을 향상시키는지이다. 첫 번째 ablation에서는 instruction tuning에서 사용되는 cluster와 task의 수에 의해 성능이 어떻게 영향을 받는지 분석하였다.

 

 그림 6은 이러한 ablation에 대한 결과를 보여준다. 예상한 것처럼, 추가적 vluster와 task를 instructiuon tuning에 추가함에 따라 3개의 held-out cluster에 대한 평균 성능이 향상되는 것을 알 수 있었다. 이는 제안된 instruction tuning이 새로운 task에서 zero-shot 성능에 이익을 준다는 것을 알려준다. 게다가 결과를 보면 cluster가 추가될 때마다 성능 향상이 멈추지 않고, instruction tuning에 더 많은 cluster가 추가됨에 따라 성능은 계속 상승한다는 것을 알 수 있었다. 

 

그림 6. instruction tuning에 추가적 task cluaster를 추가했을 때 held-out task cluster에서의 zero-shot performance 향상 확인

 

4-2. Scaling Laws

 

 instruction tuning의 이득은 모델의 규모에 어떤 영향을 받을까?라는 의문을 해결하기 위해 모델의 크기를 다르게 하여 ablation을 진행하였다. instruction tuning의 효과를 파악하기 위해 422M, 2B, 8B, 68B, 137B 파라미터 크기의 모델에서 평가를 진행하였다.

 

 그림 7은 ablation에 대한 결과를 보여주고 있다. 100B 파라미터 근처의 모델에서 instruction tuning은 held-out task의 성능을 상당히 향상시켰다. 하지만, smaller model에서는 held-out task의 성능을 상당히 해치는 모습을 보여줬다. 이에 대한 이유는 작은 모델에 대해서는 instruction tuning 중에 40개의 task를 학습하는 것만으로도 모델의 수용량을 다 채운다. 이는 모델이 새로운 task에 대해서 안 좋은 성능을 보이게 만든다. 이러한 설명에 의하면 거대 모델에 대해서 instruction tuning은 모델의 수용량을 채우지만 모델에게 어떻게 instruction을 따르게 할지 또한 가르친다. 이는 남은 수용량으로 새로운 task에 대해 일반화하게 허락해 준다.

 

그림 7. 거대 모델의 경우, instruction tuning은 모델이 새로운 task에 대해 잘 일반화하도록 도와준다.

 

4-3. Role of Instructions

 

 fine-tuning 중에 instruction의 역할에 대해 연구하였다. instruction이 없는 두 가지 셋업을 고려하였다. 이 셋업들과 FLAN의 fine-tuning 프로시저를 비교하였다.

 

• no template: 입력 & 출력만 모델에게 주어짐
• dataset name: task & 데이터셋의 이름을 각각의 입력 앞에 붙임

 

 그림 8은 이에 대한 결과를 보여준다. 두 셋업은 FLAN보다 훨씬 더 떨어지는 성능을 보여줬다. 이는 instruction을 활용하여 학습하는 것이 zero-shot 성능에 중요하다는 것을 보여준다.

 

그림 8. fine-tuning으로부터 instruction이 제거된 모델을 사용한 ablation study 결과

 

4-4. Instruction Tuning Facilitates Prompt Tuning

 

 만약 FLAN이 NLP task를 수행하기 위해 더욱 말을 잘 알아듣게 된다면 soft prompt를 사용하여 추론을 수행할 때 더 나은 성능을 달성할 수 있다. 추가적 분석으로, 각 SuperGLUE task에 대한 연속 prompt를 학습시켰다.

 

 그림 9는 이러한 prompt tuning의 실험 결과를 보여준다. 결과를 보면 모든 시나리오에서 prompt tuning은 LaMDA-PT보다 FLAN에서 더 좋은 모습을 보여줬다. 특히 low-resource 환경에서 더 큰 성능 향상을 보여줬다. 

 

그림 9. instruction-tuned model은 prompt tuning으로부터의 연속된 입력에 더 잘 응답함

 

 

5. Discussion

 논문에서는 zero-shot prompting의 간단한 질문에 대해 탐구하였다: instruction으로 표현된 task의 모음에서 모델을 fine-tune 하는 건 unseen task에 대한 성능을 향상시킬까? 논문에서는 pretrain-finetune과 prompt 패러다임의 매력적인 측면을 결합한 간단한 방법인 instruction tuning을 통해 이 질문에 대답하였다. 논문의 instruction-tuned 모델인 FLAN은 untuned model에 대한 성능을 향상시켰고, 평가한 대부분의 task에서 zero-shot GPT-3을 능가하였다. ablation study는 instruction tuning task cluster의 수에 따라서 unseen task에 대한 성능이 향상된다는 것을 보여줬고, 흥미롭게도 instruction tuning으로부터의 성능 향상은 충분한 규모의 모델에서만 나타난다는 것을 발견하였다. 게다가 instruction tuning은 few-shot prompting과 prompt tuning 같은 다른 prompting method들과 합쳐질 수 있다.

 

 대규모 LM은 specialist model과 generalist model 간의 tradeoff가 있음을 발견하였다. 논문에서는 논문의 연구가 잠재적인 영향을 미칠 수 있다고 생각하였다. cross-task 일반화에서 instruction tuning의 긍정적인 효과는 general language modeling에 대해 task-specific training이 상호 보완적이라는 것을 보여줬다.

 

 이 논문의 한계점은 task를 cluster에 할당하는 데 어느 정도 주관성이 있고, 비교적 짧은 한 문장의 instruction 만을 사용했다는 점이다. 그리고 평가 시에도 한계점이 있었는데, 모델의 pre-training 데이터는 웹 문서를 포함하는데 여기에는 데이터의 오버랩이 있는데, 이것이 성능에 어떤 영향을 미치는지 파악하지 못했다. 마지막으로 FLAN 137B의 규모는 실행하는데 많은 비용을 필요로 한다.

 

 

 

 

출처

https://arxiv.org/abs/2109.01652

Finetuned Language Models Are Zero-Shot Learners