T0: Multitask Prompted Training Enables Zero-shot Task Generalization 논문 리뷰

The overview of this paper

 Large Language Model(LLM)은 다양한 task 세트에서 적정한 zero-shot 일반화를 보여주고 있다. 이는 LM의 pre-training에 내포되어 있는 multitask learning의 결과라고 가정할 수 있다. 그렇다면 과연 명시적 multitask learning에 의해 zero-shot 일반화가 직적 유도될 수 있을까? 이 질문을 테스트하기 위해, 논문에서는 자연어 task를 사람이 읽을 수 있는 형식의 prompt로 손쉽게 매핑하기 위한 시스템을 개발하였다. 논문에서는 다양한 워딩이 사용되는 각각의 다양한 prompt가 있는 supervised 데이터셋의 거대한 세트를 변환하였다. 이러한 prompt 데이터셋은 성공적으로 task를 수행하도록 하게 해주는 모델의 능력을 벤치마킹하게 허락해 준다. 논문에서는 pre-trained encoder-decoder 모델을 다양한 task의 multitask 혼합을 사용해 fine-tune 하였다. 이렇게 해서 결과적으로 나온 모델은 다양한 기존 데이터셋에서 강력한 zero-shot 성능을 얻을 수 있었고, 16배 이상 큰 모델을 능가하는 모습을 보여주기도 했다.

 

 

Table of Contents

1. Introduction

2. Measuring Generalization to Held-out Tasks

3. A Unified Prompt Format

4. Experimental Setup

5. Results

   5-1. Generalization to Held-out Tasks

   5-2. Prompt Robustness

6. Discussion

 

 

1. Introduction

 최근의 모델들은 새로운 task에 대해 적정한 zero-shot 일반화를 보여줬다. 명시적으로 학습하지 않은 새로운 task에 대해서도 비교적 잘 수행하는 모습을 보여준다. 이에 대한 영향력 있는 가설은 LLM이 새로운 task에 일반화되는 것은 multitask learning의 내포된 프로세스 때문이라는 것이다. 다음 단어를 예측하기 위한 학습의 부산물로 LM은 pre-training corpus에 포함된 암시적 task의 혼합에서 학습해야 한다. 이것은 LLM에게 자연어 prompt를 사용하여 표현되는 held-out task에 대해서 일반화하는 능력을 준다. 하지만, 이러한 능력은 충분히 큰 모델을 필요로 하고 prompt의 워딩에 민감하다.

 

 또한 이 multitask learning이 실제로 얼마나 내포되어 있는지는 미해결 질문이다. LM의 pre-training corpora가 주어지면 이 안에는 몇몇 NLP task가 명시적으로 나타나 있을 수 있다. 예를 들어 사소한 질문과 대답의 리스트가 포함되어 있는 웹사이트가 많이 있는데, 이 데이터들은 closed-book question answering의 task에 대한 정확한 supervised training data이다. 논문에서는 pre-training에서 이러한 multitask supervision은 zero-shot 일반화에서 큰 역할을 맡는다 라는 가정을 세웠다. 

 

 이 논문에서는 supervised & multitask 방식에서 명시적으로 LM을 학습시키는데 집중하였다.

 

• Approach: 자연어 prompt에 명시 되어 있는 서로 다른 task의 거대한 세트로 구성되어 있는 training mixture 사용
• Goal: held-out task에 대해 대규모 스케일 필요 없이 더 낫게 일반화하는 모델 / prompt의 워딩 선택에 더욱 robust 한 모델

 

 자연어 task의 거대한 세트를 prompt 형식으로 변환하기 위해, 논문에서는 데이터셋에 대해 간단한 template language를 사용하였다. 논문에서는 데이터셋 당 다양한 prompt가 있는 거대한 multitask mixture의 모음을 용이하게 해주는 공공 contributor로부터 prompt를 수집하기 위한 인터페이스를 개발하였다. 그다음에 T5 encoder-decoder 모델의 변형을 task의 서브셋에서 학습시키고 모델이 학습하지 않은 task & prompt에서 평가하였다.

 

 논문의 실험에서는 두 가지 질문에 대해서 연구하였다.

 

• 1st question: multitask prompted training은 held-out task에 대해 일반화를 향상시킬까?
• 2nd question: 광범위한 prompt에서의 학습은 prompt wording에 대한 robustness를 향상시킬까?

 

 이 질문들에 대한 대답은 다음과 같았다.

 

• 1st answer: multitask training은 zero-shot task 일반화를 가능하게 함. GPT-3에 비해 16배 작은 사이즈로도 비슷하거나 능가하는 성능을 보여줌.
• 2nd answer: 더 많은 prompt에서의 학습은 중간값을 향상시킴 & 성능 변동성을 줄임. 광범위한 데이터셋으로부터 나온 prompt 에서의 학습은 중간값을 향상시킴 but! 성능 변동성은 줄어들지 않음.

 

그림 1. 논문의 모델 & prompt 형식. T0은 텍스트 입력을 받아서 타깃 응답을 내놓는 encoder-decoder model. 이 모델은 서로 다른 task로 분할되어 있는 NLP 데이터셋의 multitask mixture에서 학습됌. 각각의 데이터셋은 입력 및 타깃 쌍으로 포맷하기 위해 사용되는 다양한 prompt template과 연관되어 있음. 이태릭체는 raw example data로부터의 입력을 나타내고, 일반 글씨체는 template을 나타냄. 다양한 task의 혼합에서 학습을 진행 후, 학습 중에 보이지 않던 task에 대해서 zero-shot 일반화를 평가함.

 

2. Measuring Generalization to Held-out Tasks

 논문에서는 NLP 데이터셋의 기본 분할을 task로 가정하여 연구를 진행하였다. 이러한 'task'를 특정 데이터셋 그룹에 의해 테스트되는 NLP 능력으로 언급하였다. 새로운 task에 대해 zero-shot 일반화를 평가하기 위해, 논문에서는 task의 서브셋에서 학습하고 task의 held-out 그룹에서 평가하였다.

 

 불행하게도, NLP task 카테고리화는 불분명하다. 예를 들어, 많은 데이터셋은 상식을 평가하고, 몇 개의 multitask 작업들은 상식을 독립 task라고 정의한다. 하지만, 상식 데이터셋은 광범위하게 넓다. 논문의 학습과 평가 mixture는 그림 2와 같다.

 

그림 2. T0 데이터셋 & task 분류학. 노란색: training mixture / 초록색: held-out & 학습 중에 보지 않은 representation task

 

 zero-shot 일반화 테스트를 하기 위해서 4개 task의 모든 구성 데이터셋에 대해서 진행하였다: natural language inference(NLI), coreference resolution, sentence completion, word sense disambiguation. 논문에서는 NLI를 held-out task로 선택하는데 왜냐하면 사람도 NLI에 대해 zero-shot 일반화를 하기 때문이다: 대부분의 사람들은 전제 문장이 가설 문장을 수반하는지 모순하는지 명시적으로 학습하지 않아도 분류 가능하다. 이와 똑같은 이유로 논문에서는 coreference resolution & word sense disambiguation 또한 수행하였다. 추가적으로 sentence completion은 NLI와 너무나도 유사하기 때문에 수행하였다. 

 

 마지막으로, 논문에서는 BIG-bench로부터 나온 데이터셋의 서브셋에 대해서 추가적으로 평가하였다. 이 BIG-bench는 LLM의 능력을 테스트하기 위한 어려운 task의 다양한 모음을 생성하는 벤치마크이다. BIG-bench으로부터의 모든 task는 training에서 수행되는 새로운 task이다.

 

3. A Unified Prompt Format

 zero-shot 실험을 가능하게 하기 위해 모델에 주어지는 모든 데이터셋을 자연어 형식으로 prompt화 하였다. prompt의 거대한 모음 작성을 용이하게 하기 위해, 논문에서는 templating language와 다양한 데이터셋을 prompt로 쉽게 변환해 주는 응용을 개발하였다. 논문에서는 prompt를 입력 template과 타깃 template와 관련된 metadata와 함께 구성되도록 정의하였다. template은 입력 & 타깃 시퀀스를 위한 자연어로 데이터 example을 매핑하는 함수이다. 그리고 template은 사용자가 임의의 텍스트를 데이터 필드, metadata, raw field를 렌더링 & 포매팅하기 위한 다른 코드를 섞을 수 있게 해 준다. 예를 들어 NLI 데이터셋의 경우에 example은 Premise, Hypothesis, Label에 대한 필드를 포함하고 있을 것이다. 입력 template은 'If {Premise} is true, is it also true that {Hypothesis}?'가 될 것이고, 타깃 template은 라벨 선택 '{Choices[label]}'를 사용하여 정의할 수 있다. 여기서 Choices는 label 수반(0), 중립(1), 모순(2)에 해당하는 옵션 yes, maybe, no로 구성되어 있는 prompt-specific metadata이다. 다른 metadata 문서는 평가 행렬 같은 추가적 특성을 가지고 있다. 각각의 data example은 그림 3에 나타나 있는 많은 서로 다른 prompt template으로 구체화된다.

 

그림 3. P3 prompt 모음으로부터의 prompt templates. 각각의 데이터셋은 입력 & 타깃 template으로 구성되어 있는 다양한 prompt template을 가지고 있음.

 

 prompt를 개발하기 위해 데이터셋에서 상호작용적으로 prompt를 작성하는 인터페이스를 만들었다. 그 결과 24개의 기관과 8개의 국가에서 36명의 contributor가 참여하였다. 논문의 목표는 prompt 형식에 robust를 가지도록 모델을 학습시키는 것이고, 어떠한 것이 prompt를 효과적으로 만들어주는지에 대한 질문은 미해결 상태이기 때문에 이 모든 걸 해결하기 위해 contributor들에게 자유로운 스타일로 다양한 prompt를 만들게 하였다. 논문에서는 기존의 task에서 변경된 prompt도 허용시켰는데, 이는 다양성 향상을 위해서 이다. 이렇게 얻어진 prompt의 모음을 Public Pool of Prompts(P3)라고 한다. P3는 177개의 데이터셋에 대해 2,073개의 prompt를 가진다. 실험에 사용되는 prompt들은 BIG-bench를 제외하고 P3로부터 뽑아진다.

 

4. Experimental Setup

 실험 세팅에서는 간단하게만 짚고 넘어가도록 하겠다.

 

Model  pre-trained model을 자연어 prompt 데이터셋의 multitask training 혼합에서 fine-tune 하였다. 논문의 모델은 입력 텍스트가 인코더에 들어가고 타깃 텍스트가 디코더에서 생성되는 encoder-decoder 구조를 사용하였다. 이 모델은 기존의 maximum likelihood training을 통해 타깃을 autoregressive 하게 생성하도록 학습되었다. 이러한 학습 방식은 GPT-3와 같은 decoder-only LM과는 다른 방식이다.

 

 논문에서 학습시킨 모든 모델은 T5에 기반한다. T5의 pre-training objective는 입력 텍스트에서 제거된 토큰을 생성하는 objective이다. 이것은 prompt 데이터셋의 자연어 텍스트 생성 형식과는 다르다. 그래서 논문에서는 LM-adapted T5 모델을 사용하였다.

 

Training  논문의 메인 모델인 T0은 multitask mixture에서 학습되었다. 반면에 T0+는 동일한 파라미터를 사용한 똑같은 모델이지만, GPT-3의 평가 데이터셋을 추가한 mixture에서 학습되었다. 마지막으로 T0++는 training mixture에 NLI와 BIG-bench만 held-out task로 남겨두는 SuperGLUE를 추가하였다.

 

Evaluation  논문에서는 4개의 held-out 전통 NLP task의 11개의 데이터셋에서 zero-shot 일반화를 평가하였다: natural language inference(NLI), coreference, word sense disambiguation, sentence completion 뿐만 아니라 BIG-bench로부터 14개의 새로운 task를 포함.

 

5. Results

5-1. Generalization to Held-out Tasks

 

 논문의 첫 번째 질문은 multitask prompted training이 held-out task에 대해서 일반화를 향상시킬 수 있는지였다. 그림 4에서는 4개의 held-out task에서 T0을 T5+LM baseline에 대해 비교하였다. 논문의 방식은 모든 데이터셋에서 baseline보다 상당히 많은 성능 향상을 이끌었다. 이는 multitask prompted training이 동일 모델과 prompt를 사용하여 language modeling training을 할 때 이익을 준다는 것을 설명한다.

 

 그다음에, 논문에서는 T0을 작문이 가능한 largest LM인 GPT-3 / 175B 파라미터의 zero-shot 성능과 비교하였다. 논문에서는 중간값과 P3의 모든 prompt에 대해 cherry picking 없이 성능의 4분위수간 범위를 기록하였다. 그 결과 T0은 11개 중 9개의 held-out 데이터셋에서 모든 GPT-3 모델의 성능에 맞먹거나 능가하는 모습을 보여줬다. T0과 GPT-3 둘 다 NLI에서 학습되지는 않았으나 T0은 모든 NLI 데이터셋에서 GPT-3을 능가하는 모습을 보여줬다.

 

 더 많은 held-out task에서 모델을 평가하기 위해, BIG-bench의 서브셋에서 T0, T0+, T0++의 zero-shot 성능을 평가하였다. 그 결과 학습 데이터셋의 사이즈가 커짐에 따라서 모델의 성능도 향상되는 모습을 보여줬다.

 

그림 4. GPT-3와 비교하여 T0의 task 일반화 실험에 대한 결과

 

그림 5. BIG-bench의 서브셋에 대한 결과

 

5-2. Prompt Robustness

 

 논문의 두 번째 질문은 광범위한 prompt에서의 학습은 prompt의 워딩에 대한 robustness를 향상해 줄지이다. 논문에서는 학습 중에 사용되는 데이터셋 당 평균 prompt의 수($p$)와 데이터셋의 수($d$)의 효과에 대한 ablation 실험을 진행하였다.

 

Effect of More Prompts per Dataset  이 분석에서는 $d$를 고정하고 데이터셋 당 다양한 수의 prompt를 사용하는 모델과 비교하였다. T0은 데이터셋의 original task에 나타나지 않는 몇 개의 prompt에서 학습된다. 이 prompt들은 평균적으로 8.03의 $p$를 가진다. 논문에서는 T0을 다음과 같은 모델들과 비교하였다. 모든 모델은 똑같은 하이퍼파라미터와 똑같은 수의 step을 사용하여 학습되었다.

 

• $p = 1$: 랜덤 하게 선택된 하나의 original-task prompt
• $p = 0$: T5+LM
• $p = 5.7$: 모든 데이터셋에 대해 모든 original-task prompts

 

 그림 6을 보면 $p = 1$이 $p = 0$ 보다 상당히 나은 성능을 보여준다는 것을 알 수 있다. 그리고 $p = 5.7$의 경우 추가적인 성능 향상을 보여준다. 이것은 더 낫고 더 robust 한 일반화를 held-out task에서 보여주기 위해 데이터셋 당 더 많은 prompt에서 학습된다는 가설을 강화시키고 있다. 마침내, 논문에서는 데이터셋의 original-task와 관련 없는 prompt도 포함한 T0의 모든 prompt는 중간값 결과를 향상하고, 더욱 퍼진 결과를 얻을 수 있었다. 이는 non-original-task prompt에서의 학습 또한 유익하다는 것을 보여준다.

 

그림 6. 데이터셋 당 더 많은 prompt의 효과

 

Effect of Prompts from More Datasets  이 실험에서 $p$는 모든 가능한 prompts로 하고, $d$는 39 → 49 → 55(T0, T0+, T0++)로 증가하였다. 그림 7은 $d$가 39에서 49로 증가함에 따라 모든 5개의 held-out 데이터셋의 중간값은 상승하였다. 하지만, spread는 하나의 데이터셋에서만 줄어들었다. 49에서 55로 증가시켰을 때도 이와 유사한 모습을 보여줬다. 이를 통해 $d$를 증가시키는 것은 prompt의 워딩에 대한 모델의 robustness를 향상시키지는 않는다는 결과를 얻을 수 있었다.

 

그림 7. 더 많은 데이터셋으로부터의 prompt의 효과

 

Comparing T0 and GPT-3's robustness  T0은 GPT-3보다 prompt formulation에서 더 나은 tobust를 보여준다.

 

6. Discussion

 최근에 제안된 FLAN은 multitask prompt training을 통해 zero-shot 일반화를 가능하게 하는 것과 거의 동일한 방법을 공유한다. FLAN과 비교하여, T0과 T0++는 FLAN보다 10배 더 작은 사이즈임에도 불구하고 비슷하거나 더 나은 성능을 보여줬다.

 

 T0과 FLAN은 GPT-3의 Winogrande와 HellaSwag 성능보다 떨어지는 모습을 보여줬는데, 불완전한 문장을 마무리하는 것으로 형식화될 수 있는 coreference resolution 해결과 같은 task의 경우 prompt에 task instruction을 추가하는 것은 "대부분 중복"이라고 추측한다. 이 추측을 따라서 두 개의 데이터셋을 instruction 없이 재평가를 진행하였다. 그 결과 성능 향상이 일어났다.

 

 T0(11B 파라미터)과 비슷한 사이즈(8B 파라미터)에 대해 ablation을 진행하고 held-out task에서의 성능은 multitask prompted training후에 줄어든다는 것을 발견하였다. 여기서 multitask prompted training을 사용했을 때의 성능 향상은 최소 3B개 이상의 파라미터를 가지는 모델에 대해서만 발생한다는 것을 발견하였다(그림 8). 논문에서는 이러한 불일치를 설명할 수 있는 두 모델 간의 주요 차이점을 식별하였다.

 

1. 기존 LM처럼 학습되기 이전에 서로 다른 objective를 사용해 pre-train 된 encoder-decoder 모델을 사용. 그다음에 최종적으로 multitask mixture에서 fine-tune 함. → 이는 MLM이 가장 효과적인 pre-training 전략이라는 것을 설명해 줌.
2. 논문의 prompt가 길이 & 창의성 측면에서 더욱 다양함을 보여줬음. → prompt의 수를 늘리는 것은 성능에 영향을 줌 & 이런 다양성은 확실한 효과가 있음.

 

 

 

 

출처

https://arxiv.org/abs/2110.08207