Guess the Instruction! Flipped Learning Makes Language Models Stronger Zero-shot Learners 논문 리뷰

The overview of this paper

 Meta-training은 task instruction과 입력 인스턴스가 주어지면 타깃 라벨의 가능성을 최대화함으로써 다양한 downstream task에서 LM을 fine-tune 한다. 이 training은 모델의 zero-shot task 일반화를 향상시킨다. 하지만, meta-trained LM도 meta-training 중에 본 적 없던 새로운 라벨을 포함하는 task에 대해서 일반화하는데 어려움을 겪고 있다. 이를 해결하기 위해서 이 논문에서는 Flipped Learning을 제안하였다. 이 방법은 기존의 meta-training과 반대로, 입력 인스턴스와 라벨이 주어지면 task instruction을 생성하도록 LM을 학습시킨다. Flipped(Flipped Learning의 줄임)는 unseen 라벨에 대해서 큰 성능 향상을 보여줬다. 이는 Flipped의 강력한 task 일반화는 새로운 라벨에 대한 개선된 일반화로부터 온다는 것을 가리킨다.

 

 

Table of Contents

1. Introduction

2. Flipped Learning

3. Experiments

   3-1. Experimental Setup

   3-2. Experimental Results

4. Ablation Studies

 

 

1. Introduction

 이전 연구들에서는 meta-training이 zero-shot task 일반화에서 상당한 성능 향상을 이끈다는 것을 보여줬다. 하지만, meta-trained LM들은 서로 다른 라벨 단어들에 민감하해서 새로운 라벨을 포함하는 task에 대해 일반화하는 것에는 어려움을 겪고 있었다. 

 

 이 논문에서는 meta-training의 대안이 되는 방법인 Flipped Learning을 제안하였다. 이 방법은 입력 인스턴스와 라벨이 주어질 때 instruction을 생성하도록 LM을 학습시킨다. 이 방법은 기존의 LM을 학습시키는 방법들과 다른 점을 가진다. 기존의 방법들은 다음과 같은 방법으로 모델을 학습시킨다.

 

• DIRECT: instruction & 입력 인스턴스가 주어지면 라벨을 생성하도록 학습
• CHANNEL: 라벨이 주어지면 instruction과 입력 인스턴스를 생성하도록 학습

 

 또한 논문에서는 Flipped Learning에 unlikelihood loss를 추가한다. 이는 LM이 부정확한 라벨 옵션에 대해서는 task instruction을 생성하지 않게 만든다. 추론 시에 LM은 Flipped라고 부르는 Flipped Learning을 통해 학습되고, task instruction을 생성하기 가장 적절한 라벨 옵션을 선택해서 생성한다. 이 과정이 그림 1에 나타나 있다.

 

그림 1. 라벨 옵션(Yes/No)로부터 적절한 라벨(Yes)를 선택하기 위한 Direct, Channel, Flipped의 추론

 

 Direct 방식으로 학습된 기존의 meta-trained LM인 T0과 T0에 비해 5% 정도의 계산량을 사용한 논문에서 구현한 Flipped로 meta-train한 T5를 비교하였다. BIG-Bench의 14개의 데이터셋에서 평가를 진행한 결과 Flipped가 효과적이라는 것을 보여준다 (그림 2).

 

그림 2. BIG-Bench 벤치마크로부터 14개 데이터셋에서의 평균 정확도. Flipped가 가장 좋은 성능을 보여줌

 

 논문에서는 Flipped가 unseen task에 대해서 이렇게 강력한 zero-shot 일반화 능력을 보여주는 것이 unseen 라벨에 대한 개선된 일반화 능력 때문이라고 가정하였다. 이 가설을 증명하기 위해 표면상 다른 형태이고 의미는 같은 다양한 라벨 쌍에서 평가를 진행하였다. 그 결과 Flipped는 라벨 일반화 능력을 상당히 향상시킨다는 것을 보여준다. 이는 Flipped Learning이 라벨에 맞추기보다는 생성하는 것에 맞추기 때문에, Flipped Learning은 오버피팅을 피하고, 개선된 라벨 일반화를 보여준다.

 

 논문의 contribution을 요약하면 다음과 같다.

 

• 입력 인스턴스와 라벨의 연결이 주어지면 task instruction의 가능성을 계산하는 새로운 meta-training method인 Flipped Learning을 제안하였다. unlikelihood loss를 추가함으로써 입력 인스턴스-라벨 상관성에 의존하는 task instruction을 생성하는 LM을 만들었다. 🤖
• BIG-Bench로부터 14개의 데이터셋에서 11B Flipped가 meta-trained T0-11B 뿐만 아니라 16배 더 큰 GPT-3를 능가하는 모습을 보여줬다. 14개의 추가적 영어 NLP task에서 평가를 진행했을 때, Flipped는 모든 baseline을 능가하는 성능을 보여줬다. 🔥
• Flipped는 특히 meta-training 중에 보지 못한 라벨에 대해 더욱 효과적인 일반화를 보여줬다. ✨

 

 

2. Flipped Learning

2-1. Inference of Probabilistic LMs

 

 논문에서는 meta-training과 평가를 위해 라벨 옵션을 가지고 있는 분류 & multi-choice task에 집중하였다. 주어진 task $T = \left\{ x, Y \right\}$에 대해, $x$는 입력 인스턴스이고, $Y$는 라벨 옵션 세트이다. 데이터 인스턴스를 prompt 버전 $\left\{ [I, x], L\right\}$ 으로 변환한다. $\left\{ [I, x], L\right\}$에서 $[I, x]$는 자연어 instruction $I$를 포함하는 prompt 입력 인스턴스이고, $L = \left\{ l_{1}, \cdots, l_{k}\right\}$는 자연어 라벨 옵션 세트인데, 여기서 $l_{i} = v_{I}(y_{i})$이고 $v_{I}$는 $I$에 해당하는 verbalizer이다. 추론 시의 목표는 $I$와 $x$가 주어지면 $L = \left\{ l_{1} \cdots l_{k}\right\}$로부터 알맞은 $l_{i}$를 선택한다.

 

DIRECT.  task instruction과 입력 인스턴스가 주어지면 라벨의 조건부 확률을 계산한다. 추론 시에 가장 높은 조건부 확률을 가지는 라벨을 선택한다. 이 방법은 LM의 zero-shot 추론에 사용되는 가장 일반적인 방법이다.

 

 

CHANNEL.  라벨이 주어지면 instruction & 입력 인스턴스의 조건부 확률을 계산한다. 베이즈 규칙을 사용해서 확률은 다음과 같이 재 파라미터화 된다. 

 

 

Flipped Learning.  논문에서 제안된 방법으로, 입력 인스턴스 & 라벨이 주어지면 task instruction의 조건부 확률을 계산한다. 이전 방법들과 달리 $[I, x]$를 $I$와 $x$로 분리하고 베이즈 규칙을 사용하여 조건부 확률을 다음과 같이 재 파라미터화 하였다.

 

 

 $P(I|x, l_{i})$를 고려함으로써, LM이 task instruction에 더 잘 집중하도록 해주었다. Flipped Learning의 방식이 생성적 question answering과 비슷하다고 생각할 수 있지만, Flipped는 질문에 대한 대답이 아닌 task 일반화를 위한 task instruction을 생성한다.

 

2-2. Meta-training using Flipped Learning

 

 meta-training 중에 unlikelihood loss를 추가하는 것을 필요로 하는 $P(I|x, l_{i})$를 활용하기 위해 어떻게 LM을 최적화하는지 설명하겠다. task instruction $I = (I_{1}, \cdots, I_{T})$가 주어지면, LM 손실 함수를 다음과 같이 나타낸다.

 

 

 여기서 $l_{c}$는 알맞은 라벨 옵션에 해당한다. 이 손실 함수를 최소화함으로써 LM은 알맞은 라벨 옵션과 입력 인스턴스가 주어졌을 때 $I$를 생성하도록 학습된다.

 

Unlikelihood Loss.  사전 실험으로부터 오직 $L_{LM}$을 사용해서  LM을 meta-train 하는 것은 입력 인스턴스와 라벨 간의 상관성을 무시하게 하는 결과를 낳았다. 논문에서는 이것이 LLM의 숏컷 학습 때문이라고 추측하였다. 입력 인스턴스와 알맞은 라벨 간의 상관성 신호를 증대하기 위해 논문에서는 meta-training 중에 unlikelihood loss를 추가하였다. 

 

 

 여기서 $l_{c'}$은 알맞지 않은 라벨 옵션 세트인 $L_{C'} = \left\{ l|l \in L, l \neq l_{c} \right\}$로부터 랜덤하게 샘플링된 알맞지 않은 라벨에 해당된다. 이 unlikelihood loss는 라벨 옵션이 입력 인스턴스와 상관없다면 LM이 task instruction을 생성하지 않게 한다. 따라서 Flipped Learning의 최종 training objective는 $L_{LM}$과 $L_{UL}$의 가중치 합이 된다.

 

 

 이 식에서 $\lambda$는 하이퍼 파라미터다. likelihood와 unlikelihood loss를 최적화 함으로써 LM은 알맞은 라벨이 주어질 때 instruction을 생성하고, 알맞지 않은 라벨이 주어질 때 instruction을 생성하지 않도록 최적화된다. 이는 입력 인스턴스와 알맞은 라벨 간의 상관성을 강화시킨다.

 

 

3. Experiments

3-1. Experimental Setup

 

Training.  meta-training을 위해, T0 meta-training 데이터셋의 서브셋을 활용하였다: 4개의 cluster에서 총 20개의 데이터셋을 활용하였다. 논문에서는 라벨 옵션이 있는 task에서만 학습을 하고, 라벨 옵션이 없는 task에 대해서는 학습을 하지 않았는데, 이는 Flipped Learning이 알맞지 않은 라벨에서 unlikelihood training을 위한 라벨 옵션을 필요로 하기 때문이다.

 

Evaluation.  BIG-Bench의 14개의 unseen task에서 일반화 성능을 측정하였다. 각각의 task에서 각 task에 대한 하나의 instruction의 정확도를 기록하였다. 추가적으로 14개의 English NLP unseen task(7 분류 tasks + 7 multi-choice tasks)에서 평가를 진행하였다. 또한 평균 표준편차 또한 기록하였는데, 표준편차는 평가 instruction의 서로 다른 워딩에 대한 robustness를 평가한다.

 

Baselines.  논문에서는 Flipped Learning의 효과를 관찰하기 위해 여러 baseline을 평가하였다.

 

• T0-3B: 3B 크기의 meta-trained LM
• DIRECT: 3B 크기의 meta-trained LM. T0-3B와 똑같은 language modeling objective를 사용하지만, 논문의 학습 구성을 사용.
• CHANNEL: 3B 크기의 meta-trained LM. noisy channel language modeling을 사용한 3B meta-trained LM을 사용.
• Flipped-3B: Flipped Learning을 사용한 3B LM.
• FLipped-11B: Flipped Learning을 사용한 11B LM.
• 175B GPT-3
• 540B PaLM

 

3-2. Experimental Results

 

MAIN RESULTS

 

표 1. 14개의 BIG-Bench task에서 task 일반화 성능

 

DIRECT는 T0-3B를 능가.  논문에서 구현한 DIRECT는 T0을 학습하는데 사용한 데이터셋의 절반만 사용했음에도 불구하고 T0-3B를 상당히 능가하는 모습을 보여줬다. 이는 논문의 baseline들이 유망한 성능을 가지고 있다는 것을 가리킨다. T0-3B와 DIRECT는 똑같은 training objective에서 학습되었으나 오직 training 구성에서 차이를 가지고 있었을 뿐이다. 이는 논문의 training 세팅이 meta-trained LM의 task 일반화 성능을 평가하는데 최적이라는 것을 보여준다. 논문에서는 이러한 성능 개선이 이뤄진 데는 3가지 요인이 있다고 설명했다.

 

1. 5%의 토큰 업데이트에 대해 학습 → 오버피팅을 피할 수 있게 해줌
2. T0-3B와 달리 학습과 평가 중에 EOS를 포함
3. meta-training 중에 sequence-packing 사용 ❌

 

CHANNEL은 task 일반화에 효과적이지 않음.  CHANNEL은 DIRECT와 T0보다 상당히 떨어지는 모습을 보여줬다. 많은 unseen task에 대해서 거의 random guess에 가까운 모습을 보여줬다. 이는 zero-shot 세팅에서의 instruction이 DIRECT 모델과 달리 CHANNEL method에 대해서 task 일반화 성능을 약화시킨다는 것을 가리킨다. 논문에서는 이것이 prompt 입력이 대부분 question-answer 형식이라 CHANNEL에는 맞지 않기 때문이라고 추측하였다.

 

Flipped는 baseline을 능가.  표 1의 14개의 BIG-Bench task에 대해서, Flipped-3B는 똑같은 사이즈의 meta-trained 모델을 상당히 능가하는 모습을 보여줬다. 심지어는 4배 큰 T0-11B보다도 나은 성능을 보여줬다. 이 결과는 scaling law의 효과가 meta-trained 모델의 zero-shot 일반화에 대해 강력함을 보여준다. Flipped-11B는 Flipped-3B보다 더 나은 성능을 보여준다. Flipped-11B보다 16배 더 큰 few-shot 모델인 3-shot GPT-3와 비교해도, Flipped-11B가 더 좋은 성능을 보여준다. 50배 큰 모델인 PaLM과 비교했을 때, 14개의 task 중 4개의 task에서 더 나은 모습을 보여줬다. 이것은 Flipped가 unseen task에 대해서 일반화하는데 효과적이라는 것을 보여주고, 더욱 큰 사이즈의 LM과 비교해도 최고의 zero-shot 성능을 보여준다는 것을 알 수 있다.

 

 표 2에서 보이는 7개의 분류 task와 7개의 multi-choice task로 이루어져 있는 14개의 일반적인 English NLP task들에 대해, Flipped-3B는 동 사이즈 모델을 큰 마진으로 능가하고, T0-11B와의 성능 갭을 크게 줄였다. 또한 Flipped는 다른 meta-trained baseline 모델과 비교하여 다양한 서로 다른 평가 instruction 중에 가장 낮은 표준 편차를 보여줬다. 이것은 Flipped가 zero-shot task 일반화에 효과적일 뿐만 아니라 instruction의 서로 다른 형태에 robust 함을 보여준다.

 

표 2. 14개의 English NLP task에서 zero-shot task 일반화 성능

 

ANALYSIS OF FLIPPED

 

Flipped는 unseen 라벨을 가지는 task에 대해서 baseline을 상당히 능가함.  논문에서는 처음에 Flipped가 기존 baseline을 능가하는 성능을 보여준 task를 분석해서 분명한 상관관계를 파악한다. Flipped는 특히 meta-training 중에 보지 못한 많은 라벨 옵션을 포함하는 task에서 특히 강력한 모습을 보여준다. 표 2를 보면 본 적 있는 라벨을 포함하고 있는 RTE, WSC, WiC 데이터셋에서는 DIRECT meta-trained LM이 좋은 성능을 보여주고, 본 적 없는 라벨을 포함하고 있는 CB, ANLI 데이터셋에 대해서는 Flipped가 좋은 성능을 보여준다. 이는 Flipped의 효과적인 라벨 일반화의 결과라고 볼 수 있다. T0과 DIRECT의 예측은 training 중에 본 라벨 옵션에 크게 편향되어 있다. 반면에 Flipped는 밸런스 잡힌 예측을 만들어 낸다.

 

 표 2의 multi-choice task에 대해서, Flipped는 대부분의 task에서 동 사이즈 meta-trained LM에 비해 능가하는 성능을 보여준다. 게다가, Flipped는 BIG-Bench에서 T0-11B를 능가하는 성능을 보여줬다. 이는 이 task가 대부분 unseen 라벨로 구성되어 있기 때문이다. 이러한 발견으로부터 논문에서는 Flipped의 강력한 zero-shot task 일반화는 강력한 라벨 일반화 능력으로부터 온다고 가정하였다.

 

Flipped는 의미적으로 똑같은 unseen 라벨에 일반화함.  앞선 가설을 테스트하기 위해 논문에서는 Flipped의 일반화 성능을 라벨 옵션의 형식을 다양하게 함으로써 다른 baseline들과 비교함으로써 분석하였다. 라벨 옵션의 형태는 달리하였지만 그 라벨이 지니는 의미는 같게 하였다. 평가에는 5개의 분류 데이터셋을 사용하였다: 3개의 unseen task(RTE, CB, WSC), 2개의 seen task(IMDB, PAWS)

 

그림 3. 3개의 unseen task와 2개의 seen task에서의 라벨 일반화 성능

 

 그림 3은 T0-3B, DIRECT, T0-11B, Flipped-3B의 라벨 일반화 성능을 보여준다. unseen task에 대해 Flipped는 동 사이즈의 다른 모델들보다 좋은 성능을 보여주고, 4배 큰 모델들에 대해서도 마찬가지였다. 이것은 Flipped가 다양한 새로운 라벨에 대해서도 일반화할 수 있다는 것을 보여주는데, 이는 직접 프롬프트를 통해 훈련된 더 큰 meta-trained LM도 할 수 없는 것이다. 비록 baseline 모델이 서로 다른 라벨 쌍 중에서 최고 정확도에서 Flipped를 능가하지만 이는 대부분 meta-training 중에 본 적 있는 라벨에 대해서만이다.

 

 3개의 unseen task에 대한 실험 결과를 보면, Flipped는 2개의 unseen task에서 baseline을 상당한 마진으로 능가하는 모습을 볼 수 있다. 이것은 기존의 meta-training이 특히 본 적 있는 task에 대해서 라벨 오버피팅을 불러온다는 가정을 강화하고, Flipped Learning은 이를 라벨을 생성하는 대신 라벨 옵션에 맞춤으로써 회피할 수 있었다.

 

 

4. Ablation Studies

4-1. Effect of Unlikelihood Training

 

 앞서 말했던 것처럼 논문에서는 Flipped Learning에 unlikelihood loss가 추가되지 않으면 입력 인스턴스-라벨 간의 상관성을 무시한다는 것을 관찰하였다. 이는 성능에 상당한 해를 끼치게 된다. 논문에서는 Flipped의 강력한 일반화가 단지 UL(unlikelihood loss)로부터 온다면 강력한 baseline 모델인 DIRECT에 UL을 추가해도 강력할까?라는 가설을 세웠다. 그림 4에서 DIRECT+UL의 성능을 보면 unlikelihood training은 특히 분류 task에 대해서 task 일반화 성능을 약화시키는 반면에, multi-choice task에 대해서는 상당한 향상을 보여준다. 이 두 task는 모두 Flipped가 그리 좋은 모습을 보여주지 못한 task이다. 이것은 Flipped Learning의 효과가 unlikelihood training으로부터 오는 것이 아니라는 것을 보여준다. 이보다는 unseen task에 대해 효과적으로 일반화하기 위해서는 라벨 & instruction 공간을 뒤집고 UL을 사용해야 한다.

 

그림 4. 다양한 수의 데이터셋에서 학습한 Flipped. Flipped w/o UL은 unlikelihood training이 없는 Flipped를 가리킨다.

 

4-2. Number of Datasets

 

 데이터셋의 수가 늘어날 때 direct prompting을 통한 meta-trained LM은 개선된 성능을 보여준다. 그리고 Flipped도 이와 비슷한 양상을 보인다 (그림 4 확인). 흥미롭게도 8개의 데이터셋을 사용해서 meta-train 한 Flipped는 20개의 데이터셋을 사용해서 학습한 DIRECT보다 multi-choice task에서 더 좋은 모습을 보여줬다. 또한 Flipped는 오직 20%의 데이터셋만을 사용하고 5%의 토큰 업데이트만 함으로써 T0-3B를 능가하였다. 이는 Flipped Learning이 적은 수의 데이터셋을 사용하고도 unseen task에 대해 일반화할 수 있음을 보여준다. 이를 통해 효과적 & 효율적 zero-shot learner를 만들 수 있었던 것이다.

 

 

 

 

출처

https://arxiv.org/abs/2210.02969

Guess the Instruction! Flipped Learning Makes Language Models Stronger Zero-Shot Learners