Super-Natural Instructions: Generalization via Declarative Instructions on 1600+ NLP Tasks 논문 리뷰

The overview of this paper

 어떻게 NLP 모델들은 task instruction이 주어질 때 다양한 unseen task에 대해서 그렇게 잘 일반화할 수 있을까? 이 질문을 해결하기 위해 논문에서는 1,616개의 다양한 NLP task의 벤치마크와 이들의 전문가가 작성한 instruction을 포함하고 있는 Super-Natural Instructions를 소개하였다. 이 크고 다양한 task의 모음은 instruction 하에서 cross-task 일반화의 철저한 벤치마크를 보여주고 있다 - 모델이 task의 서브셋에서 instruction을 따르도록 학습시키고 남아 있는 unseen task에 대해서 평가하도록 하였다.

 

 게다가 논문에서는 다양한 문맥 instruction을 따르도록 학습되는 transformer 모델인 Tk-Instruct를 만들었다. 논문의 실험을 통해 Tk-Instruct가 기존 instruction-following model(GPT-3) 보다 더 나은 성능을 보여준다는 것을 보여줬다.

 

 

Table of Contents

1. Introduction

2. Super-Natural Instructions

3. Tk-Instruct: Learning to Follow Instructions at Scale

4. Benchmarking Cross-Task Generalization with Sup-NatInst

5. Experimental Results

6. Further Analysis

 

 

1. Introduction

 NLP 커뮤니티에서 LLM은 unseen task에 대한 일반화 능력 부분에서 큰 성공을 보여주고 있다. 하지만, InstructGPT 같은 모델이 주목할 만큼 다양한 설계 선택이 성공에 기여하는 바는 불투명하다. 특히, 주요 모델들에서 공개한 한정된 데이터 때문에 supervised data의 역할은 항상 understudy에 머물러 있었다. 게다가 연구적 측면에서 이렇게 거대한 모델을 늘리거나 다시 학습시키는 것을 불가능에 가깝다. 이러한 문제를 해결하기 위해서는 광범위한 NLP task의 큰 규모의 공공 벤치마크의 가용성과 unseen task에 대해서 일반화할 수 있는 모델의 발전과 평가를 용이하게 하기 위한 instruction이 필수적이다.

 

 이 논문에서는 instruction을 가지고 있는 광범위한 NLP task로 구성되어 있는 meta-dataset을 만들었다. 그리고 instruction이 주어지면 새로운 task를 수행할 수 있는 모델을 학습시켰다. 그리고 이 모델은 InstructGPT를 능가하였다. (16배 더 적은 파라미터로 말이다!)

 

그림 1. Sup-NatInst의 예시 task

 

 논문에서 사용한 데이터셋인 Super-Natural Instructions는 1,616개의 NLP task와 이들의 instruction을 포함하고 있다. 이 데이터셋에는 76개의 task 유형과 55개의 서로 다른 언어를 포함하고 있다. 각각의 task는 입력 텍스트를 task 출력과 의도되거나 의도되지 않은 출력을 설명하기 위한 다양한 예시를 매핑하기 위한 task 정의로 구성되어 있는 instruction과 쌍을 이루고 있다. (그림 1에서 예시 task를 확인) task와 이들의 intsruction은 88명의 NLP분야에 현역으로 계시는 분들의 도움을 받아 만들어졌다. 다양하고 큰 규모의 데이터는 task를 신중하게 train & test 세트로 분할시키고 SoTA 세트가 이들에서 어떻게 수행되는지 연구할 수 있게 도와준다. 표 1과 그림 2는 논문의 벤치마크의 task 다양성과 instruction 유형을 강조하였다.

 

표 1. Sup-NatInst와 다른 유명한 데이터셋들 간의 비교

 

그림 2. 다른 데이터셋들과의 비교. Sup-NatInst는 더욱 다양한 task 유형을 가지고 있다.

 

논문의 모델인 Tk-Instruct는 상황에 맞는 서술문 instruction이 주어진 task 입력을 변환하기 위한 생성 모델이다. training set에서의 모든 task instruction에 대한 T5 모델의 multi-tasl training에 의해 만들어지고, test set의 unseen task에서 평가된다. 신기하게도 11B Tk-Instruct는 175B InstructGPT를 영어를 포함한 다양한 언어 부분에서 능가하는 모습을 보여줬다.

 

 

2. Super-Natural Instructions

 Super-Natrual Instructions는 다양한 NLP task와 task를 순수 언어로 설명하는 instruction로 구성되어 있는 meta-dataset 이다.

 

Instruction schema.  모든 task instruction은 다음의 파트로 구성되어 있는 똑같은 균일한 schema를 따른다. 

 

• DEFINITION: 주어진 task를 자연어로 정의하고 입력 텍스트가 어떻게 출력 텍스트로 매핑되는지 정의
• Positive Examples: 입력의 샘플 & 이들의 알맞은 출력. 각각에 대한 짧은 설명을 포함하고 있음.
• Negative Examples: 입력의 샘플 & 이들의 틀린 출력. 각각에 대한 짧은 설명을 포함하고 있음.

 

Task instances.  각각의 task에 대한 instruction이 주어지면, 모델은 task의 인스턴스를 해결할 것으로 예측된다. 논문에서는 모든 task의 인스턴스를 조직하기 위해 통합 형식을 사용한다. 더욱 정확하게, 각각의 인스턴스는 텍스트 입력과 받아들여질 만한 텍스트 출력의 리스트로 구성되어 있다. 논문에서는 task 간의 밸런스를 맞추기 위해 각 task에서 인스턴스의 수를 6.5K로 제한하였다.

 

Diversity of tasks.  Super-Natural Instructions를 위한 task를 수집하는 것은 다양한 자연어 이해 task, domain, language를 커버하기 위해 세밀하게 감독되었다. 이 다양성을 더욱 잘 이해하기 위해, 논문에서는 3개의 다른 차원과 함께 task를 종합적으로 카테고리화하였다:

 

• Task Type: 인스턴스 입력으로부터 출력으로의 매핑 환경
• Language: 인스턴스의 언어를 나타냄
• Domain: task의 텍스트가 속해 있는 도메인을 나타냄

 

 이러한 카테고리화의 서로 다른 방법은 일반화의 서로 다른 센스를 연구하는 데 사용될 수 있다.

 

Statistics.  표 2는 벤치마크에 대한 다양한 통계를 보여준다. 종합적으로 데이터셋은 1,616개의 task와 5M의 인스턴스를 포함하고 있다. 평균적으로 각각의 instruction은 2.8개의 positive example과 2.4개의 negative example과 쌍을 이룬다. 평균적인 정의 문장의 길이는 56.6 단어이다.

 

표 2. Sup-NatInst의 통계

 

 

3. Tk-Instruct: Learning to Follow Instruction at Scale

Defining Generalization to Unseen Tasks.  각각의 task $t$는 이 task의 자연어 instruction $I_{t}$를 통해 정의된다. 그리고 각각의 task는 입력/출력 인스턴스 세트 $(X_{t}, Y_{t})$를 가진다. 모델 $M$은 입력 $x$와 task instruction $I_{t}$가 주어지면 출력 $y$를 생성한다: $M(I_{t}, x) = y, (x, y) \in (X_{t}, Y_{t})$. 논문에서는 모델 $M$을 관찰되지 않은 task에서 평가한다. 추론 시에 task를 학습하기 위한 신호의 유일한 소스는 task의 정의와 설명으로 구성되어 있는 문맥 instruction $I_{t}$이다.

 

Tk-Instruct.  논문에서는 task에 대한 instruction이 주어지면 task를 해결하기 위한 Sup-NatInst에서 meta-train 된 모델인 Tk-Instruct를 소개하였다. 이전의 연구들에서는 이러한 meta-training이 효과적이라는 것을 밝혔다. Sup-NatInst의 광범위한 task 때문에 이전보다 더 큰 규모에서 multi-task meta-training을 할 수 있었다. 논문에서는 실험과 분석을 T5 모델에 기반해서 진행하였다. 각각의 instruction $I_{t}$는 앞서 instruction schema에서 소개했던 것처럼 다양한 요소들로 구성되어 있기 때문에, 이러한 요소들을 텍스트 형식으로 매핑해서 입력 인스턴스 이전에 추가하였다. 기본값으로 논문에서는 가장 효과적인 instruction 요소를 사용하였다. 

 

 

4. Benchmarking Cross-Task Generalization with Sup-NatInst

4-1. Evaluation Setup

 

An Evaluation Split of Unseen Tasks.  논문에서는 거대한 task 모음인 Sup-NatInst를 두 개의 서브셋으로 나눴다: 하나는 평가, 하나는 supervision. 평가 task에 대해 논문에서는 수동으로 선택된 154개의 task를 나타내는 12개의 카테고리 모음을 선택하였다. Sup-NatInst의 크고 다양한 task는 평가를 위해 다양한 task 세트를 선택할 수 있게 해 줬다.

 

Divided Tracks for English and X-lingual Tasks.  Sup-NatInst는 다양한 언어에 대한 task로 구성되어 있다. 이는 모델의 unseen task에 대한 일반화 능력을 영어뿐만 아니라 다른 언어에 대해서도 평가할 수 있게 해 준다. 그래서 논문에서는 평가 task를 두 개의 트랙을 나누었다: English-only cross-task generalization(119 tasks) & cross-lingual cross-task generalization(35 tasks).

 

Evaluation Metrics.  task의 다양성과 open-ended 생성 환경 때문에, 논문에서는 종합 성능 결과를 기록하기 위해 ROGUE-L을 채택하였다. 이것은 광범위한 텍스트 생성 작업에 적용할 수 있는 소프트 문자열 중첩 메트릭이다.

 

4-2. Baselines and Existing Models

 

Heuristic baselines.  데이터에서 가능한 숏컷을 평가하기 위한 다음의 휴리스틱을 평가하였다. 

 

• Copying Demo Output: 랜덤 설명 예시의 출력을 카피한다. test task를 위한 라벨의 밸런스를 맞추기 때문에, 이 baseline의 성능은 random guess와 비슷하거나 분류 task를 위한 주요 baseline과 비슷할 것이다.
• Copying Instance Input: 주어진 인스턴스 입력을 카피한다. 이 전략은 타깃 출력이 입력과 상당히 오버랩되는 task에서 잘 작동한다. 

 

Off-the-shelf pre-trained language models.  논문에서는 instruction-specified 데이터로 fine-tune 되지 않은 기존의 LM을 평가한다. 논문에서는 Tk-Instruct의 상대로 11B T5를 평가하였다. T5의 빈 공간 채우기 pre-training objective 때문에 텍스트에 잘 진행되지 않는다. 그래서 논문에서는 T5의 LM-adapted 버전을 사용하였다. 이 버전은 language modeling objective로 추가적으로 학습되었다. 추가적으로 논문에서는 175B GPT-3도 평가하였다.

 

Instruction-tuned models.  논문에서는 Tk-Instruct와 language instruction을 따라서 fine-tune 된 기존의 모델들과 비교하였다: InstructGPT & T0.

 

Upper bound estimates.  논문에서는 oracle 모델을 task labeled 인스턴스에서 fine-tune 함으로써 unseen task에 대해서 모델의 일반화에 대한 상한을 측정하였다. 이 모델은 평가 task의 숨겨진 인스턴스를 관찰하기 때문에 정의에 따라 일반화 기반 모델에 대한 추정 상한선이다.

 

 

5. Experimental Results

5-1. Overall Results

 

 표 3은 전반적인 벤치마킹 결과를 요약하고 있다. 논문에서는 모든 method에 대한 가장 효과적인 instruction 요소를 포함하는 똑같은 입력 인코딩을 사용하였다. 서로 다른 task에 대한 모델의 일반화를 더욱 잘 이해하기 위해, 논문에서는 task 카테고리에 따라서 성능을 분해하였다 (그림 4).

 

표 3. Sup-NatInst의 테스트 세트의 unseen task에서의 서로 다른 메소드의 전반적인 성능

 

그림 3. 평가 task 유형 별 성능

 

Instruction-tuning은 unseen task에 대해 강력한 일반화를 가능하게 해 줌.  instruction-tuned 모델은 untuned LM & heuristic baseline과 비교해서 더 나은 성능을 보여준다. 이것은 모델이 instruction 데이터에서 학습함으로써 isntruction을 따르기 위해 학습함으로써 unseen task에 대한 새 instruction에 일반화할 수 있음을 나타낸다. T0은 예외적으로 T5-LM보다 살짝 나은 성능을 보여주는데, 이는 T0의 training data가 논문의 instruction 스타일과 매우 다르기 때문이라고 추측한다.

 

Tk-Instruct가 InstructGPT를 능가함.  논문의 Tk-Instruct는 InstructGPT보다 나은 성능을 보여준다. 심지어 English와 non-English 모두에서 최고의 성능을 보여준다. 그러나 InstructGPT의 훈련 데이터는 공개되어 있지 않기 때문에 평가 task와 겹치는지 여부가 명확하지 않다는 점에 유의하고 싶다.

 

개선에 대한 상당한 갭이 있음.  현재 모델의 인상적인 성능에도 불구하고, instruction-based 모델과 supervised training 방식 간에는 아직 상당한 갭이 있다.

 

5-2. Human Evaluation

 

 언어 생성 task에 대해 자동적 메트릭은 사람 평가의 근사치일 뿐이다. 그래서 논문에서는 사람 평가를 진행하였다. 결과로 나온 사람 평가 지표는 모델 예측이 적어도 정답 라벨만큼 좋은 것으로 평가된 빈도를 나타낸다. 이 지표의 이론상 상한은 모델이 모든 인스턴스에 대해 적어도 실측만큼 양호하다고 평가될 때 100%이다. 사람 평가 결과(그림 3)는 자동 메트릭과 매우 잘 일치하며 인간이 인식하는 모델의 품질을 확인한다.

 

그림 4. 사람 평가 vs. ROGUE-L

 

 

6. Further Analysis

6-1. Scaling Trends of Generalization

 

 논문에서는 3개의 scaling factor(training task의 수, task 당 인스턴스의 수, 모델의 크기)에 관한 Tk-Instruct의 일반화 성능을 연구하였다. 그림 5는 각각의 scaling에 따른 성능 변화를 보여준다.

 

그림 5. 모델 성능의 scaling trend. a: training task의 수 / b: training task 당 인스턴스의 수 / c: model size

 

관찰된 task가 많을수록 일반화가 향상됨.  논문에서는 Tk-Instruct를 전체 training set로부터 랜덤 하게 샘플링된 서로 다른 수의 task로 Tk-Instruct를 fine-tune 하였다. 그 결과 training에 사용되는 task의 수가 늘어남에 따라 모델의 일반화 성능은 log 선형적으로 증가하였다.

 

많은 수의 training 인스턴스는 일반화를 도와주지 않음 🛑.  fine-tuning에 사용되는 task 당 인스턴스의 수를 다양하게 해 봤다. supervised learning에서 깔려있던 베이스는 더 많은 training 인스턴스는 대게 도움이 된다는 것이었다. 하지만, 논문의 셋업에서는 task 당 64개의 인스턴스에 모델의 성능이 수렴하기 시작하는 것을 보여줬다. 많은 수의 training 인스턴스는 긴 학습 시간과 오버피팅의 위험을 이끌 뿐이었다.

 

instruction을 사용하여 거대 모델을 튜닝하는 것은 성능 향상을 이끎.  논문에서는 모델 규모의 효과 파악을 위해 Tk-Instruct의 사이즈를 여러 가지(small, base, large, xl, xxl)로 해서 평가하였다. (그림 5의 c) 논문에서는 모델의 크기를 키우는 것이 일관적으로 상당한 성능 향상을 가져온다는 것을 밝혀냈다. 그림 5의 a와 b를 합치면, 모델의 사이즈와 task의 사이즈 간에 상관성을 파악할 수 있다. 이는 training task의 다양성을 늘리는 것이 모델의 사이즈는 늘리는 것의 대안이 된다는 것을 알려준다.

 

6-2. Instructing with Different Elements

 

 논문에서는 서로 다른 instruction 요소 하에서 Tk-Instruct의 성능을 평가하였다.

 

표 4. 다양한 인코딩을 사용해서 학습되고 평가된 모델의 성능

 

서로 다른 instruction 요소의 이점.  그림 1에서 보이는 것처럼 Sup-NatInst는 task를 instruct 하기 위해 다양한 요소를 제공한다. 논문에서는 이러한 요소들의 서로 다른 조합을 서로 다른 모델을 사용하여 학습시켰다. 표 4의 대각선 셀들은 특정 instruction 인코딩에서 학습되고 평가되었을 때의 성능을 보여준다. 대각선 숫자들에 기반해서 task 정의를 포함하는 것은 모델이 더욱 잘 일반화하도록 도와준다는 것을 보여준다. 게다가 task 정의를 positive 설명 example과 묶는 것은 추가적 개선을 보여준다. 하지만 더 많은 설명 example을 추가하는 것은 무시해도 될 정도의 개선을 보여준다. negative example은 살짝 도움 되지만, explanation은 오히려 성능을 저하시킨다.

 

서로 다른 입력 인코딩에 대한 일반화.  논문에서는 특정 인코딩에서 학습된 모델이 다른 인코딩에 대해서도 잘 일반화할 수 있는지 조사하였다. 이는 표 4의 대각선에 있지 않은 셀들을 보면 알 수 있다. 이곳의 부정적인 결과는 definition-only 모델이 example-only test 인코딩에는 잘 일반화할 수 없음을 보여준다. 이와 유사하게 example-only 모델은 definition-only test 인코딩에는 잘 일반화할 수 없음을 보여준다. 하지만, definition과 example을 모두 포함하고 있는 인코딩에서 학습된 모델은 서로 다른 인코딩 변수에 대해서 놀라울 정도로 robust 한 모습을 보여준다.

 

 

 

 

출처

https://arxiv.org/abs/2204.07705

Super-NaturalInstructions: Generalization via Declarative Instructions on 1600+ NLP Tasks