Self-Instruct: Aligning Language Model with Self Generated Instructions 논문 리뷰

The overview of this paper

 거대 instruction-tuned LM은 새로운 task에 대해 zero-shot으로 일반화하는 좋은 능력을 보여주고 있다. 그럼에도 불구하고 이들은 양, 다양성, 창의성이 한정되어 있는 human-written instruction data에 크게 의존하고 있다. 이는 tuned model의 일반화 능력을 방해한다. 논문에서는 LM의 생성을 활용해서 PLM의 instruction-following 능력을 개선시켜 주는 프레임워크인 Self-Instruct를 소개하였다.

 

 Self-Instruct의 파이프라인은 LM으로부터 instruction, input, output 샘플을 생성하고, 이들을 사용해서 기존 모델을 fine-tune 하기 전에 기준에 따라 가지치기를 진행한다. Self-Instruct를 vanilla GPT3에 적용한 결과 Super-NatrualInstruction에서의 모델보다 33% 정도의 성능 개선을 보여줬다. 그리고 InstructGPT-001과 거의 차이가 나지 않는 성능을 보여줬다.

 

 Self-Instruct는 PLM을 instruction과 align하기 위한 거의 annotation-free 한 method를 제공하고, 논문에서 사용된 대규모 통합 데이터셋은 instruction tuning에 대한 향후 연구를 용이하게 하기 위해 공개하였다.

 

 

Table of Contents

1. Introduction

2. Method

3. Self-Instruct Data from GPT3

4. Experimental Results

5. Discussion & Limitation

 

 

1. Introduction

 지금까지 자연어 instruction을 따를 수 있는 LM을 만들기 위한 수많은 노력들이 있었다. 이를 위해 2가지의 중요한 요소가 필요하였다: large PLM, humna-written instruction data. 하지만 이러한 프로세스는 알다시피 돈이 많이 들어가고 대부분의 사람이 생성한 instruction은 유명한 NLP task에 대한 것이 많기 때문에 다양성에 제약을 받는다. 이러한 제약 해결을 위해 instruction-tuned 모델의 퀄리티를 계속적으로 개선하기 위해 대안이 되는 approach의 개발이 필요하다.

 

 이 논문에서는 모델 자신으로부터 나온 instruction signal을 사용해서 PLM을 instruction-tune 하기 위한 반자동 프로세스인 Self-Instruct를 소개하였다. 전반적인 프로세스는 반복적 bootstrapping 알고리즘인데, 이 프로세스는 수동으로 작성된 instruction의 한정된 seed set에서 시작해서 전반적인 생성을 가이드하기 위해 사용된다. 

 

1. 새 task에 대해 instruction을 생성하도록 모델을 촉진한다. 이 단계는 기존 instruction 모음을 활용해서 더욱 광범위한 instruction을 생성하게 도와준다.
2. 새롭게 생성된 instruction 세트가 주어지면, 프레임워크는 instruction tuning을 지도하기 위해 나중에 사용된느 이를 위한 input-output instance를 생성한다. 
3. 마지막으로 low-quality & 반복된 instruction을 가지치기 위한 다양한 방법이 사용된다.

 

 이러한 과정이 많은 수의 task를 얻게 될 때까지 반복된다.

 

 이 모델에 대한 반복적인 Self-Instruct 프로세스는 다음과 같은 특징을 갖는다.

 

• 52k instructions + 82k input & target output
• generated data는 다양한 창의적 task를 포함
• 50% 이상의 instruction이 seed set의 instruction과의 overlap이 0.3 이하의 ROUGE-L 값을 가짐

 

 이렇게 해서 결과로 나온 데이터에 대해 GPT3를 fine-tune 함으로써 GPT3(Self-Inst)를 만들 수 있었다. 그리고 이 모델은 기존의 모델들과 비교해서 더 뛰어난 성능을 보여줬는데, 이 부분에 관해서는 나중에 실험 부분에서 더욱 자세하게 알아보도록 하겠다.

 

 요약해서 이 논문의 contribution은 다음과 같다.

 

1. 최소한의 human-labeled data를 사용하는 instruction following 능력에 대한 method인 Self-Instruct 제안
2. 광범위한 instruction-tuning 실험을 통해 Self-Instruct의 효과 설명
3. 52k 개의 instruction을 갖는 거대 통합 데이터셋 공개 & 향후 instruction-following 모델을 만들고 평가하기 위한 손수 작성된 새로운 task set 공개

 

2. Methods

대규모 instruction data를 검사하는 건 사람에게 어려운 일이다. 왜냐하면 1) 새로운 task에 대해서 창의성을 가지고 instruction을 제작, 2) 각 task에 대해 labeled instance를 작성할 수 있는 전문 지식이 필요하기 때문이다. 이 섹션에서는 Self-Instruct를 위한 프로세스의 디테일을 설명하도록 하겠다. Self-Instruct는 vanilla pre-training language model을 사용해서 task를 생성하는 파이프라인으로 instruction을 생성해서 이렇게 생성된 데이터로 LM이 instruction을 더욱 잘 따르도록 instruction tuning을 수행한다. 이 파이프라인은 다음의 그림 1에 묘사되어 있다.

 

그림 1. Self-Instruct에 대한 개요

 

2-1. Defining Instruction Data

 

 논문에서 생성하고자 하는 instruction data는 instruction set $\left\{ I_{t}\right\}$로 여기서 각각의 값은 task $t$를 자연어로 정의한다. 그리고 각각의 task는 하나 또는 더 많은 input-output instances $(X_{t}, Y_{t})$를 가진다. 모델 $M$은 task instruction $I_{t}$와 instance input $x$가 주어지면, output $y$를 생성한다: $(x, y) \in (X_{t}, y_{t})$에 대해 $M(I, x) = y$. 그렇지만 instruction과 instance input 간에는 엄격한 경계가 없는 경우가 많다. 데이터 형식의 다양성을 촉진하기 위해 추가적 input을 필요로 하지 않는 이러한 instruction을 허락해 준다.

 

2-2. Automatic Instruction Data Generation

 

 instruction data를 생성하기 위한 파이프라인은 총 4개의 단계로 구성되어 있다. 이 단계들에 자세하게 알아보도록 하자.

 

Instruction Generation.  논문에서는 다양한 instruction set를 bootstrapping 방식으로 생성하는 방법인 Self-Instruct를  제안한다. task pool을 author들에 의해 작성된 175개의 task로 초기화하였다(각 task에 대해 1 instruction & 1 instance). 모든 스텝에 대해 이 task pool을 in-context example로 해서 8개의 task instruction을 샘플링한다. → 다양성 증진을 위해 6 human-written tasks + 이전 스텝의 2 model-generated tasks.

 

Classification Task Identification.  이를 진행하는 이유는 classification과 non-classification task에 대한 2가지의 서로 다른 approach가 필요하기 때문이다. 이 과정에서는 생성된 instruction이 classification인지 아닌지 판별한다. 그다음에 12 classification instruction & 19 non-classification instruction을 사용해서 vanilla GPT3 few-shot이 이를 결정하도록 하게 한다.

 

Instance Generation.  instruction & task 유형이 주어지면 각 instruction에 대한 instance를 독립적으로 생성한다. 이것이 어려운 이유는 instruction에 기반해서 모델이 타깃 task가 무엇인지 이해해야 하고, 어떤 추가적 input 필드가 필요한지 알아내야 하고, output를 출력함으로써 task를 최종적으로 완료할 수 있어야 하기 때문이다. 논문에서는 PLM이 다른 task로부터 instruction-input-output in-context example로부터 prompt 될 때 이를 성취할 수 있다는 것을 발견하였다. 이를 위한 두 가지 방법이 있는데 하나씩 살펴보겠다.

 

• Input-first Approach: LM에게 instruction에 따라 먼저 input 필드를 제시한 다음 해당 출력을 생성하도록 요청할 수 있다. 이 생성 순서는 모델이 instruction 및 input에 응답하는 데 사용되는 방식과 유사하지만 여기서는 다른 task의 in-context example을 사용한다. 그렇지만 이 방식은 하나의 라벨에 대해 편향된 input을 생성할 수 있다. 특히 분류 task에 대해서 말이다. 그래서 분류 task를 위한 또 다른 방법이 제안된다.
• Output-first Approach: 가능한 클래스 라벨을 생성하고 각각의 클래스 라벨에 input을 생성을 조정한다. 

 

 Input-first Approach와 Output-first Approach가 사용되는 경우를 구분해 보면 다음과 같다.

 

• output-first approach: classification tasks
• input-first approach: non-classification tasks

 

Filtering & Postprocessing.  다양성을 위해 ROGUE-L이 기존 instruction에 0.7보다 적을 때 새로운 instruction을 task pool에 추가한다. 또한 LM에 의해 처리할 수 없는 구체적인 키워드(ex. 이미지, 그래프, 표)를 포함하고 있는 instruction은 제외한다. 그리고 각 instruction에 대한 새로운 instance를 생성할 때, 완전히 똑같은 instance나 입력은 같지만 다른 output을 가지는 instance는 필터링해서 걸러낸다.

 

2-3. Fine-tuning the LM to Follow Instructions

 

대규모 instruction 데이터 생성 후에 이 데이터를 기존 LM을 fine-tune 하는 데 사용한다. 이를 위해 instruction & instance input을 연결해서 prompt로 만들고 모델이 instance output을 만들도록 학습시킨다. 그리고 모델이 서로 다른 형식에 대해 robust 하게 만들기 위해 다양한 template을 사용한다. 

 

 

3. Self-Instruct Data from GPT3

 이 섹션에서는 Self-Instruct로부터 만들어진 데이터에 대한 개요를 보여준다.

 

3-1. Statistics

 

 표 1은 생성된 데이터의 통계를 보여주고 있다. 논문에서는 52k 개 이상의 instruction을 생성하고, 82k 개 이상의 instance를 생성하였다. 이 수는 필터링을 거치고 남은 instruction과 instance의 수이다.

 

표 1. generated data의 통계

 

3-2. Diversity

 

 어떤 유형의 instruction이 생성되었는지와 얼마나 다양한 지 연구하기 위해 생성된 instruction에서 verb-noun 구조를 판별하였다. 가장 흔하게 나타난 20개의 verb root와 이들의 4개의 direct noun object를 그림 2에서 묘사하고 있다. 전반적으로 다소 다양한 의도와 텍스트 형식이 instruction에 나타나 있다.

 

그림 2. 20개의 가장 흔한 root verbs(안쪽 원) & 이들의 top-4 direct noun objects(바깥 원)

 

 논문에서는 추가적으로 생성된 instruction이 seed instruction과 얼마나 다른지 연구하였다. 이를 위해 생성된 각 instruction에 대해 175개의 seed instruction에 대해 가장 좁은 TOGUE-L 오버랩을 계산하였다. ROUGE-L score의 분포가 그림 3에 나타나 있다. 이 분포를 살펴보면 괜찮은 수의 새로운 instruction이 seed와 많은 오버랩을 가지지 않고 있음을 알 수 있다. 또한 instruction의 길이, instance input, instance output에 대한 다양성을 그림 4에서 설명하고 있다.

 

그림 3. 생성된 instruction과 가장 비슷한 seed instruction 간의 ROUGE-L score 분포

 

그림 4. 생성된 instruction의 길이, input, output 분포

 

3-3. Quality

 

 generated instruction의 퀄리티를 검사하기 위해 총 200개의 instruction을 랜덤 하게 샘플링하고 instruction 당 하나의 instance를 랜덤하게 선택한다. 그다음에 expert annotator에게 instruction에 대해 각 instance가 알맞은지 아닌지를 물어본다. 표 2에서의 평가 결과는 대부분의 generated instruction이 의미가 있지만, 반면에 generated instance는 더 많은 noise를 함유하고 있을 수도 있다고 보여준다. 하지만 논문에서는 error가 섞여 있어도 대부분의 것들은 알맞은 형식 또는 부분적으로 알맞은 형식이라고 주장하였다. 이는 모델이 instruction 따르도록 학습시킬 때 유용한 지표를 제공 가능하게 해 준다. 

 

표 2. instruction, input, output에 대한 데이터 퀄리티 리뷰

 

 

4. Experimental Results

 다양한 instruction tuning 셋업에서 모델의 퀄리티를 비교하고 측정하기 위한 여러 가지 실험을 진행하였다.

 

4-1. GPT3(Self-Inst): fine-tuning GPT3 on its own instruction data

 

 instruction-generated instruction 데이터와 함께, 논문에서는 GPT3 모델 자신에 대해 instruction tuning을 진행하였다. 2-3에서 설명했던 것처럼 instruction과 input을 연결하기 위해 다양한 template을 사용하였고 output을 생성하기 위해 모델을 학습시켰다.

 

4-2. Baselines

 

Off-the-shelf language models.  이 baseline들은 off-the-shelf LM이 pre-training 직후에 instruction을 따를 수 있는지를 나타낼 것이다. T5-LM & GPT3를 평가하였다.

 

Publicly-available instruction-tuned models.  T0과 Tk-Instructe는 2개의 instruction-tuned model이고, 이들은 많은 NLP task에 대해 instruction을 따를 수 있다. 이 두 모델은 T5로부터 fine-tune 되었고, 둘 다 publicly available 하다.

 

Instruction-tuned GPT3 models.  InstructGPT도 평가하였다. SuperNI 실험에 대해서는 text-davinci-001만 사용하였는데, 최신 버전들은 최근의 유저 데이터로 학습되어 SuperNI의 평가 세트를 이미 봤을 수도 있기 때문이다.

 

 추가적으로 Self-Instruct training을 다른 publicly available instruction tuning data와 비교하기 위해 PromptSource(T0)와 SuperNI(Tk-Instruct)로부터의 데이터를 사용하여 GPT3 모델을 추가적으로 fine-tune 하였다. 

 

4-3. Experiment 1: Zero-shot Generalization on SuperNI benchmark

 

 논문에서는 처음에 zero-shot 방식으로 전형적인 NLP task에 대한 instruction을 따르기 위한 모델의 능력을 평가하였다. 이를 위해 각 task 당 100개의 instance로 이루어진 119개의 task로 구성되어 있는 SuperNI 평가 세트를 사용하였다. 이 실험에서 주로 zero-shot 셋업에 집중하였는데, 모델은 오직 task의 설명만 주어진다.

 

Results.  논문에서는 표 3의 결과로부터 다음의 해석을 얻을 수 있었다. Self-Instruct는 GPT3의 instruction-following 능력을 향상시켰다. SuperNI에서 학습되지 않은 다른 모델과 비교해서 GPT3(Self-Inst)는 좋은 성능을 보여줬다. 그리고 private user data와 human-annotated 라벨을 사용해서 학습된 InstructGPT-001과 거의 맞먹는 성능을 보여줬다. 

 

 SuperNI training set에서 학습된 모델은 평가 세트에서 좋은 성능을 보여주지만, Self-Instruct는 SuperNI training set와 함께할 때 아직 추가적인 성능 향상을 가져온다는 것을 보여주고 있다.

 

표 3. Super-NaturalInstructions의 unseen task에 대한 평가 결과. ①: Self-Instruct는 GPT3 성능을 큰 마진으로 향상시킴. ②: InstructGPT-001과 거의 맞먹는 성능. ③: 더 많은 양의 labeled instruction data가 존재하면 성능을 추가적으로 향상시킬 수 있음.

 

4-4. Experiment 2: Generalization to User-oriented Instructions on Novel Tasks

 

 SuperNI가 광범위한 NLP task를 포함함에도 불구하고 대부분의 NLP task들은 연구 목적으로 제안되고 classification에 대해 왜곡되어 있다. instruction-following 모델의 현실적인 값에 더욱 잘 접근하기 위해 author의 서브셋은 user-oriented 응용에 의해 영감을 받은 새로운 instruction의 세트를 체계화한다. 논문에서는 처음에 LLM이 유용할 것 같은 도메인에 대해 브레인 스톰을 하였고, 그다음에 각각 도메인과 함께 input-output instance와 관련된 instruction을 만들었다. 논문에서는 이러한 task의 스타일과 포맷을 다양화하도록 하였다. 종합적으로 252개의 instruction을 생성하였고, instruction 당 하나의 instance를 생성하였다. 논문에서는 이것이 instruction-based 모델이 어떻게 다양하고 친숙하지 않은 instruction을 다루는지를 평가하는 testbed로 사용된다.

 

Human evaluation setup.  모델의 성능을 이러한 다양한 task의 세트에서 평가하는 것은 서로 다른 task에 대해 서로 다른 전문가를 필요로 하기 때문에 어렵게 여겨진다. 사실은 많은 이러한 task들은 자동화된 metric이나 일반적인 crowdworker로부터 평가될 수 없다. 더욱 신뢰할 수 있는 평가를 얻기 위해, 논문에서는 모델의 예측을 판단하기 위해 instruction의 author에 물어보았다. 평가자들은 output이 task를 정확하고 효과적으로 완료하는지에 기반해서 평가를 한다. 논문에서는 모델의 output의 퀄리티를 평가하기 위한 4-레벨 평가 시스템을 만들었다.

 

• Rating-A: 응답이 유효하고 만족스러운지 평가
• Rating-B: 응답은 받아들여지지만 개선될 수 있는 사소한 결함을 가짐
• Rating-C: 응답은 연관되어 있고 instruction에 응답을 하지만, 내용에 심각한 오류를 가짐
• Rating-D: 응답이 관련 없거나 유효하지 않음. input을 반복하고 종합적으로 관련 없는 output

 

Results.  그림 5는 GPT3 모델의 성능과 새롭게 쓰인 instruction set에서 instruction-tune 된 counterpart를 제공하였다. 예상했던 것처럼 vanilla GPT3 LM은 주로 instruction에 응답하지 멋하고, 모든 instruction-tuned 모델은 비교적 높은 성능을 보여준다. noise에도 불구하고 생성된 데이터의 가치를 보여주면서, GPT3(Self-Inst)는 T0 또는 SuperNI에서 학습된 counterpart를 큰 마진으로 능가하였다. InstructGPT-001과 비교해서 GPT3(Self-Inst)는 매우 근접한 성능을 보여줬다. 이러한 성공에는 다양한 요인이 숨어있지만, 논문에서는 향후 연구에서 모델들이 generated data를 활용해서 성능을 개선시키지 않을까라고 추측한다.

 

그림 5. human 평가자들에게 평가된 GPT3 모델의 성능과 instruction-tuned 변형들의 성능

 

4-5. Example Predictions from GPT3(Self-Inst)

 

 표 4에서 user-oriented task의 선택과 이에 해당하는 GPT3(Self-Inst)-produced 응답과 annotator 평가를 나타내었다. 레벨 2로 평가된 응답에서 모델은 최종 output이 틀렸음에도 불구하고 task를 해결하는 광범위한 스텝을 설명하였다. 

 

 

5. Discussion & Limitation

5-1. Why does Self-Instruct work?

 

 최근 instruction-tuned LM의 성공을 가능하게 하는 데 있어 고품질의 human feedback이 수행하는 역할에 대해 생각해 볼 가치가 있다. 여기에는 두 가지 가설이 있다:

 

• ($H_{1}$) human feedback은 LM의 instruction-tuning 측면에서 필수적인데, 이는 pre-training 중에 학습되지 않는 이슈에 대해 학습하기 위해서이다. 
• ($H_{2}$) human feedback은 선택적인 프로세스라 이들의 pre-training 분포/objective를 align 하는 것은 다른 프로세스로 대체가 가능하다.

 

 논문에서는 이 두 개의 가설 중에서 특히 큰 모델에 대해 $H_{2}$가 더 가깝다고 추측하였다. LM이 이미 language instruction에 대해 많은 것을 알고 있다는 직감은 Self-Instruct를 위한 중요한 동기이고 실험적 성공에 의해 지지받는다.

 

5-2. Limitations of Self-Instruct

 

Tail phenomena.  Self-Instruct는 LM에 의존하기 때문에 LM이 가지는 모든 한계점을 상속받는다. 한 마디로 LM의 큰 성능 향상은 많이 사용하는 언어로부터 주로 오게 되고, 자주 사용하지 않는 언어는 적은 성능 향상을 얻는다. 이와 유사하게 대부분의 성능 향상이 Self-Instruct로부터 오면 pre-training corpus에서 더욱 자주 나타나는 instruction에 영향을 받게 된다. 결과적으로 이 방법은 흔하지 않고 창의적인 instruction에 취약함을 보여준다.

 

Dependence on large models.  Self-Instruct의 large model에 대한 의존성 때문에 적은 computing resource를 갖는 사람들의 사용에 장벽을 생성할 수 있다. 

 

Reinforcing LM biases.  반복적 알고리즘으로 인해 의도와 다르게 문제가 되는 social bias를 증대시키기도 한다. 이와 관련하여 이 프로세스에서 관찰된 문제 중 하나는 모델의 이전 bias를 반영한 균형 잡힌 라벨을 생성하는 알고리즘의 어려움이다.

 

 

 

 

출처

https://arxiv.org/abs/2212.10560

Self-Instruct: Aligning Language Model with Self Generated Instructions