CoT Collection: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-tuning 논문 리뷰

The overview of this paper

 어떻게 <100B LM에 step-by-step reasoning을 주입시킬 수 있을까? 이 질문을 해결하기 위해 논문에서는 1,060개의 task에 걸쳐서 1.88M 개의 CoT 예시를 갖는 새로운 instruction-tuning 데이터셋인 CoT Collection을 소개하였다.

 

 논문에서는 FLAN-T5를 CoT Collection과 함께 계속적으로 fine-tuning 하는 것이 unseen task에서 더 나은 CoT를 수행할 수 있게 만들어 준다는 것을 보여줬다. 

 

 

Table of Contents

1. Introduction

2. The CoT Collection

3. Zero-shot Generalization

4. Few-shot Generalization

 

 

1. Introduction

 CoT는 모델의 문제 해결 능력을 향상시켜 주지만, 두 가지 문제점을 가진다.

 

1. 100B 이상의 LLM을 필요로 함
2. smaller model에서도 똑같은 이점을 보여주는지 입증되지 않음

 

 이러한 문제점을 해결하기 한 많은 시도들이 있었지만, 광범위한 task에 대한 CoT가 아직 준비되어 있지 않다. 그래서 이러한 갭을 줄이기 위해 논문에서는 FLAN Collection으로부터 추출된 1,060개의 task에 걸친 1.88M 개의 CoT 예시를 가지는 instruction-tuning 데이터셋인 CoT Collection을 제안하였다. 

 

 이 CoT Collection에서는 각 instance가 input instance에 추가되는 instruction, ground-truth output, CoT 예시로 구성되어 있다. CoT fine-tuning을 instruction tuning에 사용함으로써 smaller LM에게 개선된 추론 능력을 주고자 하였다. 

 

 논문의 모델인 C2F2는 CoT Collection을 사용하여 FLAN-T5를 계속적으로 fine-tune 함으로써 얻어졌다. 이 모델은 unseen task에 대해 CoT prompting을 수행하기 위한 zero-shot 능력에 상당한 개선을 보여줬다. 게다가, CoT Collection을 사용해 instruction-tuned 모델을 계속적으로 fine-tune 하는 것은 작은 규모의 데이터 & multilingual 데이터에서도 효과적이었다. zero-shot 성능에 추가적으로 향상이 관찰됨에 따라 C2F2는 few-shot learning에서 더 나은 base model로 여겨진다는 것을 발견하였다. C2F2는 HuggingFace에 공개되어 있고, 아래 출처에 링크를 남겨두도록 하겠다.

 

 C2F2의 실험 결과는 CoT fine-tuning과 instruction tuning 간의 시너지가 잠재적으로 smaller model의 개선을 낳을 수 있다는 것을 제안하였다. 논문의 결과는 zero-shot & few-shot learning 세팅에서 smaller model이 이점을 얻을 수 있었다는 것을 나타낸다. 특히, zero-shot & few-shot learning의 문맥에서 논문의 분석은 기존 데이터셋으로부터 풍부한 supervision을 추출하는 간단한 레시피와 CoT fine-tuning을 통해 CoT 능력을 야기하는 것은 기존 LM을 추가적으로 개선시킬 수 있을 것이다.

 

 

2. The CoT Collection

 CoT Collection은 1,060개의 NLP task에 걸쳐서 얻어진 1.88M 개의 CoT 예시를 포함하는 instruction-tuning 데이터셋이다. CoT Collection은 HuggingFace에 모두 공개되어 있으니 관심이 있다면 찾아보길 바란다(아래 출처를 확인하길 바람). 그림 1은 CoT Collection이 어떻게 구성되어 있는지를 묘사하고 있다. 

 

그림 1.&nbsp;전반적인 task group의 묘사와 CoT Collection에서 CoT 예시를 augment하기 위해 얻어진 instance의 데이터셋 소스

 

2-1. CoT Rationale Augmentation

 

 input $X = [I, z]$가 주어지면 LLM을 사용한 ICL을 적용함으로써 CoT 예시 $r$을 얻게 된다. 여기서 $I$는 instruction이고, $z$는 answer $y$가 함께 있는 instance이다. 이것은 이전의 LLM을 사용해 새로운 instance를 생성하는데 주로 집중하는 연구들(Self-Consistency, Unnatural-Instructions 등)과 다르다. 

 

Source Dataset Selection.  CoT 예시 추출을 위한 소스 데이터셋으로 FLAN Collection, Super-NI, FLAN을 사용하였다. 이 데이터셋들로부터 1,060개의 task를 선택하고, 다음의 기준을 통해 좁혔다:

 

• multilingual dataset은 제외함. T5가 주로 영어 데이터셋에만 집중했기 때문임.
• long-form output을 가지는 생성 task의 서브셋을 제외함.
• publicly available하지 않은 데이터셋은 제외함.
• input & output이 서로 상관 없는 데이터셋은 제외함.
• data overlap이 있으면 data overlap이 있는 데이터셋 중 하나만 사용하고, 나머지는 모두 제외함.
• LLM에 의해 생성된 CoT 예시는 몇 개의 task(sentiment analysis, sentence completion, coreference resolution, word disambiguations)에서 uninformative 하고, 매우 짧은 경향이 있음. 그래서 이러한 데이터셋들은 제외함.

 

Prompt Creation.  LLM을 사용해 ICL을 진행하기 위해 각 task 당 demonstration을 준비하는 것이 가장 직관적이다. 하지만 논문에서는 좀 더 효율적인 방법으로 비슷한 task끼리 그룹으로 묶어서 그룹 당 6~8개의 demonstration을 만들었다.

 

 구체적으로 FLAN Collection으로부터 샘플링된 여러 instance가 주어지면, 두 사람은 CoT 예시를 생성하고, 나머지 한 사람은 A/B testing을 실시하여 둘 중에 더 나은 CoT 예시를 선택한다. 이 프로세스를 통해 26개의 task에 걸쳐서 총 135개의 CoT 예시를 생성하였다.

 

CoT Rationale Augmentation.  augmentation process의 주된 목표는 일관되는 CoT 예시를 생성하는 것이다. 이를 위해, 논문에서는 OpenAI의 Codex 모델을 활용하였다. 수식적으로 나타낼 때, $(X_{i}^{t}, y_{i}^{t})$가 주어지면, 목표는 해당하는 CoT 예시 $r_{i}^{t}$를 생성하는 것이다. 사전 실험 중에 demonstration에서 라벨을 예시 앞에 두는 것이 좋은 퀄리티의 예시를 만드는데 중요하다는 것을 발견하였다. 논문에서는 이러한 결과가 나오게 된 이유는 LLM이 task를 해결하기 위한 필요를 줄여주기 때문이라고 추측하였다. 

 

Filtering.  여러 CoT 예시를 생성한 후에, high-quality CoT 예시를 보장하기 위해 다음의 기준을 적용해 필터링을 적용하였다.

 

• 최소 한 번도 ground-truth answer를 포함하지 않는 CoT 예시는 제외함.
• 256 이상의 토큰을 가지는 CoT 예시는 제외함. 
• 이전에 얻은 CoT 예시와 동일한 CoT 예시는 제외함.

 

2-2. Analysis of CoT Collections

 

Quality of Rationales.  CoT Collection의 퀄리티를 보장하기 위해 ROSCOE를 사용해 평가한 결과 CoT Collection은 human-authored CoT 예시와 비교해서 신뢰도 있고, 반복적이지 않고, 정보적이고 논리적인 CoT 예시를 포함하고 있었다. 13개의 ROSCOE score가 표 1에 나타나있다.

 

표 1.&nbsp;human-authored 예시와 mahcine-generated 예시 간의 퀄리티 비교

 

Diversity of Rationales.  FLAN-T5에 사용된 9개의 CoT 데이터셋은 'answer question'과 'consider following'에 큰 비중을 둔 반면 CoT Collection은 다양한 텍스트 형식을 포함하는 것을 알 수 있다(그림 2).

 

그림 2.&nbsp;9개의 CoT task의 예시와 논문의 예시 training data의 root verb와 noun object

 

3. Zero-shot Generalization

 CoT Collection에서 CoT fine-tuning을 하는 것이 어떻게 효과적으로 unseen task를 해결하기 위한 LM의 능력을 개선시키는지를 보여준다. 다음의 그림 3은 C2F2의 작동 방식을 보여준다.

 

그림 3.&nbsp;C2F2의 zero-shot & few-shot 실험의 전반적인 묘사

 

Experiment #1: FLAN-T5 Setting.  FLAN-T5를 CoT Collection을 사용해 계속적으로 fine-tune 해서 C2F2를 얻었다. FLAN-T5 외에도 T5-LM, T0, Tk-Instruct, GPT-3 같은 서로 다른 baseline과 비교하였다. 게다가, CoT fine-tuning을 사용하는 것이 전통적인 instruction tuning에 비해 더 데이터 효율적인지 확인하기 위해 T5-LM을 CoT Collection으로 학습시켜 봤다. 한 가지 알아둬야 할 점은 FLAN Collection은 CoT Collection보다 7.98배 더 많은 양의 15M 개의 instance를 포함하고 있다는 것이다.

 

 결과가 표 2에 보이고 있다. FLAN-T5를 CoT Collection에서 계속적으로 학습시켜서 얻어진 C2F2는 CoT 평가에서 기존 FLAN-T5보다 개선된 모습을 보여준다. 놀랍게도 CoT Collection이 어떠한 direct instruction data를 포함하지 않아도 말이다. 이것은 추가적 CoT instruction 데이터와 함께 instruction-tuned 모델을 학습시키는 것이 LM으로 하여금 unseen task에 적응하게 한다는 주장을 지지한다.

 

 데이터 효율성 측면에서 T5 + CoT fine-tuning은 FLAN-T5를 능가하는 모습을 보여줬다. 또한, T5-3B + CoT fine-tuning은 4배 큰 T0-11B & TK-Instruct-11B도 direct & CoT 평가에서 능가하였다. 논문에서는 CoT fine-tuning이 direct instruction tuning에 비해 적은 양의 데이터를 활용할 때도 더 나은 성능을 달성한다는 결론을 내렸다. 

 

표 2. BBH 벤치마크의 27개의 unseen task에 대한 평가 성능. 최고 성능은 볼드체, 두 번째로 좋은 성능은 밑줄 표시 되어 있음.

 

Experiment #2: T0 Setting.  CoT Collection을 사용한 CoT fine-tuning이 적은 양의 task에서도 효과적인지 test 하기 위해 CoT Collection의 P3 서브셋을 사용해서 T5 & T0 모델에 적용하였다. T0 외에도 T5-LM, RoE, KiC, Flipped도 포함시켰다. 그리고 상한 oracle 값으로는 T0-11B & GPT-3을 사용하였다. 

 

 표 3에 결과가 나타나있다. T0-3B + CoT fine-tuning은 추가적으로 T0-3B를 개선시켰다. 이것은 instruction-tuned 모델을 추가적 CoT instruction data와 함께 계속적으로 학습시키는 것은 LM의 일반화 능력을 해금시켜준다는 것을 보여줬다. 더욱 놀랍게도, T5-3B + CoT fine-tuning은 T0에 비해 오직 3.22% 정도의 training data를 사용해서 T0-3B를 능가하는 성능을 보여줬다. direct instructtion-tuned 모델인 T0-3B와 비교해서 이러한 결과는 예시를 생성하기 위해 학습하는 것은 3B LM도 더욱 효율적으로 일반화할 수 있게 해 준다는 것을 가리킨다.

 

표 3.&nbsp;11개의 서로 다른 unseen P3 데이터셋에서 평가 성능

 

Experiment #3: Multilingual Setting.  CoT fine-tuning이 multilingual 세팅에서도 효과적인지 테스트하기 위해 LMSI의 실험 세팅을 사용해 MGSM 벤치마크를 test bed로 사용해서 평가하였다. mT0을 학습시키기 위해 사용된 데이터에 비교해서 single 타깃 언어에 대한 CoT instruction 데이터를 0.001%만 사용하였다. 타깃 언어에 대한 instruction 데이터를 수집하기 위해 ChatGPT를 사용하여 번역하였다. 

 

 결과는 표 4에 나타나있다. 5개의 서로 다른 언어에 걸쳐서 MT5-3.7B + CoT fine-tuning은 MT0-3.7B를 능가하는 성능을 보여줬다. 특히 더 적은 한국어, 일본어, 중국어 같은 언어에서 CoT instruction data와 함께 싱글 타깃 언어에서 학습하는 것은 여러 언어와 함께 학습하는 것보다 장점을 가진다. 왜냐하면 여러 언어에서의 학습은 forgetting 문제가 발생하기 때문이다. 게다가, MT0-3.7B + CoT fine-tuning은 base model mT0을 개선시키고, 모든 언어에서 GPT-3을 능가하였다. 

 

표 4.&nbsp;5개의 언어에 걸친 MGSM 벤치마크에서의 평가 성능

 

 

5. Few-shot Generalization

Dataset Setup.  이 섹션에서는, CoT fine-tuning을 C2F2에 적용하는 것이 어떻게 LM이 효과적으로 few-shot 세팅에 적응할 수 있게 해주는지 보여준다. 논문에서는 이를 위해 법 & 의학 관련 데이터셋인 LEDGAR, Case Hold, MedNLI, RubMedQA를 활용하였다. 각각은 랜덤하게 샘플링된 64개의 instance로 구성되어 있다. CoT Instruction Tuning과 똑같은 프로시저를 사용해서 64개의 instruction에 대한 예시 데이터를 준비하였다.

 

Training Setup.  LM을 학습시키기 위해, 논문에서는 FLAN-T5와 C2F2 이렇게 2개의 baseline을 사용하였다. 그리고 각각에 full fine-tuning, CoT fine-tuning, LoRA fine-tuning, LoRA CoT fine-tuning을 적용하였다. 또한, Claude와 ChatGPT를 사용해서 ICL baseline을 포함시켰다. LLM과 함께 CoT prompting을 하기 위해 fine-tuning에 사용한 augmented CoT 예시 데이터셋으로부터 얻어진 CoT demonstration을 사용하였다.

 

Experimental Results.  실험 결과는 표 5에 나타나있다. 결국 LoRA CoT fine-tuning가 4개의 모든 데이터셋에서 최고의 성능을 거뒀다.

 

 CoT fine-tuning을 사용한 C2F2는 FLAN-T5 direct fine-tuning에 비해 더 높은 성능을 달성하였다. 이것은 CoT fine-tuning의 조합이 LM의 few-shot 적응에 도움을 준다는 아이디어를 지지한다.

 

 마지막으로, fine-tuning method는 ICL method에 비해 전반적으로 나은 결과를 얻었다. 이것은 법 & 의학 데이터셋 input의 긴 길이 때문에 모든 가능한 demonstration을 추가하는 것을 방지하기 때문이라고 추측하였다.

 

표 5.&nbsp;4개의 domain-specific 데이터셋에서의 평가 결과

 

 

 

 

출처

https://arxiv.org/abs/2305.14045

The CoT Collection: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-Tuning

https://huggingface.co/datasets/kaist-ai/CoT-Collection

kaist-ai/CoT-Collection · Datasets at Hugging Face

https://huggingface.co/kaist-ai/CoT-T5-11B

kaist-ai/CoT-T5-11B · Hugging Face