🐬Orca: Progressive Learning from Complex Explanation Traces of GPT-4 논문 리뷰

The overview of this paper

 최근의 연구들은 smaller model의 역량을 향상시키기 위해 imitation learning을 통해 large foundation models(LFM)에 의해 생성된 output과 함께 향상시키고자 하였다. 하지만 여기에는 여러 가지 문제점들이 존재한다. 이러한 문제를 해결하기 위해 Orca를 소개하였다. Orca는 LFM의 추론 프로세스를 모방하기 위해 학습하는 13B 모델이다.

 

Orca는 explanation trace(step-by-step process)를 포함하는 GPT-4 로부터 풍부한 시그널을 학습하고, ChatGPT teacher assistant에 의해 지도되는 다른 복잡한 instruction에서 학습되었다. 이러한 progressive learning process를 촉진하기 위해 신중한 샘플링과 선택과 함께 대규모 & 다양한 imitation data를 활용하였다. 이렇게 학습된 Orca는 기존의 SoTA 모델을 찍어 누르는 성능을 보여줬다! 🫢

 

 

Table of Contents

1. Introduction

2. Explanation Tuning

3. Experiment Setup

4. Evaluation for Open-ended Generation

5. Evaluation for Reasoning

6. Limitations

 

 

1. Introduction

 모델 자신을 사용해서 다른 AI 모델의 특성을 supervise 할 수 있을까? 이전 연구에서는 초기 모델의 출력을 샘플링하고 수정본을 생성한 다음 이러한 수정된 응답을 기반으로 원래 모델을 fine-tune 함으로써 모델 동작을 보다 효과적으로 제어할 수 있고 사람의 라벨을 훨씬 적게 사용하여 보다 harmless 하게 만들 수 있음을 보여주었다.

 

 최근에 ChatGPT와 GPT-4 같은 LFM을 대규모 데이터셋을 생성하기 위한 teacher로 사용하려는 연구에 대한 유입이 늘었다. 이렇게 만들어진 모델들은 teacher 모델의 스타일은 따라갈 수 있지만, 이러한 방식을 사용할 경우 추론과 요약에서 떨어지는 성능을 보여줬다.

 

 이렇게 LFM을 teacher model로 사용해서 학습된 13B instruction-tuned model에는 Vicuna가 있는데, Vicuna는 OpenLLM & ChatArena 리더보드에서의 성능에 의해 최고의 모델 중 하나로 간주되고 있다.

 

표 1. Orca는 Vicuna 평가 세트에서 GPT-4에 의해 평가되었을 때 ChatGPT를 포함하는 다양한 foundation model을 능가하는 성능을 보여줬음

 

 그림 1에서 묘사되어 있는 것처럼, GPT-4를 사용하는 평가 method에서 Vicuna는 ChatGPT의 92% 정도에 해당하는 성능을 보여준다. 😲 그러나 human label에 대한 추론 벤치마크에 대한 보다 세심한 평가는 Vicuna가 전문 및 학업 시험에서 ChatGPT 품질의 64%만 유지한다는 것을 발견하였다(그림 2). 😅 그리고 BigBench-Hard 같은 복잡한 벤치마크에서 오직 ChatGPT 품질의 48%만 유지하였다(그림 3). 😓  이러한 평가의 불일치는 smaller model에 대해 평가하는 기존 평가 프로토콜의 한계점을 보여줄 뿐만 아니라, 이들의 추론 및 이해 능력에서 상당한 부족을 밝혔다. 이 논문에서는 이러한 문제에 대해 논의하고, 이 갭을 줄이고자 하였다. 그리고 이를 해결할 전략도 제시하였다.

 

그림 2. Explanation tuning을 사용한 Orca는 다양한 전문적 및 학문적 시험에서 LFM과의 갭을 줄였음

 

그림 3. BigBench-Hard에서 복잡한 zero-shot 추론 task에 대해 Orca는 ChatGPT와 동등한 성능을 달성함

 

1-1. Challenges with Existing Methods

 

 기존의 LFM의 output을 흉내내기 위한 instruction-tuning에 대한 연구는 task 다양성, 쿼리 복잡성, 데이터 scaling에서 한계점을 가지고 있었다. 이러한 한계점을 정리하면 다음과 같다:

 

• Simple instructions with limited diversity: Self-Instruction으로 생성된 쿼리는 다양성과 복잡도에서 한계점을 가진다. 그래서 Self-Instruction을 개선시키고자 한 WizardLM의 Evol-Instructi와 Vicuna & Koala의 더욱 사람 같은 대화와 ShareGPT이 자연스러운 instruction도 있다.
• Task diversity and data scaling: ShareGPT의 데이터는 창의적 컨텐츠 생성과 정보 검색 쿼리와 같은 task가 다른 task보다 많다. 이러한 자연스러운 대화 데이터에서 학습된 모델은 LFM의 스타일은 캡처하지만, 추론 프로세스는 캡처하지 못하였다. 그림 2와 3에서 Vicuna의 성능이 이를 설명해 준다. 표 1은 데이터의 사이즈와 tuning method의 개요를 보여준다.
• Limited imitation signals: 기존 method는 teacher 모델에 의해 생성된 <query, response> 쌍으로부터의 imitation learning에 의존한다. 이것은 teacher의 추론 프로세스 추적에 너무 제한된 영향을 주게 된다.
• Evaluation: 평가 프로토콜이 부족하다. 그나마 많이 사용되고 인정되는 metric인 Vicuna Evaluation도 문제가 많다. auto-evaluation은 LFM과 비교해서 smaller model의 능력을 과대평가하고, 이전의 metric은 요약 및 추론 스킬이 약하다는 단점을 가지고 있다.

 

표 1.&nbsp;LFM과 함께 instruction tune된 유명한 모델의 개요

 

 

1-2. Key Contributions

 

 이 연구의 목표는 앞서 언급한 challenge들을 해결하는 것이다:

 

• Explanation Tuning: <query, response> 쌍에 teacher의 추론 프로세스를 설명하는 GPT-4로부터 디테일한 response와 함께 augment 하였다. 이렇게 함으로써 LFM의 생각 프로세스를 모방할 기회를 줬다고 할 수 있다.
• Scaling tasks and instructions: Flan 2022 모음과 FLAN-v2를 활용해서 더욱 풍부하고 다양한 training set를 만들었다. 이 데이터셋의 instruction 데이터를 사용해서 복잡한 prompt를 만들고, 이 prompt는 LFM에게 쿼리하기 위해 사용된다. 이렇게 함으로써 더욱 풍부하고 다양한 training set가 만들어진다.
• Evaluation: 논문에서는 Orca의 생성, 추론, 요약 능력을 여러 세팅에서 평가하였다. ChatGPT, GPT-4, Vicuna 같은 LFM과 Orca의 생성 및 추론 능력 비교를 위해 case-study를 진행하였다.
  1. AutoEvaluation w/ GPT-4 - Vicuna, Awesome, WizardLM의 prompt 모음의 평가 세트에서
  2. Academic benchmark: Big-Bench Hard, TruthfulQA
  3. Professional & Academin benchmark: SAT, LAST, GRE, GMAT from AGIEval
  4. Safety Evaluation

 

 

2. Explanation Tuning

 기존 연구의 문제점 해결을 위해 복잡한 instruction & 풍부한 signal과 함께 augment된 다양한 task를 사용하여 대규모 training data를 활용하였다.

 

2-1. Dataset Construction

 

 논문의 training data는 다음의 3개의 instance로 이루어져 있다: <System message, User query, LFM response>. 각각이 의미하는 바는 다음과 같다.

 

• System Meassage: 필수적인 context, 가이드라인, 다른 적절한 디테일을 제공해줌
• User Query: LFM이 수행하기 원하는 실제 task를 정의함
• LFM Response: FLAN-v2의 5M 개의 user query는 ChatGPT의 응답을 활용하고, 그중 1M 개는 GPT-4의 응답을 수집하였음

 

System Messages.  16개의 system message를 만들어서 LFM으로부터 서로 다른 종류의 응답을 불러일으키고자 하였다. 이러한 system meessage는 Orca가 다음과 같은 output을 내놓을 수 있게 만들어줬다:

 

• long & short answers
• guideline, instruction, fomat 준수
• 정보 검색 쿼리뿐만 아니라 창의적 콘텐츠도 생성
• 설명 생성 & step-by-step 추론 생성

 

 논문에서는 FLAN-v2 모음의 서로 다른 subcollection에 대해 서로 다른 system message를 만들었다. 표 2에 이 system message의 예가 보이고 있다. 그림 6은 system message의 분포를 보여준다. 

 

표 2.&nbsp;System Instructin 모음

 

그림 4. training data의 서로 다른 모음에서 system message의 상대적 빈도

 

Dataset Description and Sampling from the FLAN-v2 Collection.  FLAN-v2는 총 5개의 sub-collection으로 구성되어 있다: CoT, NiV2, T0, Flan 2021, Dialogue. 논문에서는 Orca를 학습시키기 위해 오직 zero-shot query만 샘플링하였다. 

 

표 3.&nbsp;training data의 구성

 

ChatGPT as Teaching Assistant.  논문에서는 FLAN-5M으로 언급되는 5백만 개의 instruction을 생성하였다. 추가적으로 이 FLAN-5M에서 1백만 개의 쿼리를 랜덤 하게 샘플링해서 FLAN-1M을 만들었다. 그리고 FLAN-5M에 대해 ChatGPT를 사용해서 응답을 수집하고, FLAN-1M에 대한 응답으로 GPT-4를 활용하였다. 

 

 이렇게 만들어진 데이터셋에 대해 Orca를 먼저 FLAN-5M에서 학습시키고, 뒤따라서 FLAN-1M에서 학습시켰다. ChatGPT를 중간 teacher로 사용하는 이유는 다음과 같다:

 

• Capacity Gap: 더 적은 능력 갭을 가지는 중간 teacher를 활용하는 것은 KD에서 smaller student에 대한 imitation learning 성능을 개선시킨다. 한 마디로 progressive learning이라고 볼 수 있다.
• Cost & Time: OpenAI API를 사용한 대규모 데이터의 수집은 제한된다. 특히, GPT-4는 ChatGPT보다 더 많은 시간을 필요로 한다. 그래서 ChatGPT에서 5배 더 많은 데이터를 수집하였다.

 

 그림 5는 서로 다른 system message에 대한 ChatGPT와 GPT-4의 응답 길이 분포를 보여준다. 결과를 살펴보면 GPT-4는 ChatGPT보다 1.5배 더 긴 응답을 생성하는 것을 관찰할 수 있다. 이러한 점은 progressive learning을 가능하게 해 준다!

 

그림 5.&nbsp;서로 다른 system message에 대한 GPT-4와 ChatGPT의 응답 길이 분포 비교

 

2-2. Training

 

 이 섹션에서는 Orac에 대한 학습 프로세스의 개요를 제공해 준다.

 

• Tokenization: LLaMA의 Byte Pari Encoding(BPE)를 활용함
• Packing: training process 최적화 & 사용 가능한 컴퓨팅 자원을 효율적으로 사용하기 위해 packing 기술을 사용함. packing은 여러 input example을 하나의 시퀀스로 연결하는 것
• Loss: teacher에 의해 생성된 토큰에서만 loss를 계산함. 모델이 가장 연관되고 정보가 많은 토큰에 집중하도록 보장해 줌

 

3. Experiment setup

3-1. Baselines

 

 Orca를 text-davinci-003, ChatGPT, GPT-4, VIcuna와 비교하였다.

 

3-2. Tasks

 

 논문에서는 open-ended generation과 복잡한 추론 task를 추론하고 이해하기 위한 능력적 측면에서 Orca의 능력을 평가하는 데 사용하였다. 표 4는 평가에 사용된 서로 다른 데이터셋의 통계를 보여준다.

 

표 4. Orca 평가 벤치마크

 

Open-ended Generation Capabilities.  Vicuna Evaluation과 똑같은 셋업에서 3개의 서로 다른 prompt 모음(Vicuna, Awesome, WizardLM)에서 실험을 진행하였다. 

 

Reasoning Capabilities.  추론 능력 평가를 위해 다음의 2가지 벤치마크를 사용하였다.

 

• AGIEval: LM을 human 중심 시험에서 평가함(eg. GRE, GMAT, SAT etc.)
• BIg-Bench Hard(BBH): 23개의 어려운 BIG-Bench tasks. LLM의 능력과 한계를 측정하기 위해 고안되었음. 이 task들은 모두 이전 LM들이 평균 human-rater를 능가하지 못하는 task들로 구성되어 있음.

 

 또한 Orca는 어떠한 예시 또는 CoT 없이 zero-shot 세팅에서 추론 능력이 평가되었다.

 

4. Evaluation for Open-ended Generation

 표 5는 ChatGPT와 GPT-4를 참조 모델로 해서 후보 모델의 성능을 보여준다. 여기서 GPT-4는 평가자로 사용된다. 결과를 살펴보면 다음과 같다.

 

• Orca는 ChatGPT 품질의 95% 정도, GPT-4 품질의 85% 정도 달성함. 그리고 Vicuna에 비해 10% 정도 개선됨.
• Vicuna Evaluation에서 ChatGPT와 동등한 성능을 가짐.
• 광범위한 생성 역할에 걸쳐서 prompt에 대해 강력한 성능을 보여줌. 특히 Awesome prompt 데이터셋에 대해

 

표 5.&nbsp;여러 prompt를 사용한 Vicuna Evaluation의 결과

 

Replication Note: GPT-4 평가는 첫 번째 응답에 더 긍정적인 bias를 가진다는 것을 관찰하였다.

 

 

5. Evaluation Reasoning

5-1. AGIEval Results

 

 표 6은 Orca와 다른 baseline 모델 간의 AGIEval 벤치마크에서 zero-shot 성능 비교를 진행하였다. 평가 셋업은 AGIEval과 똑같았고, accuracy metric을 사용하여 측정되었다. 결과를 분석해 보면 다음과 같다.

 

• Orca는 Text-dacinci-003과 동등한 성능을 보여줌. ChatGPT의 86%를 달성하지만, GPT-4에 비해 상당히 떨어지는 성능을 보여줌.
• 수학 관련 task에서 Orca는 text-davinci-003과 5% 정도의 차이를 보이고, ChatGPT와 큰 갭을 보여줬다.
• Vicuna와 비교해서 더욱 강력한 모습을 보여줌.
• GPT-4는 다른 모델을 능가하는 성능을 보여줬지만, 모두 사람보다는 현저히 낮은 성능을 보여줬음.
• system message의 종류에 기반해 Orca의 성능이 상당히 다양해짐(표 7)

 

표 6. text-davinci-003, ChatGPT, GPT-4, Vicuna, Orca의 AGIEval benchmark의 zero-shot 성능 비교

 

표 7. AGIEval 벤치마크에서 서로 다른 system message를 사용한 Orca의 zero-shot 성능 비교

 

Scaling and Teacher Assitance.  FLAN-1M에서만 학습된 Orca와 FLAN-5M & FLAN-1M 에서 학습된 Orca를 비교함으로써 progressive learning의 효과를 분석하였다. 그 결과, 성능이 4.5 포인트 개선되었다. 결과가 표 8에 나타나있다.

 

표 8. intermediate teacher의 효과. FLAN-5M과 FLAN-1M을 같이 사용했을 때 성능이 더욱 좋았음.

 

100개의 랜덤 ChatGPT-beats-Orca & Orac-beats-ChatGPT 샘플의 분석

 

• Domain Knowledge: Tesla의 배터리 문제 같은 전문적인 도메인에 대한 문제 해결은 전문적인 지식을 필요로 하기에 둘 다 떨어지는 성능을 보여줬다.
• Complex Reasoning: 복잡한 추론에 대해서 둘 다 떨어지는 모습을 보여줬다.
• Long Context: ChatGPT는 Orca보다 long context를 모델링하는데 더 우수하다.
• Geometric Reasoning: 기하학적 추론에 대해 각각은 살짝씩 떨어지는 성능을 보여줬다. 이것은 두 모델 간의 기하학적 추론 성능 갭을 가리킨다.
• LaTeX Reasoning: LaTeX 유형의 추론에서 떨어지는 모습을 보여줬다.

 

그림 6. AGIEval 벤치마크에서 Orca, ChatGPT, GPT-4의 성능

 

 

5-2. Big-Bench Hard Results

 

 표 9는 표준 zero-shot prompting과 함께 Big-Bench Hard에서 Orca와 baseline 모델의 zero-shot 성능 비교 결과를 보여준다. Orca는 모든 task의 종합에서 ChatGPT보다 미미하게 나은 성능을 보여주고, GPT-4 보다는 상당히 떨어지고, Vicuna를 상당히 능가하는 성능을 보여줬다. 

 

 이러한 성능과 달리 Orca는 GPT-4보다 상당히 떨어지는 성능을 보여주는데, 이는 다른 연구에서 밝혀졌던 듯이 GPT-4가 Big-Bench에서 data contamination 문제를 겪기 때문이다. 

 

표 9. Big-Bench Hard에서 Orca, Vicuna, ChatGPT, GPT-4의 zero-shot 성능 비교

 

 Orca와 ChatGPT는 비슷한 성능을 보여주는데, Orca와 ChatGPT 간의 성능 차이에 대해서 더 자세히 들여다봤다:

 

• Entailment & Semantic Understanding: Orca는 entailment(Formal Fallacies)와 구문 이해(Disambiguation QA & Snarks)를 더 잘한다.
• Temporal & Spatial Reasoning: Orca는 시간(Temporal rSequences), 공간적(Navigate), 색깔 기반(Colored Objects) 추론에서 더 나은 성능을 보여줬다.
• Casual Judgement: casual judgement task에서 좋은 성능을 보여줬다. Orca는 ChatGPT보다 4.7% 더 좋은 성능을 보여줬고, 이는 GPT-4와 동등한 성능이다!
• Multilingual Understanding: Salient Translation Error Detection에서 Orca와 ChatGPT는 쌍을 이루는 성능을 보여줬다.
• World Knowledge: world knowledge를 필요로 하는 task(Sports Understanding, Ruin Names)에서 Orca는 ChatGPT 보다 떨어지는 성능을 보여줬으나, 영화 추천에서는 더 나은 성능을 보여줬다. 이는 Orca가 ChatGPT에 비해 충분한 지식이 없었기 때문이라고 본다.
• Logical & Geometric Reasoning: ChatGPT는 Orca와 비교해서 우월한 논리적 추론을 보여준다. 
• Table Understanding: ChatGPT는 Orca와 비교해서 더 나은 표 이해 & 추론 능력(Penguins in a Table)을 가진다. 

 

그림 7. Big-Bench에서 서로 다른 task에 대한 GPT-4, ChatGPT, Orca의 성능

 

6. Limitations

 Orca는 LLaMA model에 기반해서 만들어졌기 때문에, 이들의 많은 제약을 가지고 있을 뿐만 아니라, 다른 LLM의 일반적인 제약도 포함하고 있다.

 

• Data Biases: 소스 데이터의 bias를 무심코 가지고 올 수도 있다. 결과적으로 모델은 잠재적으로 편향되거나 공평하지 않은 output을 생성해 낼 수도 있다.
• Lack of Contextual Understanding: 한정된 real-world understanding을 보여주고, 결과적으로 부정확하거나 터무니없는 응답을 내놓기도 한다.
• Lack of Transparency: 요즘 모델들은 black box적 성향을 많이 가지기 때문에, 모델의 자세한 내용에 대해서 알아보기가 힘들다.
• Content Harms: LLM은 다양한 종류의 content harm을 일으킬 수 있기 때문에, 이에 대처하는 방식이 중요하다.
• Hallucination: smaller model은 작은 사이즈와 감소된 메모리 수용량 때문에 hallucination을 일으키기 더 쉬워졌다.
• Potential for Misuse: 적합한 safeguard 없이 무분별하게 사용되면 잘못 사용될 리스크가 존재한다.

 

 추가적으로 Orca의 성능은 explanation tuning에 사용된 데이터에 의해 영향을 받는다:

 

• Zero-Shot Settings: Orca는 표준 prompt와 함께 zero-shot 세팅을 구동하는 데이터에서만 학습되었다. 아직 multi-turn 대화, ICL, few-shot learning, CoT 등에서는 테스트되지 않았다.
• Data Distribution: Orca의 성능은 tuning data의 분포와 강하게 상관되어 있다. 따라서 training data에서 별로 표현되어 있지 않은 math, coding, reasoning 같은 부분에서 약한 모습을 보여준다.
• System messages: Orca는 서로 다른 종류의 응답을 이끌어내기 위해 다양한 system instruction을 사용하여 학습되었다. 
• GPT-4 Behavior: Orca가 GPT-4를 모방하기 위해 학습된 것처럼 teacher model의 장점과 단점을 모두 상속받았을 것이다. 논문에서는 Orca가 GPT-4 training 중에 사용되는 safety 측정과 safety guardrail로부터 이점을 얻는다는 것을 기정 사실화 하였다. 

 

 

 

 

출처

https://arxiv.org/abs/2306.02707

Orca: Progressive Learning from Complex Explanation Traces of GPT-4