imitation이 좋은 학습 방법일까? 🤔: The False Promise of Imitating Proprietary LLMs 논문 리뷰

The overview of this paper

 weaker LM을 개선시키기 위한 값싼 method는 stronger model의 output에서 weaker LM을 fine-tune 하는 것이다. 이러한 접근법은 weaker open-source 모델을 사용하여 상업적 모델의 능력을 값싸게 흉내 내는 방식처럼 보인다. 이 논문에서는 이 접근법에 대해 분석하였다. 이를 위해 다양한 규모의 모델 사이즈, 데이터 소스, 모방 데이터의 양을 사용해서 ChatGPT를 모방하는 LM의 시리즈를 fine-tune 하였다. 그리고 이 모델을 crwodworker & NLP 벤치마크에서 모델을 평가하였다.
 
 초기에 논문에서는 모방 모델의 출력 퀄리티에 대해 놀랐다! 왜냐하면 모방 모델이 출력이 instruction을 잘 따르고 crowd worker는 이들의 출력이 ChatGPT와 견줄 만한 성능을 보여준다고 평가하였기 때문이다. 하지만, 모방 모델이 더 많은 targeted automatic evaluation을 수행할 때, 모방 데이터에서 많이 지원되지 않는 task에서 모방 모델이 기본 LM과 ChatGPT까지의 격차에 거의 근접하지 않는다는 것을 발견하였다. 이는 모방 모델이 ChatGPT의 스타일은 모방하지만 그 사실성은 모방하지 않기 때문에 이러한 성능의 차이가 발생하는 것이라고 여긴다.
 
 전반적으로 논문에서는 open & closed LM 간에는 상당한 능력 갭이 존재하고, 이는 다루기 힘든 양의 모방 데이터 또는 더욱 유용한 base LM을 사용해서만 갭을 좁힐 수 있다고 결론지었다. 그리고 open-source LM을 개선시키기 위한 best method는 더 나은 base LM을 개발하는 어려운 문제에 도전하는 것이라고 주장하였다. 🔥
 
 

Table of Contents

1. Introduction
2. What is Model Imitation?
3. Building Imitation Datasets
4. Main Results
5. Discussion
 
 

1. Introduction

 최근에 ChatGPT, Bard, Claude 같은 강력한 LM이 공개되면서, 동시에 오픈 소스 LM도 급격히 정교해지고 있다. 이러한 현상은 앞으로 LM이 open-source 방향으로 나아가야 하는지 아니면 closed-source 방향으로 나아가야 하는지에 대한 의문을 던지고 있다. 각각의 경우는 장단점을 가진다.
 
 논문에서는 이러한 질문에 대한 하나의 가능한 해결책인 model imitation에 대해서 연구하였다. model imitation의 전제는 상업적 LM이 API를 통해 공개되면 API 출력 데이터셋을 수집할 수 있고, 이를 사용해서 open-source LM을 fine-tune 할 수 있다. 이론적으로 이러한 모방 프로세스는 어떤 상업용 LM의 능력을 distill하기 위한 쉬운 method를 제공한다. 그래서 이는 open-source LM이 이들의 상업적 모델과 항상 견주는 성능을 낼 수 있다는 것을 암시한다. 지금까지 최근의 연구들은 OpenAI의 최고 시스템들을 모방하였고, 초기 결과들은 이러한 모델들이 상업적 모델과 거의 쌍을 이루는 성능을 성취하였다고 주장하였다.
 
 논문의 목표는 model imitation의 효험을 ChatGPT의 복제로 학습시키고 평가함으로써 비평적으로 분석하는 것이다. 먼저 특정 task에 대해 ChatGPT를 모방하거나 모든 동작에서 광범위하게 모방하는 데 중점을 둔 데이터 세트를 수집한다. 논문에서는 넓은 범위의 모델 사이즈(1.5B-13B), 베이스 모델(GPT-2 & LLaMA), 데이터 양(0.3M-150M)을 사용해서 이러한 데이터셋에서 LM을 fine-tune 하였다. 또한 human & GPT-4 evaluation을 사용할 뿐만 아니라 NLP 벤치마크(MMLU, NQ, HumanEval)에서 평가를 진행하였다.
 
 논문에서는 초기에 imitation model이 base 모델을 얼마나 능가하는지에 대해 놀랐다: 이들은 instruction을 상당히 잘 따랐고, 이들의 출력은 ChatGPT의 출려과 유사하게 나타났다. 이는 human & GPT-4 evaluation에서 추가적으로 지지되었다. 이 결과를 살펴보면 best imitation model의 출력은 ChatGPT의 출력과 견줄 만큼 평가되었다(그림 1 왼쪽).
 

그림 1. crowd worker는 초기에 imitation model의 퀄리티를 좋게 평가하였는데, 이는 ChatGPT의 퀄리티와 동등하거나 좀 더 나았음(왼쪽). 하지만 더 많은 모방 데이터에서 학습함에 따라 imitation model은 이 갭을 줄이는데 실패하였고, 오히려 성능이 감소하기 시작했음(중간). 논문에서 내린 주된 결론은 현 open-source LM의 가장 큰 제약은 이들의 weaker base 능력임. open-source LM의 성능을 개선시키는 가장 좋은 방법은 이들의 능력을 개선시키는 것임(scaling or better pre-training data를 통해)(오른쪽)

 
 하지만 더 많은 targeted automatic 평가를 수행할 때, imitation model은 LLaMA & ChatGPT와 큰 성능 갭이 없었다. 특히, 논문에서는 imitation training data의 큰 지지를 받는 평가 task에서 imitation model은 개선된다고 설명하였다. 반대로 imitation training data의 지지를 별로 받지 못하는 평가 task에서는 imitation model이 개선되지 않았다. 예를 들어 broad-coverage user input으로부터의 100K ChatGPT output에서의 학습은 Natural Question 정확도에 어떠한 이익도 제공하지 않는다(그림 1 중앙). 하지만 Natural-Question-like 쿼리에 대한 ChatGPT 응답에서의 학습은 task 정확도를 크게 향상시켰다. 결과적으로 논문에서는 순전히 imitation을 사용하여 광범위하게 일치하는 ChatGPT가 다음을 필요로 한다고 결론지었다:
 

1. 방대한 imitation 데이터셋을 수집하기 위한 혼신의 노력 🔥
2. 더욱 다양하고 좋은 퀄리티의 imitation data가 필요함 🫡

 
 이러한 발견은 crowd worker 평가와 NLP 벤치마크에서 LM 성능의 비일관성을 강조하였다. 논문에서는 imitation model이 crowd worker에 의해 긍정적으로 평가된 이유는 이들이 ChatGPT의 스타일을 흉내 내는데 능숙했기 때문이다. imitation model의 output은 그럴듯하고 구조를 잘 갖춘 대답이었다. 하지만, 이들의 스타일에 반해 사실성은 약했고, 도메인 전문 지식이 없는 crowdworker 또는 상당한 시간 투자가 없으면 이러한 오류를 놓칠 것이다.
 

그림 2. ChatGPT와 논문의 best imitation model은 비슷한 스타일의 대답을 생성함. 하지만 ChatGPT의 대답은 대부분 알맞은 반면에 imitation model의 대답은 그럴 듯 해 보임에도 불구하고 완전히 부정확함. 초록색이 알맞은 문장, 노란색이 모호하게 알맞은 문장, 빨간색이 부정확한 문장임.

 
 전반적으로 논문에서는 model imitation이 free lunch가 아니라고 주장한다: 여기에는 오늘날의 open-source LM과 이들의 closed-source 모델 간의 능력 갭은 imitation data에서의 값싼 fine-tuning으로는 줄어들지 않는다(그림 1 오른쪽). 이 갭을 줄일 수 있는 방법은 추가적 imitation data에서 fine-tune 하기보다 base LM의 사이즈를 증가시키는 것이다. 이는 open-source LM을 개선시키기 위한 액션은 더 나은 base 모델 개발을 위한 어려운 문제에 도전하는 것이 중요하다는 것을 암시한다. 그럼에도 불구하고, 논문에서는 model imitation이 만약 충분히 강력한 base LM을 가지고 있다면 high-quality finetuning data에 대한 주석을 달 필요를 없애주는 유용성을 가진다고 믿는다.
 

2. What is Model Imitation?

 상업용 LM은 상업용 base LM과 상업용 fine-tuning 데이터로 구성되어 있다. 이 모델들이 사용될 때 이들은 black-box API 뒤에 위치해서 모든 요소들이 가려진다. model imitation의 목표는 비슷한 성능을 내는 LM을 학습시키기 위해 API를 사용해서 데이터를 수집하는 것이다.

Local versus Broad Imitation.  model imitation을 수행할 때 하나는 local ‘task-specific’ imitation을 수행하고 다른 하나는 global ‘broad-coverage’ imitation을 수행한다. local ‘task-specific’ imitation은 구체적 task 또는 도메인에서 타깃 모델을 모방한다. global ‘broad-coverage’ imitation은 특성, 도메인, task의 모든 스펙트럼에 걸쳐서 타깃 모델울 널리 모방한다. broad-coverage가 어려운 이유는 다음과 같다.

1. 매우 다양한 imitation dataset을 수집해야 함
2. 넓은 데이터 분포를 캡처해야 하고 타깃 모델에 대해 유사하게 일반화해야 함

Our goal.  논문의 목표는 이러함 추론을 결정적으로 평가하는 것이다. 특히 논문에서는 ChatGPT를 모방하기 위해 모델을 학습시킨다. 반면에 서로 다른 서로 다른 결정에 대해 실험하고 엄격한 automatic & human 평가를 수행하였다.

3. Building Imitation Datasets

 논문에서는 task-specific imitation과 broad-coverage imitation 모두를 고려하였다. model imitation의 두 형태 모두에 대해서, 하나는 타깃 모델에 대해 쿼리 하기 위해 input set를 curate 해야만 한다. imitation은 input set를 가지게 될 것이고, 이 input example 세트가 충분히 크다면 이것을 사용해서 타깃 모델에 대해 쿼리 할 수 있고 imitation dataset을 만들 수 있다. 크고 다양한 input pool을 만들기 위해 비현실적이거나 상당한 양의 노동을 필요로 하는 경우에, 초기의 작은 input의 seed set처럼 똑같은 분포의 example을 반복적으로 생성하기 위해 LM을 prompting 함으로써 합성 example을 만들 수 있다.

 

Task-specific imitation.  task-specific imitation을 위해, 논문에서는 Natural Question에 맞춘 imitation dataset을 생성하였다. 특히 처음에 validation set로부터 10개의 QA 쌍 seed set를 curate 하였다. 그다음에 ChatGPT를 5개의 랜덤 QA 쌍과 prompting 하고 유사하지만 별개의 example을 생성하기 위해 ChatGPT에게 물어봄으로써 6,000개의 추가적 example을 반복적으로 생성하게 해 주었다. 모든 example은 single turn이다. 이렇게 만들어진 데이터셋이 NQ-synthetic이다.

 

Broad-coverage imitation.  broda-coverage imitation data의 목표를 위해, 논문에서는 크고, 다양하고, 일반적으로 high-quality인 example의 데이터셋을 웹에서 API와 상호작용할 필요 없이 수집 가능하다. 논문에서는 다음의 3가지 소스로부터 example을 수집하였다:

 

• ShareGPT: ShareGPT 웹 사이트에서 사용자들에게 의해 공유된 대략 90K 개의 대화를 사용하였다. 그리고 데이터 퀄리티를 유지하기 위해 query-level에서 필터링을 하고, 영어가 아닌 대화는 제거하였다. 이렇게 대략 50K 개 정도의 multi-turn 대화 데이터가 남게 되었다.
• HC3: English Human-ChatGPT Comparison Corpus의 ChatGPT 응답을 사용하였다. 이것은 ~24K 개의 question에 대한 ~27K 개의 ChatGPT 응답을 포함하고 있다.
• Discord ChatGPT Bots: r/ChatGPT와 Turing AI Discord server로부터 수집된 10K 개의 input-output example을 사용하였다.

 

 논문에서는 이렇게 해서 얻어진 데이터셋을 ShareGPT-Mix라고 부른다. 그리고 ShareGPT-Mix는 일반적으로 high-quality였다. 이 데이터셋은 매우 다양한 instruction을 가지고 있는데, 이는 다른 사용자 쿼리와 가장 유사한 쿼리가 8%의 BLEU 유사도를 보여줄 정도이다. 그리고 multi-lingual 대화와 코딩 task를 포함하는 다양한 카테고리를 포함하고 있다.

 

 

4. Main Results

 논문에서는 imitation LM을 ShareGPT-Mix와 NQ-synthetic 데이터셋을 사용해서 학습시켰고, human & automatic 평가를 수행하였다.

 

4-1. Training and Evaluation Setup

 

 논문의 실험에서는 imitation data의 양을 증가시키고 다양한 base LM의 능력에 따라 imitation model이 어떻게 개선되는지를 연구하였다. 이를 위해 모델은 GPT-2 1.5B, LLaMA 7B, LLaMA 13B를 사용하였다. 또한 서로 다른 사이즈의 데이터 서브셋과 함께 fine-tuning 할 때 데이터 규모의 효과에 대해 실험하였다.

 

 automatic 평가를 위해 논문에서는 5-shot MMLU, 3-shot Natural Questions, 0-shot HumanEval에서 성능을 측정하였다. human 평가의 경우에는 blind 출력쌍의 비교를 수행하였다. 사람은 두 응답 중 무엇을 더 선호하는지 또는 두 응답이 비슷한지를 평가한다.

 

4-2. Qualitative Analysis and Crowdworker Evaluation Show Promise

 

imitation model은 crowdworker에게 높이 평가됨.  논문에서는 GPT-2 또는 LLaMA가 instruction을 따르는 것에 실패하였는데 imitation model은 task에 머무는 출력을 생성한다. 이는 초기의 promise를 지지하는 결과이다. imitation model 출력 퀄리티는 ChatGPT와 비슷하거나 더 나았다. 특히, 모델 사이즈를 늘림에 따라 그 퀄리티는 더 나아졌다(그림 1과 3의 오른쪽). 하지만, human rating을 imitation data의 양을 늘림에 따라 빠르게 수렴하는 것을 볼 수 있다(그림 1과 3의 왼쪽). 이는 이 방식의 단점을 암시한다.

 

그림 3. GPT-4와 crowdworker 평가는 똑같은 추세를 보여줌. imitation data의 양을 늘림에 따라 GPT-4의 rating은 평평함(왼쪽). 하지만, base model의 사이즈를 늘림에 따라, imitation model에 대한 GPT-4 평가의 퀄리티는 높아짐(오른쪽)

 

4-3. Targeted Automatic Evaluation Expose Failure Modes

 

Broad-coverage imitation model은 대부분의 task에서 갭을 좁히는데 실패함.  모든 벤치마크에서 ShareGPT-Mix imitation model은 base model과 비교해서 정확도 측면에서 개선이 없었다. 심지어 imitation data를 추가적으로 추가했음에도 말이다(그림 4 위쪽). 이것은 ChatGPT를 broad-coverage imitation data에서 모방하는 것은 모델의 성능을 개선시키지 않음을 보여준다.

 

그림 4. Automatic Evaluation. imitation data의 양을 늘려도 벤치마크에서는 조금의 개선만 있었고, 오히려 성능이 감소하기도 함(위쪽). 반대로 base LM의 규모를 키우는 것은 결과를 개선함(아래). 이는 open-source LM과 closed-source LM의 가장 큰 차이가 raw 능력의 갭이라는 것을 제안함.

 

 논문에서는 이러한 결과가 발생하는 이유가 ChatGPT가 LLaMA와 비교해서 웹으로부터 더 많은 지식 & 능력을 캡처하기 때문이라고 주장하였다. 적은 양의 imitation data로 이 갭을 잇는 것은 비합리적이다. 논문에서는 weaker base LM을 사용해서 ChatGPT에 준하는 성능을 얻기 위해 pre-training에 가까울 정도로 매우 크고 다양한 imitation data를 수집하기 위한 노력을 필요로 한다.

 

Local imitation model을 학습시키는 것이 더욱 성공적임.  NLP-synthetic 데이터를 사용해서 로컬적으로 ChatGPT를 모방하여 학습된 모델은 더욱 성공적이다. 특히 LLaMA base model과 비교해서 imitation model의 성능은 상당히 개선되고(표 1), ChatGPT의 정확도에 빠르게 근접한다. 이것은 ChatGPT로부터 구체적 특성을 distill 하는 것이 더욱 실현 가능하다는 것을 설명한다.

 

표 1. ShareGPT-Mix 또는 NQ-synthetic의 broad-coverage 데이터에서 imitation model을 학습시킴

 

서로 다른 평가 데이터셋 간에 실험적 trade-off가 존재함.  왜 더 많은 ShareGPT-Mix에서 학습을 하면 성능에 해로울까? 이러한 성능 차이는 분포 이동 & 대화 형식 fine-tuning과 downstreak 벤치마크 간의 차이 때문에 성능 감소가 발생한다. 성능 감소가 정규화 또는 fine-tuning 중에 pre-training 데이터를 섞음으로써 완화될 수 있는지는 open problem이다.

 

base LM을 개선시키는 것이 최고의 해결책.  모방 데이터 사이즈를 늘리는 것보다 더 나은 base LM을 사용하는 것이 상당한 정확도 개선을 이끈다. 하지만 여기에는 아직도 open-source LM과 closed-source LM 간에 imitation data의 값싼 fine-tuning으로는 좁혀지기 힘든 능력 갭이 존재한다. open-source LM을 개선하기 위한 최고의 방법은 더 나은 base LM을 개발하기 위한 어려운 문제에 도전하는 것이다.

 

4-4. Imitation Models Learn Style, Not Control

 

 논문에서는 왜 imitation model이 crowdworker 평가에서는 꽤 강력하지만, NLP 벤치마크에서는 base LM보다 뛰어나지 못한 지에 대해서 조사하였다. 논문에서는 imitation model이 ChatGPT의 스타일을 모방하는데 능숙했기 때문이라는 것을 알아냈다. 특히 표 2에서는 imitation model과 ChatGPT가 유사한 출력을 내는 것을 보여준다.

 

표 2. 더 많은 imitation data를 추가함에 따라 모델의 출력의 형식은 ChatGPT의 것과 꽤 유사함.

 

 하지만 이전 automatic 평가에서 봤던 것처럼 imitation model은 약한 사실성을 가진다. imitation model의 응답은 그럴듯해 보이지만 ChatGPT보다 적게 사실에 기반을 둔다. 이것이 그림 2에 나타나 있다. 여기서 imitation model은 ChatGPT의 응답과 유사한 응답을 출력하지만 완벽히 틀렸다!

 

Human 평가는 점점 더 어려워짐.  도메인 전문 지식이 없거나 상당한 시간 투자가 없는 crowd worker는 스타일적 요소에 의해 평가될 수 있다. human 평가의 개선을 위해 도메인 전문가를 참여시킬 뿐만 아니라 매우 어려운 prompt set도 curate 하는 것이 필수적이다. 놀랍게도 human 평가 결과와 GPT-4 평가 결과가 똑같은 추세를 보여준다. 이는 GPT-4가 human 평가를 값싸게 대체할 후보자가 될 수 있음을 제안한다.

 

Imitation model은 teacher model의 safety & toxicity를 물려받음.  imitation은 ChatGPT의 좋은 점들만 물려받는 게 아니라 harmless 한 특성도 상속받게 된다. 그림 5에서 보이는 것처럼 더 많은 imitation data에서의 fine-tuning은 RealToxicityPrompt에서 더 낮은 toxicity를 보여준다. 결과적으로 논문에서는 강력한 base LM을 가지고 있고 값비싼 fine-tuning data에 주석을 추가해야 할 필요성을 없애기 위한 경우에 model imitation은 매우 효과적이라고 결론을 지었다. 

 

그림 5. imitation model을 RealToxicityPrompt에서 평가함

 

 

5. Discussion

간단한 지식 추출기처럼 fine-tuning.  논문의 결과는 수수한 양의 fine-tuning은 LM의 지식 또는 능력에 개선을 주지 않는다는 것을 보여준다. 그래서 논문에서는 pre-training이 LM 능력의 주된 소스이고, fine-tuning은 자신의 지식을 추론하기 위해 모델을 학습시키기 위한 가벼운 역할을 한다는 의견에 동의한다. 이것이 작은 데이터셋에서 ChatGPT를 모방함으로써 모델을 개선시키는 것이 불충분한 이유이다.

 

imitation에 대해 걱정해야 할까?  model imitation의 효험은 base LM과 타깃 LM 간에 큰 갭이 존재한다면 제한된다. 

 

논문의 발견에 대한 잠재적 혼란.  논문의 결과는 꽤 지지를 받는 것처럼 보이지만 결론을 바꿀 수 있는 잠재적으로 숨겨진 몇 개의 교란을 가지고 있다. 첫 번째로 ChatGPT에 사용되는 pre-training 데이터를 알지 못하는 것처럼 논문에서 평가한 몇 개의 task에 대해서 ChatGPT에서 이미 학습된 것일 수도 있다. 게다가 imitation을 수행하기 위해서 논문에서는 타깃 모델의 output에서 supervised learning을 수행한다. 

 

model imitation의 다른 형태에 대한 영향.  최근 연구들에서 대규모 LM을 데이터 주석과 생성 프로세스 중에 다양한 방법으로 사용하는 것이 일반적이다. 

 

model imitation의 기술적 제약.  상업용 LM을 모방하는 것은 여러 기술적 제약을 가진다: imitation model은 상업용 LM의 약점과 bias를 상속받고, 모방은 closed AI의 디자인 결정에 직접적인 개선을 허락해주지는 않는다. 게다가 imitation model을 사용해서 특정 과학적 질문에 대답하는 것은 어려운데 왜냐하면 이들의 학습 파이프라인에 상업적 블랙박스 모델을 포함하기 때문이다.

 

 

6. Conclusion

 이 논문에서는 model imitation의 효험에 대해서 분석하였다. imitation은 open-source LM의 스타일, persona, instruction의 준수를 개선시킬 수 있다는 것을 보여줬다. 하지만 imitation은 사실성, 코딩, safeguard, 문제 해결 같은 더욱 어려운 문제에 대해서는 LM을 개선시키지 못했다. 한편으로 이러한 결과는 기업이 강력한 base model을 pre-train 함으로써 경쟁 우위를 성공적으로 확립하고 보호할 수 있음을 나타낸다. 반대로 이것은 2개의 그룹이 똑같이 유능한 LM을 소유하고 있으면 값비싼 fine-tuning data 주석을 달 필요 없이 하나는 다른 하나의 persona와 특성을 손쉽게 모방할 수 있음을 암시한다.

 

 논문의 결과는 기술적 및 사회적 question을 일으킨다. 첫 번째로 기존의 crowd worker 평가는 imitation model과 상업용 모델 간의 차이를 이끌어내는데 어려움을 가진다. 향후의 human 평가는 아직 불투명하게 남아있다: 어떻게 빠르고 싸게 강력한 LLM의 기능을 조사할 수 있을까?

 

 두 번째로, LLaMA와 ChatGPT 간의 큰 갭이 주어지고 model imitation의 불충분함이 주어졌을 때 어떻게 open-source LM을 최적으로 개선시킬 수 있는지에 대한 명백한 open question이 있다.

 

 

 

 

출처

https://arxiv.org/abs/2305.15717

The False Promise of Imitating Proprietary LLMs