LIMA: Less Is More for Alignment 논문 리뷰

The overview of this paper

 LLM은 두 가지의 단계로 학습된다.

 

1. general-purpose representation을 학습하기 위해, raw text로부터 unsupervised pre-training을 사용
2. end task와 사용자 선호를 align 하기 위해 대규모 instruction tuning & RL을 사용

 

 이 두 가지 stage의 중요성을 측정하기 위해 어떠한 RL 또는 human preference modeling 없이 오직 1000개의 신중하게 선정된 prompt & response에서 기존 supervised loss를 사용해서 fine-tune 된 LLaMA-65B인 LIMA를 학습시켰다. LIMA는 복잡한 쿼리를 포함하는 training 데이터의 몇 가지 예에서만 특정 응답 형식을 따르는 방법을 학습하여 매우 강력한 성능을 보여준다. 게다가 모델은 unseen task에 대해 더욱 잘 일반화하는 경향을 보여줬다. 이 모든 것을 종합하여, 논문의 실험 결과는 LLM의 거의 모든 지식은 pre-training 중에 학습된다는 것을 강력하게 제안하고 제한된 instruction training 데이터는 high-quality output을 생성하기 위해 모델을 가르치기 위해 필요하다.

 

 

Table of Contents

1. Introduction

2. Alignment Data

3. Training LIMA

4. Human Evaluation

5. Why is Less More? Ablations

6. Multi-Turn Dialogue

7. Discussion

 

 

 

1. Introduction

 LM에게 general-purpose representation을 학습할 수 있도록 해주는 것은 어떠한 language understanding & generation task로도 transfer가 가능하다. 이를 위해 instruction tuning, multi-million-example 데이터셋, RLHF가 제안되었다. 현존하는 alignment method는 ChatGPT 레벨의 성능을 달성하기 위해 상당한 양의 계산량 & 구체적 데이터를 필요로 한다. 하지만, 논문에서는 1,000개의 엄선된 training example에서 fine-tune 됨으로써 강력한 성능을 달성할 수 있음을 보여주었다.

 

 논문에서는 alignment가 모델이 이미 pre-training 중에 얻은 지식과 능력을 드러내기 위해 모델이 사용자들과 상호작용하기 위한 스타일 또는 형식을 학습하는 간단한 프로세스일 수도 있다고 가정하였다. 이 가설을 테스트하기 위해서 실제 사용자 prompt와 high-quality 응답에 가까운 1,000개의 example을 엄선하였다. 논문에서는 퀄리티와 다양성을 위해 Stack Exchange나 wikiHow 같은 커뮤티니 포럼으로부터 750개의 top question을 골라왔다. 추가적으로 수기로 작성된 250개의 prompt와 response example을 작성하였다. 최종적으로 LLaMA-65B를 이 1,000개의 demonstration에서 fine-tune 한 모델인 LIMA를 학습시켰다. 

 

 300개의 까다로운 test prompt에서 LIMA와 다른 SoTA 모델들을 비교하였다. human preference 연구에서, LIMA는 RLHF-trained DaVinci003을 능가할 뿐만 아니라 52,000개의 example에서 학습된 65B Alpaca도 능가하였다. 비록 사람들은 GPT-4, Claude, Bard의 응답을 LIMA의 응답보다 더 선호하긴 하였지만, 그래도 거의 비슷한 비율로 LIMA의 응답도 선호되었다. LIMA의 응답을 absolute scale에서 분석해본 결과 88%의 응답이 prompt를 만족하였고, 50%의 응답이 훌륭하였다.

 

 Ablation 실험은 데이터 품질을 최적화할 때 큰 이득과 함께 prompt 다양성을 확장하지 않고 데이터 수량을 확장할 때 이득이 크게 감소함을 보여준다. 게다가 비록 0개의 dialogue example을 가짐에도 불구하고 LIMA는 논리 정연한 multi-tuen dialogue를 수행할 수 있음을 알았다. 이 능력은 오직 30개의 hand-crafted dialogue chain을 추가함으로써 극적으로 개선될 수 있다. 전반적으로 이러한 결과는 pre-training의 힘과 대규모 instruction-tuning과 RL 방법의 중요성을 설명한다.

 

2. Alignment Data

논문에서는 Superficial Alignment Hypothesis를 정의하였다.

 

모델의 지식과 능력은 거의 pre-training 중에 학습된다. 그리고 alignment는 사용자와 상호작용을

할 때 사용되어야 하는 포맷의 하위 분포를 가르친다.

 

 만약 이 가설이 사실이라면 사람들은 보다 작은 example 세트를 사용하여 PLM을 충분히 tune 할 수 있어야 한다. 이를 위해 논문에서는 1,000개의 prompt & response 데이터셋을 수집하였다. 여기서 output은 서로끼리 문체적으로 align하지만, input은 다양하다. 표 1은 서로 다른 데이터 소스에 대한 개요를 보여주고 몇 가지 통계를 제공해 준다.

 

표 1. training prompts(inputs), responses(outputs), test prompts의 소스. 총합 training data의 대략 750,000개의 토큰이고, 정확히 1,000개의 시퀀스로 나눠짐

 

2-1. Community Questions & Answers

 

 논문에서는 3개의 community Q&A 웹사이트에서 데이터를 수집하였다: Stack Exchange, wikiHow, PushShift Reddit Dataset. Stack Exchange & wikiHow는 well-aligned 되어 있지만, Reddit updated answer는 웃기거나 낚시성 글이 많기 때문에 적절한 스타일을 따르는 응답을 엄선하기 위하 더욱 수동적인 방법이 필요하다.

 

2-2. Manually Authored Examples

 

 온라인 커뮤니티에서 사용자들에게 의해 물어봐지는 question에 대해 논문의 데이터를 추가적으로 다양화시키기 위해 author로부터 prompt를 수집한다. 이를 위해 각 그룹당 250개의 prompt를 생성하는 총 2가지 그룹의 author을 디자인했다.

 

• Group A: 200개의 training을 위한 prompt + held-out dev set를 위한 50개의 prompt
• Group B: 필터링 후 남은 230개의 prompt를 test를 위해 사용

 

 논문에서는 author들이 직접 작성한 high-quality 응답과 함께 200개의 training prompt를 보충하였다. answer를 author들이 작성하는 중에 helpful AI assistant를 위한 적절한 균일한 폼을 세팅하고자 하였다. 구체적으로, question에 대한 인정과 answer 자체로 많은 prompt에 답변이 제공된다. 사전 실험들은 이러한 한결같은 형식이 일반적으로 모델의 성능을 향상시킨다는 것을 보여준다. 논문에서는 이것이 모델이 CoT의 "let's think step-by-step"와 유사한 것을 형성할 수 있도록 도와준다고 가정하였다.

 

 논문에서는 13개의 어느 정도 toxicity 또는 악의에 찬 training prompt도 포함하였다. 응답은 부분적 또는 완전히 명령을 거절하도록 신중하게 작성하였고, 왜 assistant가 응답을 할 수 없는지 또한 설명하였다. 테스트 세트에도 이와 유사한 30개의 prompt가 존재한다.

 

 게다가 author들이 작성한 example에 SuperNI로부터 50개의 training example을 샘플링하였다. 잠재적인 사용자 prompt의 분포는 Super-Natural Instructions의 task 분포와 틀림없이 다르지만, 직감은 이 작은 샘플이 training example의 전체 혼합에 다양성을 추가하고 잠재적으로 모델 robust를 높일 수 있다는 것이다.

 

 손수 다양한 prompt와 양질의 응답을 작성하는 것은 힘들다. 최근의 연구들은 여러 가지 방법을 통해 수동적인 노동을 피하고, 퀄리티보다 양을 최적화하는데 집중하였으나, 이 논문에서는 그보다 다양성과 퀄리티의 효과에 대해 조사하였다.

 

3. Training LIMA

 논문에서는 다음의 프로토콜을 사용해서 LIMA를 학습시켰다. LLaMA-65B에서 시작해서 1,000개의 example alignment training set에서 fine-tune 하였다. 각 화자를 달리하기 위해 각 표현의 마지막에 스페셜 토큰 EOT를 추가하였다. 이 토큰은 생성을 멈추는 EOS 토큰과 똑같은 역할을 하지만, pre-trained 모델이 기존 EOS 토큰에 주입했을 수도 있는 다른 의미와의 융합을 피한다.

 

 논문에서는 기존의 fine-tuning 하이퍼 파라미터를 따라서 사용하였다. 자세한 내용은 논문을 확인해 주길 바란다. 그리고 논문에서는 perplexity가 생성 퀄리티와 상관관계를 가지고 있지 않는다는 것을 발견하였고, held-out 50-example dev set을 사용해서 5번째에서 10번째 epoch 간에 checkpoint를 수동으로 선택하였다. 

 

4. Human Evaluation

 논문에서는 LIMA를 SoTA 모델들과 비교함으로써 평가하였고, LIMA가 RLHF 기반 DaVinci003과 52,000개의 example에서 학습된 65B Alpaca를 능가하는 모습을 보여줬다. 그리고 GPT-4와 비슷하거나 더 나은 응답을 보여주기도 하였다. LIMA의 생성을 분석해 보면 50%의 output은 훌륭(excellent)하다고 판단한 것을 알 수 있다. 몇 개의 example에서의 간단한 fine-tuning은 SoTA와 경쟁하기에 충분하다는 사실은 앞서 세운 Superficial Alignment Hypothesis를 지지한다.

 

4-1. Experimental Setup

 

 LIMA를 다른 모델과 비교하기 위해 각 test prompt에 대해 하나의 응답을 생성한다. 그다음에 crowdworker에게 LIMA의 output과 다른 baseline의 output 중 무엇을 선호하는지 물어보고, 이 실험을 반복한다. 그리고 crowdworker를 GPT-4로 대체했을 때도 비슷한 수준의 동의를 찾을 수 있었다.

 

Baselines.  LIMA를 5개의 baseline과 비교하였다: Alpaca-65B, DaVinci003, Bard, Claude, GPT-4.

 

Generation.  각 prompt에 대해 nucleus sampling을 사용해서 각 baseline 모델로부터 하나의 응답을 생성 해난다. repitition penalty를 적용하고 maximum token length는 2,048로 제한하였다.

 

Methodology.  각 스텝에서 annotator에게 하나의 prompt와 가능한 2개의 응답(서로 다른 모델에서 생성된)을 보여준다. 그다음에 annotator는 두 응답 중 무엇이 더 나은지 평가한다.

 

4-2. Results

 

 그림 1(왼쪽)은 human preference 연구의 결과를 보여주고 있는 반면에, 그림 1(오른쪽)은 GPT-4 preference의 결과를 보여주고 있다. 결국에 사람과 GPT-4 둘 다 똑같은 추세를 보이고 있다. 각 모델과의 비교에 대한 결과는 다음과 같다.

 

• Alpaca-65B는 52배 더 많은 데이터에서 학습했음에도 불구하고 LIMA가 더 선호되었음 👍
• DaVinci003은 가장 우월하다고 여겨지는 alignment method인 RLHF를 사용하여 학습되었지만 비슷한 성능을 보여줌 😲
• Bard는 42%로 좀 더 선호되었지만, 바꿔 말하면 58%로 LIMA의 응답은 Bard만큼 좋다는 의미 🙂
• Claude & GPT-4는 일반적으로 LIMA보다 나은 모습을 보여줬음 📈

 

그림 1. 왼쪽은 human preference evaluation, 오른쪽은 GPT-4를 사용한 preference evaluation

 

4-3. Analysis

 

 LIMA에 대한 평가는 SoTA baseline에 관해 평가하였다. 그렇지만 이 baseline들은 training 중에 수만 명의 실제 사용자가 prompt에 노출돼서 highly-tune 된 product이다. 논문에서는 50개의 랜덤 한 example을 수동으로 분석함으로써 absolute 평가 체계를 만들었다.

 

• Fail: 응답이 prompt의 요구 사항을 만족하지 못함
• Pass: 응답이 prompt의 요구 사항을 만족함
• Excellent: 모델이 prompt에 대해 훌륭한 응답 제공

 

Results.  그림 3은 LIMA 응답의 50% 정도가 훌륭하다는 것을 보여주었고, failure 케이스에 대해서는 어떠한 트렌드를 확인하지 못했다. 그림 3은 조언을 하거나 레시피를 만드는 것에 대한 LIMA의 example output을 보여준다.

 

Out of Distribution.  LIMA는 50개의 분석된 example의 example에서 어떻게 수행할까? 20개의 Out-Of-Distribution example에서 분석한 결과 20%의 응답은 Fail, 35%의 응답은 Pass, 45%의 응답은 Excellent라는 것을 알아내었다. 이 실험은 매우 작은 샘플에서 진행되었지만, LIMA는 training 분포 외에서도 비슷한 성능을 달성하였다. 이는 잘 일반화한다는 의미이다. 그림 3은 standup을 작성하거나 피자를 시키는 것을 물어볼 때, LIMA의 리액션을 보여준다.

 

Safety.  최종적으로, 논문에서는 safety 관련 example을 조금만 줬는데도 괜찮은지에 대해서 분석하였다. 그 결과, 30개의 민감한 prompt에 대해서 LIMA는 80%의 prompt에서 안전하게 응답하였다. 경우에 따라 LIMA는 작업 수행을 완전히 거부하지만 악의적인 의도가 내포된 경우 LIMA는 그림 3에서 볼 수 있는 것처럼 안전하지 않은 응답을 제공할 가능성이 더 크다.

 

그림 3. test prompt로부터의 모델 output

 

5. Why is Less More? Ablations

 논문에서는 training data의 다양성, 퀄리티, 양의 효과를 ablation을 통해 조사하였다. 그 결과 alignment의 목적에 대해 input 다양성과 output 퀄리티를 늘리는 것은 상당한 긍정적인 효과를 불러온다는 것을 관찰하였다. 반면에 양만 늘리는 것은 별 효과가 없다.

 

Diversity.  prompt 다양성의 효과를 테스트하기 위해 quality-filtered Stack Exchange 데이터와 wikiHow 데이터에서의 학습의 효과를 비교하였다. 그림 4는 더욱 다양한 Stack Exchange 데이터가 상당히 높은 성능을 보여준다는 것을 발견하였다.

 

Quality.  응답 퀄리티의 효과를 테스트하기 위해 어떠한 필터링도 없는 Stack Exchange로부터 2,000개의 example을 샘플링하고 이 데이터셋과 필터링된 데이터셋에서 학습된 다른 모델을 비교하였다. 그 결과 그림 4에서는 0.5% 정도의 차이를 보여줬다. 

 

그림 4. 서로 다른 소스의 2000개의 example에서 학습된 7B 모델의 성능

 

Qunatity.  example의 수를 늘리는 것은 머신러닝 세팅에서 잘 알려진 모델의 성능을 향상하는 방법이다. 이를 테스트하기 위해, Stack Exchange로부터 지수적으로 증가하는 training set를 샘플링하였다. 그림 5는 training set를 더블링 하면서 늘리는 것이 응답의 퀄리티를 향상시키지는 않는다는 것을 발견하였다. 이 결과는 alignment의 scaling law는 양 하나에만 영향을 받는 것이 아니라 prompt의 다양성에도 영향을 받는다는 것을 보여준다. (high-quality 응답을 유지하는 한)

 

그림 5. 지수함수적으로 증가하는 양의 데이터에서 학습된 7B 모델의 성능

 

6. Multi-Turn Dialogue

 오직 1,000개의 single-turn 상호작용에서 fine-tune 된 모델이 multi-turn dialogue에 사용될 수 있을까? 논문에서는 LIMA를 10개의 라이브 대화에서 테스트하였다. 이때 각 응답은 Fail, Pass, Excellent로 라벨링하였다. LIMA의 응답은 대화의 이전 단계에서 정보를 참조하는 zero-shot 챗봇에 대해 놀라울 정도로 일관성을 가진 모델은 Out-Of-Distribution 에서도 작동하는 것이 분명하다. 결과적으로 10개의 대화 중 6개에서 LIMA는 3개의 상호작용 내에서 prompt를 따르지 않았다.

 

 대화 능력 개선을 위해 30개의 multi-turn dialogue chain을 모았다. 이렇게 해서 총 1,030개의 example에서 fine-tune된 새로운 버전의 LIMA는 zero-shot 모델에서 똑같이 사용된 prompt에 기반해서 10개의 라이브 대화를 진행하였다. 그림 7은 이러한 dialogue에 대한 예외를 보여준다.

 

 그림 6은 응답 퀄리티의 분포를 보여준다. 대화 데이터를 추가하는 것이 생성 퀄리티를 상당히 개선시킨다는 것을 보여줬다. 게다가 failure rate도 zero-shot의 경우에는 42 턴 당 15번의 오류가 발생하였지만, fine-tuned의 경우에는 46 턴 당 1번 정도의 오류가 발생하였다. fine-tuned 모델은 10개 중 7개의 대화에서 상당히 나은 결과를 보여줬고, 3개에서는 zero-shot과 타이를 이뤘다. 단 30개의 example에서 이러한 능력의 도약과 zero-shot 모델이 대화할 수 있다는 사실은 이런 능력이 pre-training 중에 학습되고 limited supervision을 통해 호출될 수 있다는 가설을 강화한다.

 

그림 6. dialogue turn의 분석

 

그림 7. 30개의 dialogue example을 사용할 때와 사용하지 않을 때의 LIMA의 example dialogue

 

7. Discussion

 논문에서는 1,000개의 신중하게 엄선된 example에서 강력한 PLM을 fine-tune 하면 광범위한 prompt에서 눈에 띄고, 경쟁력 있는 결과를 보여줬다. 하지만 이러한 example을 작성하는 데는 상당한 mental effort가 필요해서 scale up이 힘들다. 그리고 LIMA는 product-grade 모델만큼 robust 하지 않다. 반면에 LIMA는 일반적으로 좋은 응답을 보여주는데, 디코딩 또는 공격적 prompt 중에 unlucky sample는 약한 응답을 이끌 수 있다. 즉, 이 논문에서 제시된 증거는 간단한 접근 방식으로 alignment의 복잡한 문제를 해결할 수 있는 가능성을 보여준다.

 

 

 

 

출처

https://arxiv.org/abs/2305.11206

LIMA: Less Is More for Alignment