Aligning Large Language Models through Synthetic Feedback 논문 리뷰

The overview of this paper

 LLM을 human value로 align 하는 것은 LLM의 정교한 조종을 가능하게 해 주기 때문에 중요해졌다. 하지만 alignment는 상당한 양의 human demonstration과 피드백을 필요로 한다. 최근의 open-source model은 이미 align 된 InstructGPT와 ChatGPT 같은 LLM으로부터 데이터를 distill 함으로써 alignment learning 프로세스를 복제하였다. 이 프로세스는 사람의 노력을 줄여주지만, teacher model에 상당히 의존적이다.

 

 이 논문에서는 사람의 노동이 거의 필요하지 않고 pre-aligned LLM에 의존하지 않는 새로운 프레임워크를 소개하였다. 이 프레임워크의 프로세스는 다음과 같다.

 

1. 다양한 사이즈와 prompt를 사용하는 vanilla LLM으로부터의 응답을 비교함으로써 RM을 synthetic 피드백을 사용하여 수행 
2. supervised policy 학습을 위해 high-quality demonstration을 위한 RM과 모델을 추가적으로 최적화하기 위해 RL을 사용함

 

 결과적으로 나온 모델은 Aligned Language Model with Synthetic Training(ALMoST)는 open-source 모델을 능가하는 성능을 보여줬다.

 

 

Table of Contents

1. Introduction

2. Method

3. Evaluating Alignment of ALMoST

4. Analysis

 

 

1. Introduction

 보통의 전형적인 alignment learning process는 총 3가지의 스테이지로 구성되어 있다.

 

1. 초기의 policy 모델을 human annotator에 의해 수집된 supervised demonstration을 사용하여 학습시킴
2. 똑같은 input prompt에 대한 다양한 모델 output 간에 human comparison을 사용하는 Reward Modeling 진행. 이를 통해 결과로 나온 RM은 human preference에 따라 어떤 model output이 나은지 판단 가능함
3. RL에서 RM을 human value alignment를 위한 초기 policy 모델을 가이드하는데 사용함

 

 하지만 이 3-stage training recipe는 특히 첫 2개의 스테이지에 대해서 상당한 사람의 노력이 필요하다. 더욱 구체적으로 SFT와 RM training은 풍부한 high-quality human demonstration과 ranking dataset을 가져야만 하기 때문이다.

 

 이 논문에서는 최소한의 human 라벨만을 필요로 하고, pre-aligned LLM에 의존하지 않는 alignment learning에 대한 새로운 프레임워크를 소개하였다. 전통적인 alignment learning 프로시저와 달리 이 방법은 그림 1처럼 다양한 사이즈와 prompt의 vanilla LLM으로부터 output을 사용하는 통합 비교 데이터셋을 구축한다. 논문에서는 더 나은 퀄리티를 얻기 위한 응답 길이를 고려하는 실험적으로 디자인된 휴리스틱 필터를 사용하였다. 이 휴리스틱 필터의 역할은 RNN의 성능에 매우 중요하다. synthetic comparison에서 학습된 RM은 fully-supervised 모델의 90% 정도의 정확도를 보여준다.

 

그림 1. synthetic feedback을 통한 reward modeling 프로시저

 

 두 번째 스테이지에서는, high-quality demonstration을 자동적으로 생성하기 위한 방법인 Reward-Model-guided Self-Play(RMSP)를 소개하였다. 이것은 나중에 supervised policy model을 학습시키는 데 사용될 수 있다. 중요한 추가적인 요소는 생성된 output에 대해 rejection sampling을 사용한 model-to-model 대화의 퀄리티를 보장해 주는 이전 스테이지로부터 synthetic RM을 활용한다는 것이다. 논문에서는 LLaMA-7B를 synthetic comparison에서 학습시키고 synthetis RM의 reward로 모델을 최적화하는 Reinforcement Learning from Synthetic Feedback(RLSF)를 사용하였다. 

 

 논문의 main contribution은 다음과 같다.

 

• synthetic feedback을 소개함으로써 새로운 alignment learning 프레임워크를 제안하였음. 이것은 human feedback과 pre-aligned LLM에 의존할 필요 없이 자동적으로 high-quality comparison을 만듦.
• ALMoST는 다양한 평가에서 human value와 잘 align되는 특성을 보여줬음
• ALMoST-7B는 Alpaca-13B, Dolly-v2, OpenAssitant-12B를 능가함. GPT-4를 활용하는 A/B test에서 평균적으로 75% 정도의 winning rate를 보여줬음

 

2. Method

 그림 2에 프레임워크의 전반적인 개요가 보여지고 있다.

 

그림 2.LLM의 alignment learning을 위한 제안된 프레임워크의 개요

 

2-1. Step 1: Reward Modeling with Synthetic Feedback

 

 전형적인 method와 달리 RM을 학습시키기 위해 synthetic comparison 데이터셋을 생성하였다.

 

Prompted Baseline.  비교를 위한 available한 aligned baseline을 가지고 있지 않기 때문에 HHH를 prompt 해서 LLaMA를 학습시키고 synthetic comparison을 생성하였다.

 

Generating Synthetic Comparison.  human feedback을 수집하는 대신에 실험적 관찰을 따르는 naive한 추정에 기반한 synthetic comparison를 생성하였다. 요약해 보면 응답의 퀄리티는 다음의 규칙을 따른다고 가정할 수 있다.

 

• Larger model > Smaller model
• More few-shots > Less few-shots
• Better demonstration > Worse demonstration

 

 똑같은 input $x$에 대해 다양한 구성을 가지는 모델로부터 응답 $Y = \left\{ y_{1}, y_{2}, \cdots, y_{|Y|}\right\}$를 샘플링한다. 그다음에 생성된 응답 중 더 나은 응답을 고르기 위한 rule을 적용한다. 더욱 구체적으로 논문에서는 비교를 위해 {7, 13, 30}B LLM과 {1, 3, 5} shots HHH demonstration의 구성을 사용하였다. 그림 1에 나타나 있는 것처럼 만약 30B w/ 5-shots, 13B w/ 3-shots, 7B w/ 1-shot으로부터 응답을 샘플링하면 랭킹은 rule of thumb에 따라 $y_{1} > y_{2} > y_{3}$가 될 것이다. 그다음에 $\left\{ (y_1, y_2), (y_2, y_3), (y_1, y_3)\right\}$의 2진화된 세트를 얻을 수 있다. 여기서 전자는 'chosen' 응답이고, 후자는 'rejected' 응답이다. 

 

Post Validation.  데이터셋의 노이즈는 reward modeling을 불안정하고 갈라지게 만든다. 따라서 이러한 노이즈를 필터링하기 위해 post validation method를 사용하는 것이다.

 

 첫 번째로 논문에서는 이전 지식에 기반하는 Heuristic Filter(HF)를 고안하였다. 이 method는 "I don't know" 또는 "well"과 같은 키워드로 시작하거나 포함하는 bad 응답은 버려버린다. 또한 논문에서는 좋은 퀄리티의 응답은 안 좋은 문장보다 더 긴 문장 길이를 가진다는 것을 발견하였다. 따라서 응답의 길이가 짧으면 오류를 범하는 응답을 생성하는 경향이 있다고 보여줬다. 하지만, RM을 오직 긴 응답들의 비교에서 학습시키는 것은 결과 모델이 길이에 편향적일 수 있게 만들 수도 있다. 따라서, 논문에서는 rejected 응답과 $M-S/2$ 보다 긴 chosen 응답의 conparison pair를 받아서 HF를 적용하였다. 여기서 $M$은 평균을 의미하고, $S$는 $Y$의 길이의 표준편차를 의미한다. 이러한 길이 제약은 각 응답의 길이가 신뢰 구간에 있는지 확인함으로써 short-generation의 확률론적 생성 오류의 확률을 줄여주고 length bias에 빠지지 않게 해 준다.

 

 두 번째로 가능하면 논문에서는 추가적 데이터 필터링을 위해 As-is RM을 활용하였다. 여기서 말하는 'As-is'는 '있는 그대로'의 RM을 말하는 것이다. 따라서 논문에서는 다른 RM을 StackExchange 같은 communityQA 데이터셋에서 학습시켰다. 이전 연구에서는 RM을 위한 대규모 pre-training에 대한 이득을 찾을 수 없었다. 따라서 논문에서는 training을 위해 전처리된 StackExchange 데이터셋으로부터 20K 개를 서브샘플링 해왔다. 오직 As-is RM이 결정에 동의할 때만 synthetic comparison을 유지하였다.

 

Reward Modeling.  syntheic comparison에 기반해서 RM을 학습시켰다. 사용한 objective는 RM이 주어진 쿼리에 대해 conterpart baseline의 응답 $y_{k}$와 비교해 응답 $y_{j}$의 전반적인 퀄리티에 대한 스칼라 값을 RM $r_{\theta}$에 지정하도록 만들어 줬다. loss function은 다음과 같다:

 

 

 여기서 $D$는 synthetic comparison의 training set이고 $r_{\theta}(x, y)$는 input $x$에 대한 전반적인 응답 퀄리티 $y$를 나타내는 RM의 스칼라 값이다.

 

2-2. Step 2: Supervised Fine-Tuning

 

 2번째 단계에서는 high-quality demonstration을 구동하기 위해 Reward-Model-guided Self-Play(RMSP)를 제안하였다. simulated demonstration은 초기에 align 된 policy 모델을 fine-tune 하는 데 사용된다.

 

Self-Play.  기존의 turn-taking Self-Play에서는 사용자와 assistant 간에 대화를 통해 이루어진다. 하지만 이 논문에서는 assistant로 LLaMA-30B-Faithful-3shot을 사용해서 초기 쿼리를 생성하고, LLaMA-30B-User-3shot은 assistant의 응답을 따르게 하였다. 이 turn-taking은 최대 턴 $T$까지 계속된다. 

 

RM-guided Self-Play(RMSP).  assistant로부터 더욱 align 된 응답을 보장하기 위해 루프에 synthetic RM을 포함할 것을 제안하였다. 이 방법을 Reward-Model-guided Self-Play(RMSP)라고 부른다. 이 셋업에서 LLaMA-30B-Faithful-3shot은 주어진 대화 문맥에 대해 $N$개의 응답을 샘플링한다. 그다음에 simulation을 위한 최종 응답으로 best-scored 응답을 선택한다. 예를 들어 RM은 rejection sampling을 수행한다. 그 외의 프로시저는 Self-Play와 똑같다.

 

2-3. Step 3: Reinforcement Learning from Synthetic Feedback(RLSF)

 

 마지막 스테이지에서는 synthetic RM으로부터 reward signal을 추가적으로 align 하기 위해 RLSF를 수행하였다. 이 스테이지 중에, policy $\pi_{\phi}$는 prompt $x$가 주어지면 응답 $y$를 autoregressive 하게 생성한다. 그 후에 reward score $r_{\theta}(x, y)$는 RM $r_{\theta}$에 의해 결정된다. training objective는 예상되는 reward를 최대화하는 것이다.

 

 

 초기 policy $\rho$와 policy $\pi_{\phi}$ 간에 측정된 KL 페널티를 추가하는 것이 성능을 향상시킨다는 이전 연구의 결과에 따라서 최종 objective에도 추가하였다:

 

 

3. Evaluating Alignment of ALMoST

3-1. Dataset

 

Datasets.  ALMoST의 성능을 평가하기 위해 사용된 데이터셋은 다음과 같다.

 

• Static HHH alignment
• TruthfulQA
• Vicuna(GPT-4) Evaluation: 다양한 주제에서 80개의 질문으로 구성되어 있다. 두 개의 서로 다른 모델이 똑같은 질문에 대해 각각의 대답을 생성한다. 그다음에 GPT-4는 평가를 위한 적절한 설명과 해당하는 대답에 대한 1부터 10까지의 스칼라 값을 줌으로써 두 개의 대답을 평가한다.

 

Baselines.  비교를 위해 open-source 모델과 비교하였다.

 

• Alpaca
• Vicuna
• Dolly-v2
• OpenAssistant(Oasst)

 

3-2. Results

 

표 1. Static HHH alignment & TruthfulQA의 평가 결과

 

Static HHH alignment and TruthfulQA.  ALMoST는 표 1에서 보이는 것처럼 aligned LLM 또는 방대한 human annotation으로부터의 어떠한 distillation 없이 Alpaca, Dolly-v2, OpenAssistant를 능가하였다. 모든 사이즈에 대해 ALMoST는 Vicuna를 제외하고 일관적으로 좋은 성능을 보여줬다. ALMoST의 SFT와 PPO-trained 모델을 비교했을 때, PPO model은 honesty를 제외하고 다른 부분의 성능을 개선시켰다.

 

Vicuna(GPT-4) Evaluation.  multiple-choice 문제에서의 높은 정확도는 실제 align 된 특성을 보장해주지 않을 수도 있다. 이를 확인하기 위해서는 human 평가가 가장 정확한 metric이지만, 그 대신에 GPT-4를 활용하여 Vicuna 평가를 진행할 수도 있다. 이에 대한 결과가 그림 3에 나타나 있다. 결과를 살펴보면 ALMoST-PPO는 open-source 모델에 대해 상당히 높은 win rate를 보여줬다. 또한 PPO는 SFT보다 더 좋은 성능을 보여주는 것을 보아 RLSF가 효과적이라는 것을 보여준다.

 

그림 3. VIcuna 평가의 결과

 

4. Analysis

4-1. Alignment Tax

 

 alignment tax는 LLM의 alignment는 능력의 희생을 이끈다는 것이다. 한 마디로 unaligned vanilla model에 비해 약한 모습을 보여주는 능력이 있다는 것이다. 논문에서는 alignment tas를 조사하기 위해 MMLU & LAMBADA 평가를 진행하였다. 표 2의 결과를 보면, 확실히 RLSF는 vanilla LLM에 비해 두 데이터셋에서 성능을 악화시켰다. 이전의 연구에 따르면 10B↓ 모델은 자주 심각한 성능 악화를 겪는다. 따라서 논문에서는 ALMoST의 backbone 모델의 규모를 늘림에 따라 tax 또한 줄어들 것이라 믿고 있다. 

 

표 2. zero-shot MMLU와 LAMBADA의 평가 결과

 

4-2. RM Evaluation

 

 논문에서는 또 다른 comparison dataset인 HH-RLHF에서 RM을 평가하였다.

 

Reward Modeling.  표 3에서는 synthetically 하게 생성된 comparison 데이터셋으로 학습된 RM은 full training 데이터셋에서 학습된 upper bound 모델의 90% 정도의 성능을 달성하였다. 또한 ALMoST는 single-turn 서브셋에서 fine-tune 된 결과와 똑같은 정확도를 달성하였다.

 

표 3. HH-RLHF의 Helpful 분할에서 zero-shot reawrd modeling의 결과

 

Effect of Post Validation.  synthetic comparison에서 노이즈를 줄이기 위한 두 가지 유형의 post-validation을 수행하였다. 표 4는 각 필터링 method가 reward model의 퀄리티에 향상에 공헌한다는 것을 보여준다. 논문에서는 길이 분포를 고려하는 HF는 synthetic 데이터 생성에서도 중요한 역할을 한다. HF를 제외시키면 RM의 성능은 10% 포인트 하락하였다. 

 

표 4. synthetic comparison 생성에서 post validation의 ablation 결과

 

RMSP vs Self-Play.  논문에서는 RM guidance의 효과를 파악하기 위해 RMSP와 RM guidance를 사용하지 않는 Self-Play를 비교하였다. 표 5의 결과를 살펴보면 다음과 같은 해석을 얻을 수 있었다.

 

• RMSP를 사용해 학습된 SFT 모델은 Self-Play를 사용한 모델을 능가하는 성능을 보여줌. 오직 RMSP를 사용한 모델만이 50% 보다 높은 winning rate를 보여줬음
• 좋은 prompt를 만드는 것의 장점을 파악. Faithful 대신에 HHH prompt를 사용하면 성능이 상당히 하락함

 

표 5. RM guidance를 사용하고와 사용하지 않고의 synthetic demonstration 생성의 비교

 

 

 

 

 

출처

https://arxiv.org/abs/2305.13735

Aligning Large Language Models through Synthetic Feedback