SelFee: Iterative Self-Revising LLM Empowered by Self-Feedback Generation 리뷰

SelFee

 

Introduction SelFee

 SelFee는 KAIST의 LK Lab에서 만든 새로운 instruction-following LM으로 응답에서 self-feedback을 생성하고 피드백에 기반해서 self-revise 하는 모델이다. ChatGPT에 의해 생성된 self-feedback과 revision data를 포함하는 178K 개의 training instance를 사용해서 LLaMA model(7B & 13B)을 fine-tune 하였다.

 

 

SelFee의 작동 예시

 

 Vicuna Evaluation에서 두 SelFee(7B & 13B) 모델은 LLaMA, Alpaca, Vicuna, Guanaco를 능가하고 ChatGPT와 비슷한 성능을 보여줬다. SelFee는 특히 high-quality text를 생성하기 위해 반복적 글쓰기 프로세스를 필요로 하는 창의적 글쓰기 또는 장문 텍스트 생성에서 효과적이다. 하지만, 다른 open-source model과 마찬가지로 수학, 추론, 사실성, 코딩 관련 task에서는 closed-API model에 비해 실패하는 모습을 보여줬다. 이것은 더 나은 사실성을 위해 더 나은 base LM이 필요하다는 것을 제안한다(The False Promise of Imitating Proprietary LLMs). 그리고 평가 세팅에서 종합성과 일관성에 제약을 갖는다는 것을 인정해 향후에 더 나은 평가 셋업에서 평가하고자 한다고 한다.

 

그림 1. Vicuna Evaluation 세팅에서 SelFee의 평가 결과

 

Overview of SelFee

TL;DR.  Self-Feedback 생성의 효과에 영감을 받아 self-feedback과 self-revision 생성을 윟 fine-tune 된 모델을 공개하였다. 이전의 방식들과 달리 SelFee는 문서 검색 프로세스, few-shot 설명, 거대 LLM 또는 task-specific 모델을 필요로 하지 않는다.

 

 SelFee는 LLaMA 기반의 instruction-following 모델로 single 추론에서 high-quality 응답을 제공하기 전까지 자신의 answer를 반복적으로 fine-tune 한다. 예를 들어 instruction $Q$가 주어지면, 모델은 answer $A$를 생성할 뿐만 아니라 피드백 $F$도 생성한다. 이 과정을 피드백에서 통과를 시켜줄 때까지 반복한다. 이렇게 간단한 task로 SelFee는 기존의 LLaMA 기반 모델을 상당히 능가하는 성능을 보여줬다.

 

그림 2. SelFee의 생성 프로세스

 

SelFee의 Contribution

 

1. 다양한 소스(ShareGPT, Alpaca, Math, Code, Flan collection)로부터 instruction data를 수집해서 178K 개의 training instance의 데이터셋을 얻음
2. teacher LLM인 ChatGPT로부터 distillation을 통해 feedback & revision instance를 augment 하였음. 이 프로세스는 feedback & reivison data의 부족함으로 더 적은 비용에서 해결할 수 있게 도와줌
3. 모델이 revision을 겪도록 강요함으로써 최종 answer에서 개선을 관찰할 수 있었음. 이것은 더욱 긴 시퀀스를 생성하기 위해 추론 computation을 scaling 하는 것이 모델 사이즈를 scaling 하는 것보다 더 효과적이라는 것을 암시함

 

Data Collection & Augmentation

 데이터 수집 및 augmentation 프로세스는 다음의 3 step으로 이루어져 있다.

 

1. 여러 소스로부터 다양한 instruction을 수집하고 해당 응답을 생성하기 위해 ChatGPT에 이들을 입력함
2. ChatGPT에게 다시 한 번 쿼리함으로써 생성된 answer에 대한 피드백을 얻고, 초기 answer에 어떤 수정이 필수적으로 필요한지 평가하도록 물어봄
3. 수정이 필요해 보이면, ChatGPT가 self-generated 피드백에 기반해서 answer를 수집함. 이 프로세스는 모델이 추가적인 수정이 필요하지 않다고 결정할 때까지 반복함

 

 data augmentation을 위해 총 5개의 서로 다른 소스의 데이터셋을 사용하였다. 각각 Stanford Alpaca, math collection(AQUA, GSM8K, MATH), Code collection(Conala, Deepmind Code Contest, Dr Repair, MBPP), FLAN collection, ShareGPT이다. 

 

Training

 FaseChat을 사용하여 모델을 학습시켰다. instruction이 주어지면 answer & feedback chain을 생성하도록 모델을 fine-tune 하였다.

 

표 2. 다른 모델들과의 training 디테일 비교

 

Inference

Effect of Enforcing Revisions.  inference 중에 answer의 퀄리티가 많은 수의 수정과 함께 개선되는 것을 관찰하였다. 하지만, ChatGPT를 사용할 때, 수정을 계속하는 것은 output의 high-quality를 항상 보장하지는 않는다. ChatGPT가 더 이상의 수정이 불필요하다고 판단했을 때 수정을 강제하면 실제로 출력 품질이 저하된다는 것이 분명했다.

 

 반면에 SelFee는 매 question마다 수정을 거치는 것이 output의 퀄리티를 향상시킨다는 것을 관찰하였다. 다음의 그림 3의 그래프를 보면 최소 3번의 수정을 거치는 것이 최고의 성능을 보여준다는 것을 알 수 있다. 흥미롭게도 최소 3번의 수정을 거친 7B SelFee 모델이 수정을 아예 거치지 않은 13B SelFee 모델보다 더 나은 성능을 보여줬다. 이것은 LM의 inference computation을 증가시키는 것이 그저 모델의 사이즈를 늘리는 것보다 효과적이라는 것을 제안한다.

 

그림 3. 요구되는 수정의 최소 수에 의존한 Vicuna Evaluation 세팅에서 SelFee(13B)의 결과

 

Evaluation

Evaluation setting.  Evaluation 세팅은 Vicuna Evaluation을 따랐다. SelFee의 teacher model인 ChatGPT와 비교해서 상대 점수를 기록하였다. 그리고 Vicuna Evaluation의 positional bias를 위치를 바꿔가면서 총 2번의 평가를 거쳐서 해결하였다.

 

그림 4. GPT-4 평가를 활용해서 다른 모델들과 Win Rate Test 비교

 

Limitations

 SelFee는 Vicuna Evaluation에서 ChatGPT에 버금가는 성능을 보여줬으나, ChatGPT와 비교해서 수학, 추론, 사실성, 코딩 관련 지식이 부족하다. 이러한 한계점은 현재 open-source 모델의 일반적인 한계점으로 더 나은 base model을 만들기 위한 향후 연구가 필요하다. 그리고 현재의 evaluation setting이 완벽하지 않기 때문에, 좀 더 나은 evaluation metric이 필요하다.

 

Online Demo

 SelFee의 online demo는 여기서 확인 가능하다!!

 

 

 

 

출처

https://kaistai.github.io/SelFee/

SelFee: Iterative Self-Revising LLM Empowered by Self-Feedback Generation