🐲Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data 논문 리뷰

The overview of this paper

 ChatGPT 같은 chat 모델들은 인상적인 능력을 보여주면서 빠르게 여러 도메인에 적용되어 나가고 있다. 하지만, 제한된 API 때문에 새로운 연구에 장애물을 만들고 있다. 논문에서는 ChatGPT를 대화에 참여시키게 활용함으로써 자동적으로 high-quality multi-turn chat corpus를 생성할 수 있는 파이프라인을 제안하였다. 그다음에 이 데이터들을 parameter-efficient tuning으로 LLaMA를 향상하기 위해 사용하였다. 그 결과 탄생한 모델이 Baize이고, 이 모델은 가드레일이 있는 multi-turn dialogue 세팅에서 좋은 성능을 보여준다. 게다가, ChatGPT의 피드백을 사용하여 Baize 모델의 성능을 추가적으로 개선시키기 위해 새로운 기술인 Self-Distillation with Feedback(SDF)를 제안하였다.

 

 

Table of Contents

1. Introduction

2. Data Collection via Self-Chat

3. Model Training

4. Evaluation

5. Conclusion

 

 

1. Introduction

 ChatGPT와 GPT-4처럼 많은 LM들은 괄목할만한 성능을 보여주고 있지만, 이들의 이런 유망한 능력에도 불구하고 이들에 대한 접근은 제한된 API에서만 가능하다는 단점을 가지고 있다. 이는 새로운 연구 또는 발전에 장벽을 만들어 버리는 셈이다.

 

 이 논문에서는 자동적으로 high-quality multi-turn chat corpus를 생성하기 위해 ChatGPT의 능력을 활용함으로써 이러한 문제를 해결하기 위한 새로운 pipeline을 제안하였다(그림 1). 논문의 방식은 ChatGPT를 사용자와 AI 응답에 모두 사용하였다. 이렇게 생성된 corpus는 multi-turn 대화의 문맥에서 chat model을 평가하고 학습시키기 위한 귀중한 자원으로 여겨진다.

 

그림 1. Baize와 Baize v2 학습에 대한 pipeline

 

 low-resource 세팅에서 LLM을 fine-tune하기 위해 parameter-efficient 방식을 사용하였다. 이 전략은 SoTA 모델을 한정된 자원 환경에서 좋은 성능을 유지시키면서 적용할 수 있게 해 준다. 논문에서는 주로 open-source LLM인 LLaMA를 개선시키는데 집중하였다. LLaMA를 생성된 chat corpus와 함께 fine-tuning 함으로써 새로운 Baize 모델을 생성하였다. 게다가 논문에서는 Baize의 성능을 개선시키기 위해 RLHF에 대한 대안으로 Self-Distillation with Feedback(SDF)를 제안하였다. 

 

 논문의 주된 contribution은 다음과 같다.

 

• ChatGPT를 대화에 참여시킴으로써 자동적으로 high-quality multi-turn chat corpus를 생성하는 복사할 수 있는 pipeline을 제안하였다. 논문에서 소개한 pipeline은 multi-turn dialogue 세팅에서 chat model을 학습시키기 위한 public resource의 가능성 갭을 채웠다.
• 논문에서는 low-resource 세팅에서 LLaMA 모델을 향상시키기 위해 parameter-efficient tuning과 SDF를 제안하였다. 이렇게 해서 매우 유능한 chat model인 Baize를 만들어냈다.

 

2. Data Collection via Self-Chat

 이 섹션에서는 대화에 ChatGPT를 참여시키기 위해 ChatGPT를 활용함으로써 high-quality multi-turn chat corpus를 생성하기 위해 사용되는 방법론에 대해서 설명하였다. 이 self-chat 프로세스는 데이터 수집 pipeline의 토대이고 open-source LLM, LLaMA의 성능을 향상하는데 중요한 역할을 한다. 

 

 self-chat process는 메시지를 생성하기 위해 ChatGPT를 사용자와 AI assistant로 사용하였다. 논문에서는 포맷과 요구사항을 정의하기 위해 template을 적용하였다. 대화는 'seed'를 중심으로 해서 진행되고, 이것은 chat에 대한 토픽을 설정하는 질문 또는 중요 구문이 될 수 있다.

 

 Baize를 학습시키기 위해 논문에서는 Quora & StackOverflow의 question을 seed로 사용하였다. self-chat에 의해 생성된 example을 다음의 표 1을 확인하길 바란다. Baize의 첫 번째 버전(Baize v1)을 학습시키기 위해 논문에서는 self-chat을 통해 총 111.5K 개의 대화를 수집하였다. 또한 특정 도메인의 데이터셋으로부터 추출된 question과 구문을 사용해서 특정 도메인에 대한 chat model의 지식과 능력을 향상시킬 수 있다. 그래서 논문에서는 MedQuAD 데이터셋을 seed로 사용해서 헬스케어에 특화된 Baize 모델을 학습시키기도 하였다. 

 

표 1. Quora 데이터셋으로부터 샘플링된 seed를 사용한 ChatGPT로 생성된 self-chat의 example

 

 논문에서는 Baize v1.5를 학습시키기 위한 더 나은 퀄리티의 데이터를 수집하기 위해 한 번에 한 번씩 응답을 생성하기 위해 또 다른 ChatGPT를 사용하고 템플릿에서 AI의 응답을 제거하였다. 이는 ChatGPT 응답과 완전히 일관되는 응답을 얻기 위해서이다. 이것은 보통 더욱 길고 더 많은 디테일을 포함한다. 결과로 나온 corpora의 통계가 표 2에 나타나 있다.

 

표 2. 대화의 수, 턴의 평균 수, 각 턴의 응답 길이의 통계

 

Comparison with Other Sources.  Alpaca 모델을 instruction learning 형식의 데이터를 수집하기 위해 self-instruct를 사용하였다. 하지만 T0과 FLAN에서 소개된 instruction-input-output 형식은 single turn으로 제한되고 ChatGPT의 대화 인터페이스와 다르다. 이와는 반대로, Baize의 데이터 수집 pipeline은 ChatGPT의 high-quality chat 대본을 활용함으로써 모델의 챗 능력을 강화시키는데 집중하였다. 추가적으로 instruction을 따르는 Baize의 능력을 추가적으로 향상시키기 위해 Alpaca의 데이터를 training data에 포함하였다.

 

 VIcuna는 shareGPT.com으로부터 크롤링된 대화를 사용하였다. 이렇게 하는 것의 장점은 수집된 데이터의 high-quality 때문이다. 하지만 이러한 소스는 중요한 개인정보와 법적 문제를 가지고 있을 수 있다. 사용자들에 의해 공유되는 컨텐츠는 매우 민감한 개인 정보를 포함하거나 복잡한 저작권 문제에 연관되어 있을 수도 있다. 이러한 데이터 소스와 달리 논문에서 제안된 self-chat pipeline은 저작권 문제에 대한 걱정 없이 데이터를 수집하기 위한 신뢰도 있고 scalable 한 방법이다.

 

3. Model Training

Parameter-Efficient Supervised Fine-tuning.  기존의 fine-tuning은 방대한 양의 컴퓨팅 자원 뿐만 아니라 high-quality & 방대한 데이터셋을 필요로 한다. 하지만 high-quality multi-turn chat corpora의 제한된 가용성이 주어지면, 데이터 & 컴퓨팅 자원 특면에서 더욱 효율적인 method를 적용시키는 것이 중요하다. 여기서 parameter-efficient tuning method는 사용 가능한 데이터의 더 나은 사용을 만들고 광범위한 자원 활용에 대한 필요를 최소화함으로써 이 목표를 달성할 수 있게 도와주었다. 

 

 논문에서는 LLaMA 모델을 튜닝하기 위해 LoRA를 사용하였다. 학습 가능한 파라미터의 수를 늘리고 적응 능력을 증가시키기 위해 LoRA를 LLaMA의 모든 선형 레이어에 적용하였다. 표 3에 각 모델의 파라미터의 수가 나열되어 있다.

 

표 3. Baize 모델을 학습시키기 위한 데이터, 파라미터의 수와 training time

 

Self-Distillation with Feedback(SDF).  Baize v1.5에 기반해서 모델의 성능을 개선시키기 위한 새로운 방법을 소개하고 그 결과로 Baize v2가 나왔다. self-chat 데이터에서 supervised fine-tuning 후에 결과로 나온 Baize v1.5 모델을 Quora 데이터셋의 각 instruction에 대한 4개의 응답을 생성하기 위해 사용하였다. 그다음에 ChatGPT로 self-distillation을 위한 최고의 응답을 고르기 위해 사용하였다. 

 

 new LoRA는 ChatGPT에 의해 선택된 최고의 응답에 대해서 최적화된 방법이다. self-distillation 과정에서 new LoRA를 Baize v1.5의 모든 선형 레이어에 적용하였다. SDF는 RLHF의 대안으로 Reward model이 필요하지 않고, 3배 더 빠른 속도를 보여준다.

 

 SDF는 Baize 자신에 대한 생성에서 distillation을 포함하기 때문에 전반적으로 낮은 loss를 가지고, 이는 모델이 피드백에서 뉘앙스를 캡처하고 catastrophic forgetting 없이 fine-grained optimization을 수행하게 허락해 준다. 이 논문에서는 preference를 생성하기 위해 ChatGPT를 사용하는 SDF를 사용하였지만, 이 기술은 human feedback과도 사용될 수 있다고 믿는다.

 

 

4. Evaluation

GPT-4 Score.  논문에서는 Baize의 성능을 평가하기 위해 GPT-4를 사용하여 평가하는 Vicuna Evaluation을 활용하였다. before SDF Baize v2 & after SDF Baize v2와 ChatGPT를 비교하고, 이외에 다른 모델들도 비교해보았다. 그림 2에서 보이는 것처럼 Baize v2 7B는 Vicuna 7B보다 더 나은 성능을 보여줬고, Baize v2 13B는 Vicuna 13B와 동등한 성능을 보여줬다. VIcuna는 fully fine-tune 되어 있는 상태임에도 말이다.

 

그림 2. Baize, LLaMA, Alpaca, Vicuna, ChatGPT와의 성능 비교

 

Qualitative Study.  논문에서는 Baize의 능력을 설명하는 example 또한 제공하였다. 각 카테고리의 example은 처음을 시도된 것이라면 not cherry-picked로, 다양한 대화로부터 선택된 것이라면 cherry-picked로 표기하였다. 표 4에서는 chat model이 어떻게 금융 사건을 분석하는지 보여주고, 표 5에서는 조크를 설명하는 것을 보여주고 있다.

 

표 4. 리만 형제의 파산을 분석하기 위해 chat model에게 물어본 example

 

표 5. 조크를 설명하도록 chat model에 물어본 example

 

 

 챗봇에 대해 문제 해결 능력도 중요하지만, 모델의 잘못된 사용을 예방하는 것도 중요하다. 논문에서는 모델이 비윤리적 질문을 어떻게 처리하는지 2가지 example을 제공하고 있다. 이러한 두 가지 example은 Baize가 성공적으로 부도덕한 요청을 거절할 수 있다는 것을 보여준다.

 

표 6. 사용자로부터 부도덕적인 요청이 들어왔을 때 chat model이 어떻게 응답하는지의 example

 

 마지막으로 Baize의 코딩 능력을 표 7에서 보여주고 있다.

 

표 7. 코딩 질문의 example

 

 추가적으로 general Baize 모델을 위해 헬스케어 전문가의 도움을 받아 Baize-Healthcare를 테스트하였다. 하나의 예시가 표 8에 나타나 있고, 헬스케어 전문가는 Baize-Healthcare의 응답이 적절하다는 것을 입증해주었다.

 

표 8. 헬스케어 질문에 대답하는 Baize-Healthcare의 example

 

5. Conclusion

 open-source chat 모델 Baize와 구체적 데이터셋으로부터 자동적으로 seed를 샘플링하는 pipeline을 제안하였다. ChatGPT 자신과 대화하게 함으로써 high-quality 대화 corpus를 수집하였다.

 

Limitations

 

Foundation Model.  다른 LM과 마찬가지로 Baize는 hllucination과 유독성, 고정관념을 겪는다. 특히 LLaMA는 82% 이상이 2020년 이전의 데이터이기 때문에 Baize는 특정 질문에 대해 시간이 지난 대답을 내놓을 수도 있다. 게다가 LLaMA는 20개 남짓의 언어를 지원하기 때문에, 비영어권 언어에 대해서는 제한된 양의 corpus를 지닌다.

 

Evaluation.  논문에서는 GPT-4를 사용하여 자동적으로 모델을 평가하였다. 하지만 논문에서는 긴 응답과 위치 편향에 대해 더 강한 선호도를 가지는 것을 찾을 수 있었다. 따라서 논문에서는 human evaluation이 비록 비용과 시간이 더 많이 들지만 더욱 엄격하고 신뢰할 수 있는 평가를 할 수 있다고 믿는다.

 

Safety and Access Control.  ChatGPT와 달리 Baize는 unwanted 행동을 억제하기 위해 human feedback에 의존하지 않는다. 그 대신에 Baize는 ChatGPT를 흉내 냄으로써 unwanted 행동을 피하기 위해 학습한다. 그리고 이러한 행동을 가이드하기 위해 명시적 prompt를 추가한다. 하지만, 여기에 악의적인 능력에 대한 Baize의 사용과 관련된 잠재적인 리스크를 인정해야 한다. 특히 가중치를 공개함에 따라 더욱 말이다. 논문에서는 Baize를 기본 template을 사용해서 평가하였지만, prompt의 변경은 잠재적으로 가드레일을 없앨 수도 있다. 그래도 다행인 것은 논문의 추가적인 튜닝이 이러한 리스크를 줄였다는 점이다. 논문에서는 이러한 리스크의 중요성에 대해 인지하고 있는 것의 중요성과 연구 목적 외의 Baize의 사용을 금하는 것을 강조하였다.

 

 

 

 

출처

https://arxiv.org/abs/2304.01196

Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data