중요한 건 꺾이지 않는 high-quality data!! - Koala🐨: A Dialogue Model for Academic Research 리뷰

 
 

그림 1. Koala 모델 개요

Koala Overview

Koala를 소개하는 포스트에서는 웹으로부터 수집된 대화 데이터에서 Meta의 LLaMA를 fine-tuning 함으로써 학습된 챗봇인 Koala를 소개하였다. 데이터셋 curation과 training process를 설명하고 Koala와 ChatGPT, Alpaca와 비교하는 사용자 연구의 결과 또한 보여줬다. Koala의 결과는 Koala가 다양한 사용자 쿼리에 효과적으로 응답할 수 있고, 응답 생성도 Alpaca보다 더 선호되었고, 절반이 넘는 경우에 최소한 ChatGPT와 타이를 이루는 모습을 보여줬다.

이러한 결과는 충분히 작은 모델도 신중하게 모여진 데이터에서 학습되면 이 모델들의 큰 cousin 모델의 성능을 많이 캡처할 수 있다는 것을 제안한다. 이것은 커뮤니티가 high-quality 데이터셋을 curating 하는데 더 많은 노력을 쏟는 것이 기존 시스템의 사이즈를 능가하는 것보다 중요하다는 것을 암시한다. 그렇지만 Koala는 아직 프로토타입인데, 이는 content, safety, reliability 측면에서 주요한 몇 가지의 단점들을 가지고 있기 때문이다.

System Overview

open-source 모델은 closed-source 모델의 성능에 맞먹을 수 없다. 그치만 신중하게 선택된 training data의 사용은 이들의 성능에 접근할 수 있게 해 준다. Alpaca에서도 올바른 데이터는 smaller open-source 모델을 상당히 개선시킬 수 있다는 것을 제안한다.

이 포스트에러는 이러한 논의에 대한 추가적인 증거를 제공하는 새로운 모델인 ‘Koala’를 소개하였다. Koala는 자유롭게 사용 가능한 웹에서 수집된 상호작용 데이터에서 fine-tune 되었지만, 매우 유능한 closed model과 함께한 상호작용을 포함하는 데이터에 구체적으로 집중하기도 했다. LLaMA base model을 웹에서 수집된 대화 데이터와 공공 데이터셋뿐만 아니라 question answering 데이터셋과 human feedback 데이터셋에서도 fine-tune 하였다. 이렇게 해서 나온 모델인 Koala-13B는 human evaluation에 의해 기존 모델에 비해 유망한 성능을 보여준다는 것을 보여준다.

이 결과는 high-quality 데이터셋으로부터의 학습이 smaller model의 약점들을 완화할 수 있을 뿐만 아니라 향후에 거대 closed-source 모델의 능력과도 맞춰질 수 있다는 것도 제안하였다. 다음의 표 1은 Koala와 다른 기존 모델들 간의 차이의 개요를 제공해 준다.
 

표 1. Alpaca, ChatGPT, Koala의 비교

Dataset & Training

대화 모델을 만드는데 가장 큰 어려움은 training data를 curate하는 것이다. Koala를 만들기 위해 웹과 공공 데이터셋으로부터 대화 데이터를 수집함으로써 training set를 curate 하였다. 이 데이터는 사용자들이 온라인에 올린 LLM의 대화를 포함한다.

최대 가능한 웹 데이터를 수집함으로써 양을 최대화하기보다, 작지만 high-quality 데이터셋을 수집하는데 초점을 두었다. 이를 위해 QA, human feedback, LM과의 대화에 대한 공공 데이터셋을 사용하였다. 아래에서 데이터셋의 구체적인 디테일에 대해 설명하겠다.

ChatGPT Distillation Data

• Public User-shared Dialogue with ChatGPT(ShareGPT): 사용자들에 의해 공유된 60K 개의 대화
• Human ChatGPT Comparison Corpus(HC3): 24K 개의 question에 대한 60K human answer+27K ChatGPT answer

Open Source Data

• Open Instruction Generalist(OIG): OIG 데이터셋으로부터 손수 선택된 요소의 서브셋
• Stanford Alpaca: Alpaca 모델을 학습시키는데 사용된 데이터셋
• Anthropic HH: 모델 outpyt의 harmful & helpfulness의 사람 평가를 포함하는 데이터셋
• OpenAI WebGPT: question, 모델 응답 쌍, 메타데이터로 구성된 각 example 간의 20K 비교
• OpenAI Summarization: 각 example은 모델에 의해 생성된 요약에 대한 사람의 피드백으로 구성된 93K 개의 example을 포함하는 데이터셋

 

그림 2. Alpaca, Koala에 대한 human preference 결과

Preliminary Evaluation

실험에서는 2개의 모델을 평가했다: distillation data만 쓴 Koala-Distill과 distillation과 open-source 데이터를 모두 포함하는 Koala-All. 이 실험의 목표는 이 모델들의 성능을 비교하고 distillation과 open-source 데이터셋이 최종 성능에 어떠한 영향을 미치는지 평가하는 것이다. 각 모델들을 비교하기 위해 human evaluation을 사용하였다. 그 결과가 위의 그림 2에 나타나 있다. Stanford Alpaca에서 사용된 180개의 test query로 구성된 세트와 Koala만의 테스트셋인 Koala Test Set에서 평가하였다.

더욱 사실적인 평가 프로토콜을 제공하기 위해 온라임이 포스트 된 180개의 실제 사용자 쿼리로 구성된 Koala Test Set을 소개하였다. 이러한 사용자 쿼리는 다양한 토픽으로 이루어져 있고, 구어체적이고, 채팅 기반 시스템의 실제 사용 사례를 더 잘 대표할 가능성이 높다. 가능한 test-set 누수를 완화하기 위해 training set의 example과 20% 이상의 BLEU score를 가지는 쿼리는 필터링해 냈다. 추가적으로 rater들에게 신뢰도 있게 평가될 수 없는 쿼리에 대한 비영어 및 코딩 관련 응답은 제거했다.

이 2가지 평가 세트와 함께 모델의 퀄리티를 비교하기 위해 거의 100명의 평가자들에게 물어봄으로써 블라인드 쌍별 비교를 수행하였다. 평가 시에 각 평가자들에게 input prompt와 2개의 모델의 output을 주었다. 그다음에 응답 퀄리티와 정확도와 연관된 기준을 사용해서 어떤 output이 더 나은지 평가하도록 물어봤다.

Alpaca 테스트 셋에서 Koala-All은 Alpaca에 준하는 성능을 보여줬다. 하지만 제안된 test set에서 절반에 가까운 경우에 Koala-All은 Alpaca보다 더 낫다고 평가되었다. 그리고 둘 모두의 경우에 70% 이상의 경우에 Alpaca보다 낫거나 타이를 이루는 모습을 보여줬다. 물론 Koala test set의 더 많은 대화형 prompt는 Koala training set과 더 유사하므로 이는 놀랍지 않지만, 이러한 prompt가 해당 모델의 downstream 사용 사례와 더 유사하다는 점에서 이는 Koala가 예상할 수 있음을 보여준다. 이는 assistant와 같은 응용에서 더 나은 성능을 발휘한다. 이것은 웹에서 사용자들에 의해 포스트 된 example로부터 얻어진 LLM 상호작용 데이터는 효과적인 instruction 실행 능력을 위한 효과적인 전략이라는 것을 주장한다.

살짝 놀랍게도 open-source data + distillation data(Koala-All)에서의 학습은 그저 ChatGPT distillation data(Koala-Distill)에서의 학습보다 살짝 안 좋은 성능을 보여줬다. 차이는 그리 크지 않았지만, 이는 high-quality의 ChatGPT 대화 데이터에 두 배 더 많은 양의 open-source data를 추가하는 것은 상당한 개선을 이끌지 않기 때문에, 효과적인 instruction과 assistant 모델을 만드는 것이 중요하다는 것을 제안한다. 그리고 강력한 대화 모델을 만드는데 중요한 것은 기존 데이터셋을 간단하게 재포맷 하는 것보다 사용자 쿼리에 다양한 high-quality 대화 데이터를 curate 하는 것이 중요하다고 말한다.

Limitations & Safety

다른 LM과 같이 Koala는 잘못 사용됐을 때 해로울 수 있고 제약을 가진다. Koala는 사실성 없는 응답을 매우 자신감 있는 어조로 hallucinate하고 생성할 수도 있다. 이것은 smaller model이 larger model과 똑같은 수준의 사실성을 가지지 못하고, 그저 자신감 있는 스타일을 상속받은 안 좋은 영향 때문이다. 그리고 hallucinated 응답이 잘못 사용됐을 때 잘못된 정보를 퍼뜨리는 등의 문제를 일으킬 수도 있다.

Koala는 부정확한 정보를 자신감 있는 어조로 hallucinate 할 수 있다. Koala는 다른 챗봇 LM이 가지는 다음의 약점들은 공유한다.

• Biases & Stereotypes
• Commonsense의 부족
• Limited Understanding

Koala를 안전하게 만들기 위해, 모델이 더욱 robust하고 harmless 하게 만들기 위하 ShareGPT와 Anthropic HH로부터 공격적인 prompt를 포함하였다.

 
 
 
 
 
출처
https://bair.berkeley.edu/blog/2023/04/03/koala/

Koala: A Dialogue Model for Academic Research