AlpaGasus2-QLoRA 🦙🦄🤏

AlpaGasus2-QLoRA!! 🦄

 이번에 진행한 프로젝트 'AlpaGasus2-QLoRA'에 대해서 설명하고자 한다. 프로젝트에 대해 알아보기 전에 먼저 이 연구를 진행할 수 있도록 AlpaGasus를 제안해주신 Lichang Chen 외 10분께 감사의 말씀을 드립니다.

 

https://arxiv.org/abs/2307.08701

AlpaGasus: Training A Better Alpaca with Fewer Data

 

 AlpaGasus2-QLoRA는 말 그대로 기존의 AlpaGasus 모델에서 베이스 모델과 튜닝 방식을 살짝 변경한 모델이다. 기존의 AlpaGasus 모델은 간략하게 설명하자면 다음과 같은 특징들을 가진다.

 

• base model: LLaMA1 (7B & 13B)
• fine-tuning method: full fine-tuning
• concept: 기존의 Alpaca Instruction 데이터셋에서 ChatGPT(gpt-3.5-turbo)를 활용하여 더욱 좋은 퀄리티의 데이터만을 필터링하여 그 데이터로 학습되었다. 그 결과 기존의 Alpaca보다 뛰어난 성능을 보여주며, 데이터의 양(quantity)보다 퀄리티(quality)가 더욱 중요하다는 것을 보여주었다.

 

 AlpaGasus2-QLoRA는 이러한 AlpaGasus의 모토를 따르면서 다음과 같은 변화를 주었다.

 

• base model: LLaMA1 (7B & 13B) → LLaMA2 (7B & 13B)
• fine-tuning method: full fine-tuning → QLoRA
• concept: AlpaGasus의 모토를 그대로 따름. 이를 위해 학습 데이터로 AlpaGasus의 ChatGPT filtered dataset을 활용.

 위와 같은 변화를 통해 더욱 강력한 모델을 더욱 효율적으로 학습시킬 수 있었다! 실제로 모델을 튜닝하는데 Colab Pro에서 제공하는 A100 40G GPU를 활용해서 3~5시간 정도 밖에 걸리지 않았다. 그 결과 Alpaca2(LLaMA2 기반 Alpaca 모델)과 비교했을 때 상당히 강력한 모습을 보여주는 것을 확인할 수 있었다.

 

Alpaca2 13B vs. AlpaGasus2 13B Result

 

 더욱 자세한 내용이 궁금하시다면 제 GitHub Repo를 확인해주시길 바랍니다!! 다시 한 번 이런 프로젝트를 진행할 수 있도록 AlpaGasus를 제안해주신 논문 저자분들꼐 감사드립니다!

 

AlpaGasus2-QLoRA Repository: https://github.com/gauss5930/AlpaGasus2-QLoRA 

GitHub - gauss5930/AlpaGasus2-QLoRA: This is AlpaGasus2-QLoRA based on LLaMA2 with AlpaGasus mechanism using QLoRA!