Research & Project 🔬

어떻게 Quantization을 진행하는 것이 효과적일까? 🤔

2023.09.18

Which quantization method is efficient & effective? 🧐 날이 지나면 지날수록 점점 사이즈가 커져가는 LLM의 판도에서 이들을 손쉽게 효율적 및 효과적으로 사용할 수 있는 방법에는 무엇이 있을까? 요즘에는 다른 method들보다도 quantization, 즉 양자화를 주로 사용하는 추세이다. 이 quantization을 통해 사람들은 고용량 RAM을 가지는 GPU에서도 사용하기가 힘들던 LLM을 훨씬 효율적으로 사용할 수 있게 되었다! 🤗 최소한의 성능 감소로 최적의 효율성을 보여주는 quantization을 위해 HuuggingFace에서는 2가지 quantization method를 제공하고 있다. 바로 BitsAndBytes와 GPTQ이다. 이를 토대로 두 q..

AlpaGasus2-QLoRA 🦙🦄🤏

2023.09.05

AlpaGasus2-QLoRA!! 🦄 이번에 진행한 프로젝트 'AlpaGasus2-QLoRA'에 대해서 설명하고자 한다. 프로젝트에 대해 알아보기 전에 먼저 이 연구를 진행할 수 있도록 AlpaGasus를 제안해주신 Lichang Chen 외 10분께 감사의 말씀을 드립니다. https://arxiv.org/abs/2307.08701 AlpaGasus: Training A Better Alpaca with Fewer Data Large language models~(LLMs) obtain instruction-following capability through instruction-finetuning (IFT) on supervised instruction/response data. However, wi..

어떻게 Quantization을 진행하는 것이 효과적일까? 🤔

AlpaGasus2-QLoRA 🦙🦄🤏

티스토리툴바