Llama의 새로운 대항마, Mistral LM! 😮

The preview of Llama3..?

 최근에 HuggingFace를 보다가 알게 된 모델이 하나 있다. 바로 LLM 시장을 뜨겁게 달군 모델인 Mistral LM이다! 혜성처럼 Open-source LLM 계에 나타난 Mistral 7B는 그 등장만으로도 Open-source LLM계를 뜨겁게 달구었다. 그렇다면 Mistral 7B는 무엇을 어떻게 했길래 모두의 이목을 집중시킬 수 있었던 것일까? 그것은 Mistral 7B가 이뤄낸 업적을 살펴보면 알 수 있다:

 

• 모든 벤치마크에서 Llama2 13B를 능가
• 많은 벤치마크에서 Llama1 34B를 능가(비교 대상이 Llama2가 아니라 Llama1이었던 이유는 Llama2의 34B 모델이 공개되었지 않기 때문)
• 코드 관련 벤치마크에서 CodeLlama 7B의 성능에 근접하면서, 영어 task의 성능도 좋게 유지
• 빠른 추론을 위해 Grouped-query attention(GQA)를 사용
• 적은 비용으로 더욱 긴 시퀀스를 다루기 위해 Sliding Window Attention(SWA)를 사용
• chat을 위해 fine-tune 된 Mistral 7B 모델은 Llama2 13B Chat을 능가함

 

 위의 업적들만 살펴보아도 Mistral 7B 모델은 상당히 엄청난 잠재력을 가지고 있다는 것을 알 수 있다. Mistral 7B는 마치 Llama3의 프리뷰 같은 모습을 보여줬다. 이번 포스팅에서는 Open-source LLM 판의 뜨거운 감자인 Mistral 7B에 대해서 Mistral 7B 소개 블로그 포스트를 토대로 알아보는 시간을 가져보도록 하겠다.

 

Performance in details

 Mistral 7B 모델과 Llama2 model familty, Llama1 34B model을 여러 벤치마크에서 비교한 결과는 다음과 같다.

 

Mistral 7B와 다른 Llama model들의 벤치마크 성능 비교 결과

 

 위의 그래프를 보면 알 수 있듯이 Mistral 7B는 동 사이즈의 Llama2 7B 모델을 모든 벤치마크에서 능가하고, 사이즈가 더 큰 Llama2 13B와 Llama1 34B 모델에 비해서도 대부분의 벤치마크에서 능가하는 성능을 보여주는 것을 알 수 있다. 7B model임에도 불구하고 이 정도의 성능을 보여줄 수도 있다는 것이 정말 놀라운 것 같다.

 

 그리고 Mistral 연구팀에서는 한 가지 흥미로운 평가를 진행했는데, Llama2 model이 Mistral model과 비슷한 성능을 내기 위해서는 모델의 사이즈를 얼마나 scaling up 해야 하는지를 평가하는 "equivalent model sizes"이다. 총 4개의 벤치마크에서 이를 평가하였는데, 그중 MMLU, Reasoning, Comprehension에서 대략 Llama2 model이 Mistrla 7B보다 3배 정도 더 많은 하이퍼파라미터를 가지고 있어야 한다는 것을 발견하였다.

 

"equivalent model sizes" 결과

 

Sliding Window Attention(SWA)

 Mistral 7B는 Sliding Window Attention(SWA) 메커니즘을 사용하는데, 이 method에서 각 레이어는 이전 4,096개의 hiddent state를 참조한다. 주된 개선점과 이 method가 처음에 고안된 이유는 선형 계산 비용을 가지고 있기 때문이다. (O(sliding_window_length)) 이러한 변화는 FlashAttention과 xFormers가 2배 더 빠른 속도를 낼 수 있게 만들어주었다.

 

 Sliding Windwo Attention은 위도우 사이즈를 넘어서 과거의 context를 참조하기 위해 Transformer의 stacked layer를 활용한다. 이를 통해 higher layer는 attention pattern이 수반하는 것보다 더 과거의 정보에 접근할 수 있다.

 

Sliding WIndow Attention의 작동 방식

 

 최종적으로 고정된 attention span은 rotating buffer를 사용해서 캐시를 sliding_window token 사이즈로 제한할 수 있다는 것을 의미한다. 이것은 모델 퀄리티에 영향을 주지 않고, 8,192의 시퀀스 길이의 추론에 대한 캐시 메모리를 절반으로 절약할 수 있게 만들어준다.

 

Fine-tuning Mistral 7B for chat

 Mistral 7B model은 chat에 특화된 Mistral 7B Instruct model 또한 공개되었다. 이 Instruct model은 어떠한 트릭과 상업용 데이터를 사용하지 않고, HuggingFace에 공개적으로 공개되어 있는 instruction dataset에서 fine-tune되었다. 이렇게 해서 나온 Mistral 7B Instruct 모델은 MT-Bench에서 다른 모든 7B model들은 능가하였고, 13B chat model과 비슷한 성능을 보여줬다.

 

MT-Bench 결과

 

The new paradigm of open-source LLM? 🤔

 이렇게 해서 Llama의 새로운 open-source LLM 대항마인 Mistral 7B에 대해서 간략하게 살펴보았다. (더욱 자세한 내용을 알고 싶다면 Misral AI의 블로그 포스트를 확인해볼 수 있길 바란다.) Mistral 7B의 벤치마킹 결과를 보면 확실히 엄청난 성능을 보여주는데, 마치 Llama3의 미리 보기 같은 느낌을 주었다. 이러한 부분을 보면서 확실히 Llama가 뚫어놓은 open-source LLM 시장을 이제는 여러 서로 다른 open-source LLM들이 이 분야를 확장시켜 나간다고 생각한다. 따라서 이제는 순전히 fine-tuning을 해서 새롭게 만든 open-source model도 중요하지만, Mistral model처럼 새로운 base model을 제안하는 것도 중요하다고 생각한다. 

 

 Proprietray model 만큼이나 중요하다고 여겨지는 open-source model을 개발해나갈 수 있는 좋은 기회가 되길 바라며 포스팅을 마쳐보고자 한다.

 

 

References

https://mistral.ai/news/announcing-mistral-7b/

Mistral 7B

HuggingFace Mistral 7B Model: https://huggingface.co/mistralai/Mistral-7B-v0.1

mistralai/Mistral-7B-v0.1 · Hugging Face

HuggingFace Mistral 7B Instruct Model: https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.1

mistralai/Mistral-7B-Instruct-v0.1 · Hugging Face