LLaMA: Open and Efficient Foundation Language Models 논문 리뷰

The overview of this paper

 논문에서는 7B to 65B foundation LM의 모음인 LLaMA를 소개하였다. 이 모델은 수 조 개의 토큰에서 학습되었고, publicly available 데이터셋을 사용한 학습만으로도 SoTA 모델을 달성할 수 있을 정도의 성능을 보여줬다. 특히 LLaMA-13B는 거의 대부분의 벤치마크에서 GPT-3을 능가했고, LLaMA-65B는 Chinchilla-70B와 PaLM-540B 같은 최고의 모델과 견줄 만한 성능을 보여줬다. 그리고 가장 환상적인 점은 이 모델들은 모두 research community에 공개되었다는 점이다.

 

 

Table of Contents

1. Introduction

2. Approach

3. Main Results

4. Instruction Finetuning

5. Conclusion

 

 

1. Introduction

 이전의 연구(Training Compute-Optimal Large Language Models)가 보여준 결과를 따르는 최근의 연구들은 주어진 compute budget에 대한 best performance는 큰 모델에서 오는 것이 아니라, 작은 모델에서 더 많은 데이터로 학습하는 것으로부터 온다고 보여주고 있다.

 

 이전 연구의 scaling law의 objective는 특정 training compute에서 어떻게 데이터셋 & 모델 사이즈를 scale하는지 결정하는 것이다. 하지만 이 objective는 inference budget을 무시하였는데, 이는 큰 모델을 다룰 때 특히 중요해진다. 이 문맥에서 성능의 타깃 레벨이 주어지면 선호되는 모델은 학습하기 위한 가장 빠른 모델은 아니지만 추론에서는 가장 빠른 모델이다. 그리고 성능의 특정 레벨에 도달하기 위한 large model을 학습시키는 것은 비용이 비싸지 않을 수도 있지만, 더 길게 학습된 smaller model은 추론 시에 훨씬 더 비용이 쌀 것이다. 예를 들어 이전의 연구에서는 10B 모델이 200B 토큰에서 학습하도록 추천하였는데, 본 논문에서는 7B 모델이 1T 이상의 토큰에 대해서도 성능 개선을 계속적으로 보여줬다.

 

 논문에서 주목했던 부분은 더 많은 토큰에서의 학습으로 다양한 inference budget에서 가능한 최고 성능을 달성하는 LM 시리즈를 학습시키려 했다. 그 결과로 나온 모델이 7B to 65B 파라미터를 가지고 기존의 best LLM과 비교하여 견줄 만한 성능을 보여주는 LLaMA이다. 논문에서는 이 모델이 LLM에 대한 학습과 접근을 용이하게 해준다라고 믿는데, 왜냐하면 LLaMA는 하나의 GPU에서도 돌아갈 수 있기 때문이다! 😲

 

 Chinchilla, PaLM, GPT-3와 달리 논문에서는 LLaMA를 open-source로 만들기 위해 기존에 not publicly available & undocumented 했던 모델들과 달리, 오직 publicly available data만을 사용하였다. 몇 가지 예외인 모델들(OPT, GPT-NeoX, BLOOM, GLM)도 있지만 이 모델들은 PaLM-62B & Chinchilla에 견줄 만한 성능을 보여주지 못한다.

 

 

2. Approach

 논문의 training approach는 이전 연구(GPT-3, PaLM)와 유사한 method를 사용하였고, Chinchilla의 scaling law에서 영감을 받았다. 논문에서는 기존 optimizer를 사용해서 많은 양의 textual data에서 large Transformer를 학습시켰다.

 

2-1. Pre-training Data

 

 논문의 training 데이터셋은 표 1에서 소개되어 있는 것처럼 다양한 도메인 세트를 커버하는 여러 소스의 mixture이다. 대부분의 데이터에 대해서 다른 LLM을 학습시키기 위해 사용되는 데이터 소스를 재사용하였다. 물론 이때도 publicly available 한 데이터만 추가시켰다.

 

표 1. Pre-training data. pre-training을 위해 사용된 데이터 mixture. English CommonCrawl, C4, Github, Wikipedia, Gutenberg and Books3, ArXiv, Stack Exchange가 사용됌.

 

Tokenizer.  논문에서는 데이터를 byte pair encoding(BPE) 알고리즘을 사용하여 토큰화 하였다. 그리고 모든 숫자는 개별 숫자로 나누었는데 이는 unknown UTF-8 캐릭터로 분해될 수도 있기 때문이다.

 

 전반적으로 논문의 전체 training 데이터셋은 토큰화 후에 대략 1.4T 개의 토큰을 가지게 된다. 대부분의 training 데이터에 대해 각 토큰은 training 중에 한 번만 사용된다. Wikipedia와 Books 도메인에 대해서는 예외적으로 거의 2 에폭을 수행한다.

 

2-2. Architecture

 

 최근의 LLM을 따라서 논문의 네트워크는 Transformer에 기반을 둔다. 논문에서는 그 후에 제안된 다양한 개선점을 활용하고 PaLM과 같은 서로 다른 모델에서 사용된 method를 활용하였다.

 

Pre-normalization [GPT-3].  학습 안정성을 개선시키기 위해, 논문에서는 output을 정규화하는 대신에 각 transformer sub-layer의 input을 정규화하였다. 이를 위해 RMSNorm 정규화 함수를 사용하였다.

 

SwiGLU acivation function [PaLM].  성능 개선을 위해 ReLU 비선형 활성화 함수를 SwiGLU 활성화 함수로 대체하였다. 논문에서는 PaLM의 $4d$ 차원 대신에 $\frac {2}{3}4d$ 차원을 사용하였다.

 

Rotary Embeddings [GPTNeo].  absolute positional embedding을 제거하고, 대신에 rotary positional embedding(RoPE)를 네트워크의 각 레이어에 사용하였다. 

 

 하이퍼 파라미터에 대한 디테일은 표 2에 나타나 있다.

 

표 2. Model sizes, architectures, optimization 하이퍼 파라미터

 

Optimizer.  논문에서는 모델을 학습시킬 때 AdamW optimizer을 사용하였다. 그리고 cosine learning rate 스케줄을 사용하였다. weight decay는 0.1을 사용하였고, gradient clipping은 1.0을 사용하였다.

 

2-3. Efficient implementation

 

 논문에서는 모델의 training speed 개선을 위해 여러 optimization을 만들어서 사용하였다. 첫 번째로 메모리 사용량과 런타임을 줄이기 위해 casual multi-head attention을 사용해서 attention 가중치를 저장하지 않고 key/query score를 계산하기 않음으로써 이를 달성하였다.

 

 training 효율성 개선을 위해 backward pass 중에 재계산되는 activation의 양을 줄였다. 이는 linear layer의 출력 같은 계산 하는데 많은 비용이 드는 actuvation을 절약할 수 있게 해 준다. 이는 transformer layer를 위한 backward 함수를 구현함으로써 달성하였다. 이러한 optimization으로부터 최대로 이익을 얻기 위해 모델 & sequence 병렬화를 사용함으로써 모델의 메모리 사용량을 줄여야 할 필요가 있다.

 

 

3. Main Results

  이전의 연구들을 따라서 이 논문에서도 zero-shot & few-shot task로 고려해서 총 20개의 벤치마크에 결과를 기록하였다.

 

• Zero-shot: task의 textual description & test example을 제공
• Few-shot: task의 few example을 제공

 

 논문에서는 LLaMA를 다른 non-publicly available foundation LM들과 비교하였다: GPT-3, Gopher, Chinchilla, PaLM. 뿐만 아니라 open-sourced OPT 모델들과도 비교하였다: GPT-J, GPT-Neo. 그리고 섹션 4에서는 LLaMA를 OPT-IML과 Flan-PaLM 같은 다른 instruction-tuned 모델들과 비교하였다.

 

 실험 결과는 정말 많은 것들이 있지만, 다 다뤄보기에는 양이 많기에 중요한 task인 MMLU에서의 성능만 살펴보도록 하겠다.

 

MMLU.  다양한 도메인의 지식을 커버하는 multiple choice question으로 구성되어 있는 MMLU task에서의 성능을 분석하였다. 벤치마크로부터 제공되는 example을 사용해서 모델을 5-shot setting에서 평가하였다(표 3). 이 벤치마크에서 LLaMA-65B는 대부분의 도메인에서 Chinchilla-70B와 PaLM-540B보다 살짝 떨어지는 성능을 보여줬다. 이런 결과가 나오게 된 잠재적인 이유는 pre-training 데이터에 books & academic paper의 데이터 양이 적었기 때문이라고 본다.

 

표 3. MMLU task 결과. 5-shot setting

 

3-1. Evolution of performance during training

 

 대부분의 벤치마크에서 성능은 꾸준히 개선되고 있고, 모델의 perplexity와 상관 관계를 가지고 있다(그림 1). 

 

그림 1. 7B, 13B, 33B, 65B LLaMA의 training loss

 

 

4. Instruction Finetuning

논문에서는 instruction 데이터에서의 간략한 fine-tuning은 MMLU에서 개선을 이끈다는 것을 보여줬다. 이미 non-fineuned 버전의 LLaMA-65B는 basic instruction을 따를 수 있지만, 아주 작은 양의 fine-tuning은 MMLU에서의 성능을 개선시킨다는 것을 관찰하였고, 추가적으로 instruction을 따르기 위한 모델의 능력을 개선시킨다. 이렇게 instruction tuning 한 모델을 LLaMA-I라고 부른다.

 

표 4. Instruction-finetuend 모델들의 MMLU(5-shot)에 대한 결과

 

 표 4에서 instruct model LLaMA-I의 MMLU에서의 결과를 기록하고 다른 기존의 instruction finetuned 모델의 결과를 비교하였다: OPT-IML, Flan-PaLM. instruction finetuning의 간단함에도 불구하고 MMLU에서 68.9%의 성능을 달성하였다. LLaMA-I(65B)는 MMLU에서 기존 instruction finetuned 모델을 능가하는 성능을 보여줬지만, 아직 SoTA 모델에 비해서는 떨어지는 성능을 보여주고 있다.

 

 

5. Conclusion

 이 논문에서는 공개적으로 공개된 LM의 시리즈를 공개하였고, 이 모델은 SoTA foundation 모델에 준하는 성능을 보여줬다. LLaMA-13B는 GPT-3를 10배 더 작은 사이즈임에도 불구하고 능가하는 성능을 보여줬고, LLaMA-65B는 Chinchilla-70B와 PaLM-540B에 준하는 성능을 보여줬다. 이전의 연구와 달리, 논문에서는 publicly available 데이터에서만 학습함으로써 SoTA를 달성할 수 있다는 것을 보여줬다. 추가적으로 이 모델을 instruction에서 학습시킴으로써 유망한 결과를 낳을 수 있었다. 그리고 LLaMA가 기존 LLM들과 다른 점은 LLaMA는 reaserch community에 공개되었다.

 

 

 

 

 

출처

https://arxiv.org/abs/2302.13971

LLaMA: Open and Efficient Foundation Language Models