Open LLM Leaderboard를 휩쓴 Falcon🦅 LLM: Falcon & RefinedWeb

 최근 Hugging Face의 Open LLM Leaderboard를 둘러보던 중 새로운 모델이 리더보드의 1등에 위치해 있는 것을 보고 '어떤 모델이지?'라는 궁금증이 생겨서 이렇게 포스팅을 작성해 본다. 새롭게 1등을 차지한 모델은 바로 TII에서 개발한 Falcon🦅 이라는 모델이다. Falcon은 총 4가지 버전의 모델이 존재하는데, 7B & 40B 사이즈의 모델과 각 사이즈에서 그냥 base 버전과 instruct-tuned 버전까지 해서 4개이다. 그중에 40B 사이즈의 instruct-tuned 버전인 'falcon-40b-instruct'가 Leaderboard에서 1등을 차지하였다.

 

그림 1. Hugging Face Open LLM Leaderboard (2023.06.14 기준)

 

 이번 포스팅에서는 이러한 Falcon 모델에 대해 알아보고 Falcon을 만드는 데 큰 기여를 했던 데이터셋인 RefinedWeb 데이터셋에 대한 논문을 리뷰해보았다.

 

Table of Contents

1. Falcon Models

2. RefinedWeb Dataset

   2-1. Introduction

   2-2. Macrodata Refinement and RefinedWeb

   2-3. Experiments

   2-4. Limitations

   2-5. Conclusion

 

 

Falcon Models

 이렇게 유능한 능력을 보여주는 Open LLM인 Falcon은 아쉽게도 아직 paper가 따로 있지는 않다. (Hugging Face의 model card를 보면 'paper coming soon ☺️' 이라고만 적혀 있을 뿐이다,,) 그래서 Falcon model에 대해서 간략하게 설명을 해주는 Hugging Face의 블로그를 참고하여 작성하였다. 

 

 Falcon 모델은 2개의 베이스 모델로 구성되어 있다: Falcon-40B & Falcon-7B. 이중에 Falcon-40B model은 현재(2023.06.14) 기준으로 Open LLM Leaderboard의 맨 꼭대기를 차지하고 있고, Falcon-7B도 동 사이즈 모델과 비교해서는 최고의 성능을 보여주고 있다.

 

 Falcon-40B는 ~90GB 정도의 GPU 메모리를 필요로 한다. 이 숫자는 엄청 크게 보일지 몰라도 LLaMA-65B 보다도 작은 것이다. 반면에 Falcon-7B는 ~15GB만을 필요로 하고, 추론과 fine-tuning이 가벼운 하드웨어에서도 충분히 돌아갈 수 있게 만들었다.

 

 또한 Falcon은 instruct 버전도 만들어졌다: Falcon-40B-Instruct & Falcon-7B-Instruct. 이러한 실험적 변형은 instruction과 대화 데이터에서 fine-tune 되었다. 또한 Falcon 모델은 자기 자신만의 커스텀 instruct 버전도 만들 수 있다!

 

 Falcon-7B와 Falcon-40B는 각각 1.5T와 1T 토큰에서 모델들이 추론에 대해 최적화하는 것에 맞춰서 학습되었다. Falcon model의 high quality에 대한 중요 요소는 이들의 training data이다. 이들의 training data는 주로(>80%) RefinedWeb에 기반을 두고 만들어졌다. TII는 흩뿌려진 엄선된 소스를 모으는 것 대신에 웹 데이터의 퀄리티를 개선시키고 scaling 하는데 집중하기 위해, 다른 corpora의 퀄리티와 맞추기 위해 대규모 deduplication과 엄격한 필터링을 활용하였다. 이 데이터셋은 뒤에서 더 자세하게 다루도록 하겠다. Falcon model은 아직 몇 개의 curated source를 포함하고 있긴 하지만 그 양이 현재 SoTA 모델들인 GPT-3 또는 PaLM과 비교해서 상당히 낮은 편이다. 그리고 가장 중요한 것은 TII가 RefinedWeb의 600B 토큰을 공개적으로 공개했다는 점이다! 🫢

 

 Falcon model의 또 다른 흥미로운 점은 이들이 multiquery attention을 사용했다는 점이다. vanilla multihead attention은 헤드 당 각각 하나의 query, key, value를 가지지만, multiquery는 모든 헤드에 대해서 딱 하나의 key와 value만을 가진다.

 

그림 2. Multi-Query Attention은 attention head에 걸쳐서 key와 value를 공유함

 

 이러한 트릭은 pre-training에 큰 영향을 끼치지는 않지만, 추론의 scalability를 크게 개선시킨다. 다음의 표는 지금까지 나온 Open LLM들이다.

 

표 1. 현재 Open LLM들

 

 

RefinedWeb Dataset

 Falcone model과 달리 RefinedWeb은 논문이 존재하기 때문에, 이 논문을 리뷰하는 방향으로 정리하였다.

 

Overview of RefinedWeb

 

 LLM은 일반적으로 필터링된 웹 데이터와 curated high-quality corpora의 묶음에서 학습된다. 이 curation 프로세스는 광범위한 zero-shot 일반화 능력을 가지는 능숙한 모델을 만들기 위해 필수적이라고 믿어졌다. 하지만, larger 모델은 수 조 개의 토큰에서의 학습을 필요로 하지만 curation이 얼마나 확장 가능한지, 고유한 고품질 데이터가 곧 고갈될지는 불확실하다.

 

 이전의 믿음과 달리 적절히 filtering 되고 deduplication 된 웹 데이터만으로도 강력한 모델을 만들 수 있다. 이 데이터에서 학습된 모델은 The Pile에서 학습된 SoTA 모델도 상당히 능가하는 성능을 보여줬다. 광범위한 필터링에도 불구하고 웹에서 추출된 high-quality 데이터는 아직 풍부하고, CommonCrawl 로부터 5조 개의 토큰을 얻을 수 있었다. 논문에서는 앞서 말했던 것처럼 RefinedWeb 데이터셋으로부터 추출된 600B 개의 토큰 데이터를 공개하고, 1.3/7.5B 모델을 이 데이터에서 학습시켜 실험을 진행하였다.

 

그림 3. RefinedWeb에서만 학습된 모델이 curated corpora에서 학습된 모델을 능가함

 

1. Introduction

 

 새롭게 밝혀진 LM의 scaling law(Chincilla)에 따르면 모델의 성능을 향상시키기 위해서는 파라미터 또는 데이터의 양 둘 중 하나만 늘리는 것보다 이 둘을 공동으로 증가시키는 것이 효과적이라는 것을 발견하였다. 이러한 발견을 통해 기존의 모델들을 돌아보니 GPT-3을 최적으로 학습시키는데 필요한 데이터의 양은 현존하는 가장 큰 데이터셋의 2배가량 정도가 필요하다고 한다.

 

 하지만 이러한 발견에도 불구하고 연구자들은 데이터셋의 크기를 늘리는데 어려움을 겪고 있다. 왜냐하면 텍스트 데이터의 양은 한정되어 있고, 특히 퀄리티와 라이선스 등의 문제를 따지면 훨씬 더 많은 문제가 발생하고 만다. 그리고 이렇게 얻어진 데이터에 대해서 필터링을 거치는 과정에서도 많은 비용이 발생할뿐더러 필터링을 거치고 나면 데이터셋이 많이 간소화되는 경향이 있기 때문이다.

 

 그래서 논문에서는 데이터 필요의 증가를 견디고, 데이터 pipeline을 간소화하고 human-intensive curation의 필요를 줄이기 위해 데이터의 퀄리티를 개선시키기 위해 더욱 잘 처리할 수 있는지 제안하였다. 논문의 contribution은 다음과 같다.

 

• 5조 개의 web-only 영어 pre-training 데이터인 RefinedWeb 소개함
• web data alone에서 학습된 모델이 public & private curated corpora 모두에서 학습한 모델을 능가하는 모델을 만듦
• RefinedWeb에서 추출된 600B 토큰을 공개하고 1B & 7B 모델을 이 데이터에서 학습시킴

 

표 2. 전례 없는 규모에서 엄격한 deduplication와 광범위한 filtering을 묶음으로써 LLM에 대한 기존 영어 pre-training 데이터셋을 개선시킴

 

2. Macrodata Refinement and RefinedWeb

 

논문에서는 CommonCrawl의 웹 데이터를 필터링하고 decuplication 하기 위한 pipeline인 MDR(MacroData Refinement)을 소개하였다. 이 MDR을 사용해서 RefinedWeb을 생성하였다. 논문에서는 웹 데이터의 퀄리티를 끌어올리기 위해 엄격한 필터링과 deduplication을 활용하였다.

 

Design Principles.  논문에서는 다음의 가이드라인을 준수하였다:

 

• Scale first.  40-200B 모델을 학습시키기 위한 데이터셋 생성을 위해 MDR을 사용하였다. 그래서 3~6T 개의 토큰을 포함하는 규모의 데이터셋을 만드는 것을 목표로 하였다. 그리고 human curation 프로세스는 웬만하면 삼갔다.
• Strict Deduplication.  이전의 연구에 영감을 받아서 엄격한 deduplication pipeline을 구형하였다. 이를 위해 exact & fuzzy deduplication을 묶었다. 그 결과 이전에 기록된 제거율보다 높은 제거율을 기록하였다!
• Neutral Filtering.  의도치 않은 bias를 모델에게 주는 것을 피하기 위해, language identification 외부에서 ML 기반 필터 사용을 피하였다.

 

 다음의 표 3은 MDR의 각 단계에서 수행되는 과정들을 대략적으로 설명한 것이다.

 

표 3. Macrodata Refinement는 high-quality 웹 데이터를 생성하기 위해 SoTA 모델의 방식과 새로운 방식들을 종합함

 

 다음의 그림 4는 MDR이 지남에 따라 데이터셋에 어떠한 변화가 발생하는지를 보여주고 있다. Document Preparation 과정을 거치고 나서 얻게 되는 데이터셋을 RW-Raw라 하고, 이때 48% 정도의 데이터만 남고 대부분이 language identification 과정 중에 필터링된다. 그리고 FIltering 과정을 거치고 나서 얻게 되는 데이터셋을 RW-Filtered라 하고, 전체 데이터셋의 23% 정도마 남게 되고, 이는 RW-Raw의 50% 정도 되는 규모이다. 마지막으로 Deduplication 과정을 거치고 나서 얻게 되는 데이터셋을 RW(RefinedWeb)이라고 부른다. 

 

그림 4. Macrodata Refinement의 스테이지들은 CommonCrawl에 있는 기존 문서의 90%에 가까운 데이터를 제거함. 회색은 이전 데이터에서의 제거율을 의미함. 그리고 색깔은 보존율을 의미함

 

2-3. Experiments

 

Setting

 

 논문에서는 validation loss를 계산하기보다 많은 task에 대한 zero-shot 일반화 능력을 평가하는데 집중하였다. 그리고 평가를 Eleuther AI evaluation에 기반해서 진행함으로써 다양한 task에 걸쳐서 zero-shot 세팅에서 평가할 수 있게 허락해 줬다. 논문에서 사용된 데이터셋은 표 4에서 보이는 것처럼 small(ablation용)과 core, main, ext(비교용)으로 나눠진다.

 

표 4. RefinedWeb에서 학습된 모델을 평가하고 SoTA 모델과 비교하기 위해 zero-shot 성능을 측정하는 18개의 task에 걸쳐서 4개의 집합을 만들었음

 

 논문에서는 비교의 3가지 레벨을 구별하였다.

 

1. internal comparison. 논문의 코드베이스에서 학습되고 평가된 모델이지만, pre-training 데이터셋만 다름
2. benchmark-level comparison. 서로 다른 코드베이스와 함께 학습된 모델이지만, Eleuther AI harness로 평가됨
3. external comparison. PaLM과 GPT-3와 비교됨

 

 논문에서 학습시킨 모델은 총 3가지로 1B, 3B, 7B AR decoder-only model이다. 이 모델들은 GPT-3와 유사한 구성과 하이퍼파라미터로 구성되어 있다. 그리고 각 모델 사이즈에 대해 scaling law를 따라서 최적의 토큰 수로 학습시켰다. 1B 모델은 27B 토큰으로, 3B 모델은 60B 토큰으로 학습시켰다.

 

Can wed data alone outperform curated corpora?

 

 논문에서는 web data로만 학습된 모델이 curated corpora에서 학습된 모델을 능가하는 성능을 보여줄 수 있는지 설명하기 위해 유명 웹 데이터셋과 curated 데이터셋에서 최적으로 학습된 1~3B 모델을 사용하여 실험을 진행하였다. 그다음에 1B 모델을 350GT에서 학습된 7B 모델로 scale up 해서 SoTA 모델과 zero-shot 일반화 능력을 비교하였다. 

 

 small scale study. 논문에서는 RefinedWeb의 세부 데이터인 RW-Raw, RW-Filtered, RW 각각을 비교하기 위해서 똑같은 아키텍처와 코드베이스를 사용하고, 똑같은 프레임워크에서 평가되지만 서로 다른 pre-training 데이터셋에서 학습된 모델들을 비교하였다(표 5). 결과를 살펴보면 filtering과 deduplication은 성능을 상당히 개선시킨다는 것을 알 수 있다. 

 

표 5. curation은 zero-shot 일반화를 위한 최적의 해결책이 아님: RefinedWeb에서 학습된 소규모 모델은 web data에서 학습된 모델과 curated corpora에서 학습된 모델보다 능가함

 

 full scale models. 앞선 실험의 규모를 키워서 350GT에서 1B & 7B 모델을 학습시키고, 또한 The Pile에서 1B 모델을 학습시켰다. 그리고 이 모델들을 현존하는 다른 모델들과 비교하였다. main-agg의 결과는 그림 3에 나타나 있고, core-agg와 ext-agg의 결과는 그림 5에 나타나 있다. 결과를 살펴보면 확실히 오픈 모델은 개인적인 curated corpora에서 학습된 모델보다 underperform 하는 것을 알 수 있다. 결과적으로 보면 RefinedWeb에서 학습된 모델은 오직 web data만 사용해서 GPT-3 시리즈와 맞먹는 성능을 보여줄 수 있다. 또한 The Pile에서 사용되는 high-quality source는 RefinedWeb에서는 제외되었다.

 

그림 5. RefinedWeb에서만 학습된 모델은 curated corpora에서 학습된 모델을 능가함. 왼쪽이 core-agg이고, 오른쪽이 ext-agg임.

 

 Finding. 적절히 filtering 되고 deduplication 된 웹 데이터에서 학습된 LM은 curated data에서 학습된 모델의 성능과 거의 맞먹는다.

 

Do other corpora benefit from MDR?

 

 MDR의 filtering & deduplication 스테이지를 다른 pre-training 데이터셋에 독립적으로 적용해서 이들이 다른 데이터셋에서도 널리 사용될 수 있는지 연구하였다. 그 결과가 표 6에 나타나 있고, 결과를 분석해 보면 다음과 같다.

 

1. filtering의 성능 개선은 체계적이지 않음. filtering의 제거 비율은 downstrema 정확도와 강하게 연관되어 있지 않음.
2. deduplication은 모든 데이터셋에 걸쳐서 성능 향상을 보여줌. 제거 비율도 성능 변화와 더 나은 상관성을 보임.

 

 filtering과 deduplication의 묶음은 추가적 개선을 내놓는다. 비록 성능은 데이터셋에 걸쳐서 더욱 균일하지만, 차이점은 남아있다. 이는 기존 text 추출과 처리에 있는 결점을 완전히 보상할 수 없다는 것을 제안한다. 

 

표 6. filtering으로부터의 개선은 데이터셋에 걸쳐서 체계적이지 않지만, 보드에 걸쳐서 꾸준한 성능 향상을 가져옴

 

 Finding. filtering 휴리스틱은 소스 의존적 튜닝을 필요로 하는 반면 엄격한 deduplication는 데이터셋에 걸쳐서 일관적으로 zero-shot 성능을 개선시킨다.

 

 

The end of posting..

 

 이렇게 해서 Falcon model과 이 모델에 사용된 데이터셋에 대해 알아봤다. 아직 Falcon model의 paper가 공개되지 않아서 자세한 내용을 알기는 힘드나 추후에 논문이 공개되면 다시 한번 살펴보도록 하겠다. 발전을 위해서는 앞으로도 이러한 Open LLM이 많이 개발되어야 한다고 생각하고, 그런 측면에서 Falcon의 공개는 앞으로의 발전에 도움이 되는 개발이라고 생각한다. Falcon의 모델 카드에 대해서 궁금하다면 다음을 참고하길 바란다.

 

https://huggingface.co/tiiuae/falcon-40b

tiiuae/falcon-40b · Hugging Face

 

 

 

 

 

출처

https://huggingface.co/blog/falcon

The Falcon has landed in the Hugging Face ecosystem

https://arxiv.org/abs/2306.01116

The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only