LaMDA의 뒤를 잇는 Pathways를 활용한 초거대 언어 모델! - PaLM 리뷰$($1$)$

 구글은 혁신적인 성능을 보여줬던 언어 모델인 LaMDA를 발표하고 얼마 지나지 않아서, 바로 이를 능가해버리는 초거대 언어 모델인 PaLM을 공개하였다. 이번 포스트에서는 이 PaLM에 대해서 리뷰해보았고, 구글의 블로그를 참고하여 작성하였다. $($논문이 너무 길어서 읽기가 너무 힘드네요,, 😅$)$ PaLM에 대한 리뷰는 총 두 개의 포스트로 나눠서 진행하였습니다. 이 포스트인 첫 번째 포스트에서는 앞서 말한 것처럼 구글의 블로그를 참고하여 PaLM의 대략적인 설명과 실험 결과들에 대해 다뤘고, 두 번째 포스트에서는 PaLM의 모델 구조에 대해서 다뤄볼 예정입니다!! 많은 관심 부탁드립니다!! 

 

 PaLM은 'Pathways Language Model'의 약자로, 이름에서부터 알 수 있듯이 구글에서 소개한 Pathways라는 개념이 사용된 모델이다. 따라서, 이 Pathways에 대한 간단한 이해가 필요한데, 이에 대한 내용은 여기를 참고하길 바란다.

 

 

The overview of  PaLM

 최근에, 거대 인공신경망은 언어 이해와 생성의 분야에서 인상적인 결과들을 보여줬다. 그중에도 GPT-3는 초거대 언어 모델$($LLM$)$이 few-shot-learning으로 인상적인 결과를 얻을 수 있다는 것을 보여준 첫 번째 모델이다. 그 이후에, GLam, LaMDA 등의 또다른 초거대 언어 모델들이, 모델의 크기를 늘리고, sparsely activated하게 발전하면서 더욱 향상된 성능을 보여줬다. 그러나, 모델 규모의 한계를 뛰어넘을 때에 few-shot learning으로 나타나는 기능을 이해하는 데에는 많은 작업이 남아있다. 

 

 PaLM을 처음 소개한 논문인 'PaLM: Scaling Language Modeling with Pathways'에서, 저자들은 구글이 새롭게 제안한 방식인 Pathways를 활용한 언어 모델인 PaLM을 소개하였다. 이 PaLM은 5400억 개의 파라미터와 Pathways를 통해 학습된 dense decoder-only Transformer model로 이루어져있다. 이러한 구조의 Transformer는 하나의 모델을 여러 개의 TPU v4 Pods 위에서 효과적으로 학습할 수 있게 만들어줬다. 이렇게 해서 만들어진 PaLM을 수백개의 언어 이해와 생성 task에 대해 평가해보았고, 대다수의 task에서 few-shot performance가 SOTA를 차지하였다. 심지어 이전 SOTA모델들보다 훨씬 더 좋은 성능으로 말이다!!

 

그림 1. 모델의 크기가 증가하면, task간의 성능 또한 오르게 되고, 그러면서 새로운 가능성 또한 해금할 수 있다!

 

 

5400억 개의 파라미터를 갖는 PaLM을 Pathways로 학습시키기

 PaLM은 6144개의 칩을 갖는 거대한 TPU 기반의 시스템 구조에서 학습되었다. 학습은 두 개의 Cloud TPU v4 Pods 간의 데이터 병렬화를 통해 규모를 키울 수 있었다. 반면에, 각각의 Pod에서는 기존의 데이터와 모델 병렬화를 사용하였다. 이로 인해 얻게 된 모델의 크기는 이전의 하나의 TPU v3 Pod에서 학습된 초거대 언어 모델의 규모와 비교했을 때, 엄청난 상승을 가져왔다는 것을 알 수 있다. 

 

 PaLM은 57.8%의 하드웨어 FLOPs 이용을 달성하였는데, 이는 이 규모의 LLM에서 달성한 최고 기록이다! 이는 병렬화 전략과 Transformer block의 변형으로 인하여 attention과 feedforward layer가 병렬로 계산될 수 있었기 때문이다.

 

 PaLM은 영어 외에도 다양한 언어의 데이터셋을 사용하여 학습되었는데, 여기에는 높은 퀄리티의 문서, 책, 위키피디아, 대화들, GitHub code들이 포함되어 있다. 그리고 'lossless'라는 새로운 vocabulary를 생성했는데, 여기에는 모든 whitespace를 보존하고, Unicode character로 표현할 수 없는 character을 byte로 쪼개서 저장하였고, 숫자를 각 숫자에 대해 하나씩 개별 토큰으로 나눠서 저장하였다. 

 

 

Language Reasoning과 Cose Task에서의 엄청난 발전!

 PaLM은 어려운 다양한 task에 대해서 엄청나게 발전된 능력을 보여줬다. 그래서 language understanding과 generation, reasoning, code-related task에 대한 몇가지 예시를 보여주었다.

 

Language Understanding & Generation

 PaLM을 29개의 널리 사용되는 영어 NLP task에 대해 평가해보았다. 그 결과, PaLM 540B는 이전 거대 모델의 few-shot performance를 능가하는 결과를 29개 중 28개의 task에 대해서 보여줬다. 

 

그림 2. PaLM 540B의 성능이 이전 SOTA의 성능에 비해 얼마나 상승되었을까?

 

 그리고 또한 PaLM은 영어 NLP task중, 번역 같은 multilingual NLP task에 대해서도 강력한 성능을 보여줬다. 학습 데이터 중 오직 22% 정도의 데이터만이 비영어 데이터 였음에도 말이다!

 

 또한, 규모 함수로서 PaLM의 성능은 이전 모델과 유사한 로그 선형 모션을 따르며 규모에 따른 성능 향상이 아직 정체되지 않았음을 나타내었다. PaLM 540B의 5-shot은 똑같은 task에 대해 사람에게 물었을 때의 평균보다 높은 성능을 보여줬다.

 

그림 3. 58 BIG-bench task에 대한 PaLM의 scaling behavior

 

 PaLM은 여러 BIG-bench task에 대해 인상적인 자연어 이해 및 생성 능력을 보여줬다. 예를 들어, PaLM은 원인과 효과를 이해할 수 있고, 적절한 맥락에서 개념적 조합을 이해하고, 이모지로부터 영화를 생각해낼 수도 있었다 $($이거는 진짜 신기한 것 같다 😮$)$!!

 

그림 4. PaLM의 BIG-bench task 예시

 

 

Reasoning

 모델의 scale을 chain-thought prompting과 결합하면, PaLM은 reasoning task에 대해서 엄청나게 발전된 성능을 보여줬다. 이 reasoning task는 여러 단계의 수리적 단계 또는 일반적인 reasoning을 요구하기도 한다. 이전의 LLM들은 모델의 scale에 비해 이렇다할 발전된 성능을 보여주지는 못했다.

 

그림 5. chain-of-thoughts propting은 사람의 접근 방식과 유사하게, 문제에 대해 여러 단계로 쪼개서 생각하는 모습을 보여줌.

 

 그리고 chain-of-thopughts propting과 결합한 PaLM 540B의 강력한 성능을 관찰하기 위해, 세 개의 수리적 데이터셋과 두 개의 commonsense reasoning task에 대해서도 진행해 보았다. 예를 들어, 8-shot prompting으로도, PaLM은 여러 어려운 수학 문제를 포함하고 있는 GSM8K 데이터셋의 58%에 달하는 문제를 풀어냈다. 이는 이전의 가장 높은 점수인 55%를 받은 GPT-3를 능가하는 성능이다. 심지어, GPT-3는 외부의 계산기와 verifier을 이용하였다.

 

 이 새로운 점수가 특히 흥미로운 것은, 9세에서 12세의 아이들이 평균적으로 60%에 달하는 문제를 푼다는 점이다. 심지어 이들의 수준에 맞춰진 문제임에도 불구하고 말이다! 이렇게 좋은 성능을 낼 수 있었던 이유는 PaLM의 vocabulary가 숫자를 따로 인코딩하였기 때문이다.

 

 그리고, PaLM은 깊은 지식과 여러 단계의 추론을 요구하는 문제에 대해서도 왜 이런 결과를 내게 되었는지 설명할 수 있었다. 예를 들어, 웹에서도 찾을 수 없던 새로운 조크를 이해하고 해석할 수 있었다!

 

그림 6. PaLM이 조크를 two-shot prompts로 설명중

 

 

Other Results..

 이 외에도 더 많은 양의 실험 결과들에 설명하지만, 모두 적기에는 양이 상당해서 주요 몇 개만 다뤘다. 아무튼 중요하게 생각해야 하는 것은 PaLM이 이전 LLM들과 비교했을 때, 엄청난 성능 향상을 보여줬다는 점이다. 그리고 Reasoning에 사용되었던 chain-of-thoughts prompt는 이후의 포스트에서도 한 번 다뤄보도록 하겠다.

 

 

Conclusion

 PaLM은 잘 학습되고, 잘 구조화된 dense decoder-only Transformer 모델을 사용하여 5400억 개의 파라미터 모델을 효율적으로 학습시킴으로써 두 개의 TPU v4 Pods에서 수천 개의 가속시 칩에 대한 Pathways 시스템의 확장 기능을 시연하였다. model의 규모를 극한으로 몰아넣음으로써 PaLM의 few-shot performance에 엄청난 발전을 가져올 수 있었다. PaLM은 확장 기능을 새로운 아키텍처 선택 및 학습 체계와 결합하여 훨씬 더 유능한 모델을 위한 길을 열어 Pathways의 비전에 더욱 가까이 다가갈 수 있는 문을 열은 것이다.

 

 

 

 

출처

https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html

Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance