GPT-3: Language Models are Few-Shot Learners 논문 리뷰

 ChatGPT 이후로 세상은 GPT-4의 출시로 인해 또 한 번 들썩이고 있다. 필자도 GPT-4가 처음 나오고 OpenAI의 소개 영상을 보고 GPT-4의 능력에 대해 강한 궁금증을 가지고 있는 상태이다. GPT-4를 리뷰하기 전에 GPT-3에 대해서 먼저 리뷰해야겠다는 생각에 이렇게 리뷰를 해본다. GPT-3를 소개한 논문인 'Language Models are Few-Shot Learners'는 총 75페이지에 달하는 긴 논문이기 때문에 다 리뷰하는 것에는 무리가 있어 특정 부분만 리뷰하였다.

 

 

The overview of this paper

 최근의 연구들에 의하면 많은 NLP task에 대해 상당한 수준의 벤치마크를 얻게 된 데에는 거대한 양의 text corpus에 대해 pre-training하고 specific task에 대해 fine-tuning을 했기 때문이다. 하지만, 이 방법은 task-specific한 fine-tuning 데이터셋을 많이 필요로 한다. 이와는 반대로, 사람은 적은 예시 또는 설명으로도 새로운 task를 문제 없이 수행할 수 있다. 이러한 점이 현재 NLP 시스템이 가장 힘들어 하고 있는 부분이다. 이 논문에서는 다음의 contribution을 보여준다.

 

• 모델의 크기를 늘림으로써 task-agnostic, few-0shot 성능을 향상시키고, 때로는 이전의 fine-tuning SOTA에 견주는 성능을 얻을 수 있다는 걸 보여준다. 
• 1,750억 개의 파라미터를 가지고 학습된 autoregressive model, GPT-3. 이는 이전의 non-sparse 모델보다 10배 더 많은 파라미터를 가지고 있고, few-shot 세팅에서 test함.
• 모든 task에 대해 GPT-3는 어떠한 기울기 업데이트나 fine-tuning이 없음

 

 그리고 GPT-3는 사람 평가자가 사람이 쓴 건지 인공지능이 쓴 건지 헷갈릴 만큼의 뉴스 기사를 써낼 수 있다! 🫢

 

 

Table of Contents

1. introduction

2. Approach

 

 

1. Introduction

 최근에 NLP task에 사용되는 패러다임은 LM을 사용한 방식인데, 이 방식의 주된 한계점은 architecture가 너무 task-agnostic하고, task-specific dataset과 task-specific fine-tuning이 필요하다는 것이다. task에 대해 강력한 성능을 얻기 위해서는 수많은 데이터에 대해 모델을 fine-tuning 해야 한다. 이러한 한계점은 다음과 같은 여러 이유로 해결되어야 할 필요가 있다.

 

1. 실용적인 관점에서, 매 새로운 task에 대해 거대한 labeled dataset의 필요는 LM의 활용성에 제약을 건다. 
2. 모델의 표현력과 학습 분포의 협소함에 따라 훈련 데이터의 가짜 상관 관계를 악용할 가능성이 근본적으로 커진다. 따라서 특정 벤치마크에서 fine-tuning된 모델의 성능은 명목상 인간 수준인 경우에도 기본 task에 대한 실제 성능은 과장일 수도 있다.
3. 사람은 언어 task를 학습할 때 거대한 supervised dataset을 필요로 하지 않는다. 언어에 대한 간략한 요약이나 적은 수의 설명이면 충분하다. 이러한 적응성은 실용적인 이점 또한 있는데, 긴 대화 중에 추가를 수행하는 것과 같이 인간이 원활하게 혼합하거나 많은 작업과 기술 간에 전환할 수 있는 것이다.

 

 이 문제를 해결하기 위해서 논문에서 제안하는 방법은 'meta-learning' 이다. 이를 LM적 문맥에서 설명하면 모델이 training time에 광범위한 스킬과 패턴 인식 능력을 학습하고, 이 능력을 inference time에 사용해서 task에 빠르게 적응하고 이해할 수 있게 해준다. 이에 대한 설명이 그림 1에 나타나 있다. 최근의 연구들은 이를 시도하기 위해 "in-context learning" 방식을 사용하고 있다. 이 방식은 pre-trained LM의 text input을 task specification의 형태로 사용한다. 모델은 자연어 지침 및/또는 task의 몇 가지 시연을 기반으로 하며 다음에 오는 것을 예측하여 작업의 추가 인스턴스를 완료할 것으로 예상된다.

 

그림 1. meta-learning 설명

 

 이 방식은 약간 희망적인 성능을 보여주지만, fine-tuning 방식에 비해서는 아직 떨어지는 성능을 보여주고 있다.

 

 LM의 또 다른 추세는 앞으로 나아갈 길을 제공하고 있다. 최근 몇 년 동안에 transformer LM의 파라미터는 기하급수적으로 늘어나고 있다. 1억 파라미터에서 시작해서 GPT-3의 파라미터 수인 1,750억 개에 이르기까지 말이다. 각각의 파라미터 상승은 text synthesis 및 downstream NLP task에도 향상을 가져온다는 것을 알 수 있었다. 그리고 많은 downstream task와 상관관계가 있는 log loss가 모델의 규모에 따라 순조로운 개선 추세를 따른다는 증거가 있다. in-context learning이 많은 skill과 task를 모델의 파라미터에 흡수해놓기 때문에, in-context learning의 능력이 모델의 규모에 따라 향상된다는 것을 보여준다.

 

 논문에서는 1,750억 개의 파라미터를 갖는 autoregressive model인 GPT-3를 학습시키고 이 모델의 in-context learning 능력을 측정함으로써 가설을 확인하였다. 각각의 task에 대해 GPT-3를 다음의 3가지 조건 하에 두고 평가하였다. GPT-3는 전통적인 fine-tuning 세팅 하에서도 평가가 가능한데, 이는 향후 연구로 남겨두었다.

 

• few-shot learning: 모델의 context window에 맞는 만큼의 설명을 허용
• one-shot learning: 하나의 설명만을 허용
• zero-shot learning: 어떠한 설명 없이, 오직 자연어에 대한 설명만을 모델에게 제공

 

 그림 2는 논문에서 학습한 조건들을 설명하고 있고, 간단한 task의 few-shot learning은 모델에게 단어로부터 필요없는 기호들을 제거하도록 요구하는 것을 보여주고 있다. 모델의 성능은 자연어 task 설명 추가와 모델의 context에 있는 몇몇의 예시 $K$와 함께 향상되었다. few-shot learning의 성능 또한 모델의 크기에 따라 극적으로 향상되었다. 논문에서는 이러한 "학습" 곡선이 어떠한 기울기 업데이트나 fine-tuning을 포함하지 않고, 단지 조건으로 제공된 설명의 수만 증가한다는 점을 강조하였다.

 

그림 2. in-context learning 성능

 

 GPT-3는 NLP task에 대해 one-shot과 zero-shot에서 유망한 결과를 얻을 수 있었다. 심지어 few-shot 세팅은 SOTA에 견주거나 때로는 넘어서는 성능을 보여줬다. GPT-3는 또한 빠른 적응 또는 즉석 추리 관련 task에 대해서 one-shot과 few-shot의 능숙함을 보여줬다. 그리고 few-shot 세팅에서, GPT-3는 사람이 쓴 건지 인공지능이 쓴 건지 구분하기 힘들 정도로 높은 수준의 뉴스 기사를 작성할 수 있었다. 다음의 그림 3은 여러 task를 모은 전반적인 결과를 보여주고 있다. 

 

그림 3. 모든 task에 대한 전반적인 모델의 성능 그래프

 

 논문에서는 1,750억 개의 파라미터를 가지는 GPT-3 모델 하나만 만들어서 평가한 것이 아니라 1.25억 개에서 130억 개의 파라미터를 가지는 smaller model도 만들어서 GPT-3와 one, zero, few-shot 측면에서 비교하였다. 전반적인 task에 대해서 모델의 크기가 커짐에 따라 모델의 성능도 향상되는 모습을 보여주고 있다. 이 중에 가장 주목할 만한 패턴은 zero, one, few-shot의 성능 간에 갭이 모델의 용량이 커짐에 따라 커진다는 것이다. 따라서 larger model이 meta-learner로써 더욱 적합하다는 것을 알 수 있다.

 

 

2. Approach

 GPT-3의 기본적인 pre-training 방식, 모델, 데이터, 학습은 GPT-2의 방식과 유사하다. 달라진 점은 모델의 크기가 커졌다는 점과 데이터셋의 크기가 커지고 다양해지고, 학습의 길이가 길어졌다는 것이다. GPT-3의 in-context learning은 GPT-2와 비슷하지만, 문맥 속에서 학습을 위한 다양한 설정을 체계적으로 탐색하였다. 따라서, GPT-3를 평가할 수 있는 다양한 설정을 명시적으로 설명하고 대조하여 이 섹션을 시작하도록 하겠다.

 

• Fine-Tuning$($FT$)$: task에 관련된 supervised dataset에서 학습함으로써 pre-trained model의 가중치를 업데이트함. 수많은 labeled example이 사용되고, 주된 장점은 다양한 벤치마크에서 강력한 성능을 보여줄 수 있다는 것이다. 단점은 매 task에 대해 거대한 데이터셋을 필요로 한다는 점, 데이터 분포 밖에 있는 데이터에 대해 안 좋은 일반화를 보여준다는 점, 학습 데이터의 거짓된 feature을 남용할 수도 있다는 점들이다. 이는 잠재적으로 인간의 성능과 불필요한 비교를 초래할 수 있다는 것이다. 논문에서는 task-agnostic 성능에 집중하기 때문에, GPT-3를 fine-tune하지는 않았다.
• Few-Shot$($FS$)$: 모델에 조건화로 추론 시간에 작업에 대한 몇 가지 설명을 제공하는 설정을 참조하기 위해 사용하였지만, 가중치 업데이트는 허용되지 않았다. few-shot의 주된 장점은 task-specific data에 대한 필요가 줄어든다는 점과 크지만 좁은 fine-tuning 데이터셋에서 지나치게 좁은 분포를 학습할 가능성이 감소한다는 점이다. 단점은 few-shot 모델은 SOTA에 비해서 떨어지는 결과를 보여준다는 것과 아직 그래도 task-specific dataset이 필요하다는 점이다. 
• One-Shot$($1S$)$: few-shot과 유사하지만, 오직 하나의 설명만이 가능하다는 점이 다르다. 게다가 task의 자연어 설명도 주어진다. one, zero, few-shot을 구분하는 이유는 이 task들이 사람과 대화하는 방식과 가장 근접하게 일치하기 때문이다. 예를 들어 사람에게 새로운 task를 수행하게 하기 위해서는 task에 대한 설명 하나면 충분하다. 반대로, 이러한 예시조차 없게 된다면 task를 수행하기 힘들어진다.
• Zero-Shot$($0S$)$: one-shot과 똑같지만, 어떠한 설명도 허락되지 않고, task를 설명하는 자연어 설명만이 주어질 뿐이다. 이 방법은 극강의 편리함과 robustness, 필요 없는 상관 관계의 회피를 제공해주지만, 가장 어려운 세팅 중 하나이다. 이러한 방식은 인간의 입장에서도 어려울 수 있는데, 그럼에도 불구하고 어떠한 면에서 가장 사람이 task를 수행하는 방식과 가장 유사하다고도 볼 수 있다. 

 

그림 4. zero, one, few-shot과 기존의 fine-tuning과 대조

 

 논문에서는 그 중에서도 zero, one, few-shot에 집중하였다.

 

Model & Architecture

 

 모델의 architecture는 GPT-2와 똑같은 architecture을 사용하였다. GPT-2에서 설명된 수정된 초기화, 사전 정규화 및 가역적 토큰화를 포함하였다. 단, Sparse Transformer와 유사하게 Transformer의 레이어에서 번갈아 가며 밀집하고 국부적으로 줄무늬가 있는 sparse attention 패턴을 사용하였다. 모델의 파라미터는 다음의 표 1과 같은데 총 8개의 서로 다른 크기의 GPT-3 모델을 만들었다. 그 중에서 1,750억 개의 파라미터를 가지는 GPT-3가 진짜 GPT-3이다. 

 

표 1. 모델의 크기, architecture, 학습 하이퍼 파라미터

 

 위 표 1은 8개 모델의 크기와 architecture을 보여주고 있다. $n_{params}$는 총 학습 파라미터의 수이고, $n_{layer}$은 총 레이어의 수이고, $d_{model}$은 각 bottleneck 레이어의 unit의 수이고, $d_{head}$는 각 attention head의 차원이다. 

 

Training Dataset

 

표 2. GPT-3 학습 데이터셋

 

 GPT-3의 학습에 사용된 주된 데이터셋은 'Common Crawl'이다. 이 데이터셋은 1조 개에 가까운 단어를 포함하고 있는데, 이 정도 규모의 데이터셋이면 GPT-3의 가장 큰 모델을 학습시키는데 충분하다. 하지만, 필터링되지 않거나 살짝만 필터링된 Common Crawl 데이터셋은 더욱 정교한 데이터셋보다 떨어지는 퀄리티를 가지고 있다는 것을 알 수 있었다. 따라서, 이를 해결하기 위해 3 단계를 적용하여 데이터셋의 평균적인 퀄리티를 향상시키고자 하였다.

1. 다양한 고품질 참조 corpora와의 유사성을 기반으로 Common Crawl 버전을 다운로드하고 필터링했다.
2. 문서 레벨에서 fuzzy deduplication을 데이터셋에 수행해서, 중복을 방지하고 overfitting의 정확한 측정으로 보류된 validation 세트의 무결성을 유지한다.
3. Common Crawl을 강화하고 다양성을 높이기 위해 알려진 고품질 참조 corpora가 교육 믹스에 추가되었다. 여기에는 WebText 데이터셋의 확장 버전, 두 개의 인터넷 기반 책 말뭉치$($Books1 및 Books2$)$ 및 영어 Wikipedia가 포함된다.

 

 학습에 사용된 총 계산량은 다음의 그림 5와 같다.

 

그림 5. 학습 중에 사용된 총 계산량

 

 larger model을 메모리 쇼트 없이 학습시키기 위해, 각 행렬 곱 내의 모델 병렬 처리와 네트워크 계층 전체의 모델 병렬 처리가 혼합되어 사용되었다. GPT-3 175B를 pre-training 중에 학습시키는데 몇 천 petaflop이 사용되었다.

 

 

 GPT-3의 논문인 'Language Models are Few-Shot Learners'에 대한 리뷰는 여기까지이다. 실험 관련 부분에 궁금한 점이 있다면 직접 논문을 찾아볼 수 있길 바란다!

 

 

 

 

출처

https://arxiv.org/abs/2005.14165

Language Models are Few-Shot Learners

https://sh-tsang.medium.com/review-gpt-3-language-models-are-few-shot-learners-ff3e63da944d

Review — GPT-3: Language Models are Few-Shot Learners