GPT-2: Language Models are Unsupervised Multitask Learners 논문 리뷰

Pre-trained Language Modeling paper reading

요즘 NLP 분야에서 뜨거운 감자인 pre-trained Language Modeling에 관한 유명한 논문들을 읽고 리뷰를 하였다. 이번 포스트에서는 저번 포스트인 GPT-1의 후속 모델인 GPT-2에 대해서 리뷰하였다.

1. ELMo: 'Deep contextualized word representations' reading & review
2. BERT: 'Pre-training of Deep Bidirectional Transformers for Language Understanding' reading & review
3. GPT-1: 'Improving Language Understanding by Generative Pre-Training' reading & review
4. GPT-2: 'Language Models are Unsupervised Multitask Learners' $($this post$)$

 

The overview of this paper

QA와 machine translation, reading comprehension, 요약과 같은 NLP task는 보통 task-specific한 데이터셋에 대한 supervised learning으로 접근된다. 논문에서는 language model이 Webtext라고 불리는 수백만 개의 웹 페이지로 구성된 새로운 데이터 세트에서 교육을 받을 때 supervision 없이 이러한 작업을 학습하기 시작한다는 것을 보여준다. 문서와 질문을 조건으로 하는 경우에, language model로부터 생성되는 대답은 CoQA 데이터 세트에 대해 55의 F1 score를 갖는데, 이는, 약 127,000개 이상의 훈련 예시를 사용하지 않고, 4개의 baseline system에서 3개 정도의 성능을 웃돌거나 능가하는 것을 보여줬다. language model의 용량은 zero-shot task transfer가 성공하게 하는 것과 이 용량을 늘렸을 때, 작업 전반에 걸쳐 로그 선형 방식으로 성능을 향상시킨다. GPT-2는 zero-shot setting에서 테스트된 8개 언어 모델링 데이터 세트 중 7개에서 SoTA를 달성하지만 여전히 WebText에 적합하지 않은 15억개의 parameter을 가진 Transformer이다. model의 sample은 이러한 개선점을 나타내고, text의 coherent paragraph을 포함한다. 이러한 발견은 자연스럽게 발생하는 데모에서 작업을 수행하는 방법을 배우는 language processing 시스템을 구축하는 유망한 경로를 제안한다.

 

 

Table of Contents

1. Introduction

2. Approach

   2-1. Training Dataset

   2-2. Input Representations

3. Generalization vs Memorization

 

 

 

1. Introduction

machine learning 시스템은 이제 대규모 데이터 세트, 많은 용량의 모델, supervised learning의 조합을 사용하여 훈련된 작업에서 뛰어나다. 아직 이러한 시스템들은 데이터 분포와 task specification에 조금의 변화가 생기면 취약하고 민감하긴 하지만 말이다. 현재의 시스템들은 다방면에 능숙한 사람 이기 보다는 좁은 분야에서 전문가이다. 우리는 다양한 task에 대해 수행할 수 있는 좀 더 general한 시스템이 필요하다. 수동으로 각 하나마다 훈련 데이터셋을 생성하고 라벨링할 필요가 없어야 한다.

주된 ML 시스템 생성 방법은 제안된 task에 대해 정확한 특징을 설명하고 있는 훈련 예시의 데이터셋을 모으고, 시스템을 훈련시켜서 이러한 특징을 흉내내게 한 다음에, 이것에 대한 성능을 독립적이고 independent하고 identically하게 distributed된$($IID$)$ 홀드 아웃 예제에서 성능을 테스트한다. 이러한 방법은 좁은 분야의 전문가를 양성할 때는 유용하다. 하지만, captioning model, reading comprehension, image classifier의 다양하게 가능한 입력들의 자주 불규칙한 특징은 이러한 방식의 단점을 부각시킨다.

논문에서 의심하는 것은 single domain dataset에 대한 single task training의 유행이 현재 시스템에서 관찰되는 일반화 부족의 주요 원인이라는 것이다. 현재 architecture로 robust system을 수행하는 것은 다양한 범위의 영역과 task에 대해 훈련과 performance를 측정하는 것을 요구한다. 최근에, 다양한 벤치마크는 이를 연구하기 위해 GLUE와 decaNLP 같은 것을 제안하였다.

multitask learning은 general performance를 향상시킬 희망적인 구조이다. 하지만, NLP에서 multitask training은 아직 초기의 단계이다. 최근의 연구들은 수수한 성능 향상을 기록하였고, 현재까지 가장 야심찬 두 가지 노력은 각각 총 10개 및 17개 $($dataset, objective$)$ 쌍에 대해 훈련했다. meta-learning적 관점에서 보면, 각 $($dataset, objective$)$ 쌍은 dataset과 objective의 분포로부터 샘플링한 하나의 훈련 예시이다. 현재의 ML 시스템은 일반화를 잘하는 함수를 유도하기 위해 수백개에서 수천개의 예시를 요구한다. 이것은 multitask training이 현재 접근 방식으로 약속을 실현하기 위해 많은 효과적인 교육 쌍이 필요함을 시사한다. 현재 기술로 무차별 대입을 수행하는 데 필요할 수 있을 정도로 데이터셋 생성 및 목표 설계를 계속 확장하는 것은 매우 어렵다. 이것은 multitask learning을 수행하는 데에 추가적인 setup을 탐색하는 데 동기를 부여하였다.

language task를 수행하는 가장 최고의 시스템은 pre-training과 supervised fine-tuning의 조합을 사용한다. 이러한 접근 방식은 보다 유연한 형태의 번역을 위한 추세와 함께 오랜 역사를 가지고 있다. 첫 번째로, 워드 벡터가 학습되서 task-specific architecture의 입력으로 사용된 다음에, recurrent network의 문맥적 representation이 전달되고, 최근의 연구들은 task-specific architecture가 더 이상 필수적이지 않고 대신에 많은 self-attention 블록을 전달하는 것으로 충분하다는 것이 밝혀졌다. 

이러한 방법들은 아직 task를 수행하기 위해 아직 supervised training을 요구한다. 조금 또는 아예 supervised data가 없을 때, 작업의 또다른 라인은 specific task을 수행하기 위해 language model의 promise를 설명한다.

이 논문에서는 이러한 두 개의 작업을 연결하고 번역의 더욱 general한 방법의 추세를 계속한다. 논문에서는 language model이 zero-shot 세팅에서 어떠한 parameter 수정과 구조적 변화 없이 down-stream task를 수행할 수 있다고 설명하였다. 이러한 접근 방식은 zero-shot 세팅에서 다양한 범위의 task를 수행하기 위해 language model의 능력을 강조함으로써, 잠재력을 보여줬다.

 

그림 1. Zero-shot task performance

 

2. Approach

논문에서의 접근 방식의 핵심은 language modeling이다. language modeling은 대게 각각 가변 길이 기호 시퀀스 $(s_{1},s_{2},...,s_{n})$로 구성된 일련의 예제 $(x_{1}, x_{2},...,x_{n})$에서 unsupervised 분포 추정으로 구성된다. 언어는 자연적인 sequential 순서를 가지기 때문에, 다음과 같이 조건부 확률의 곱으로 기호에 대한 결합 확률을 분해하는 것이 일반적이다. 

 

수식 1. 조건부 확률의 곱

이 접근법은 $p(s_{n-k},...,s_{n}|s_{1},...,s_{n-k-1})$ 형식의 모든 조건 뿐만 아니라 $p(x)$의 추적 가능한 샘플링 및 추정을 허용한다. 최근에는 이러한 조건부 확률을 계산할 수 있는 Transformer의 self-attention 같은 model의 의미심장함에서 상당한 개선점이 있었다.

single task를 수행하기 위해 학습하는 것은 확률론적 구조에서 조건부 확률 $p(output|input)$을 측정하는 것처럼 표현될 수 있다. general 시스템은 똑같은 입력에 대해서도 다양한 다른 task를 수행할 수 있어야 해서, 입력 뿐만 아니라 task에 대해서도 적응하는 것이 수행되어야 한다. 따라서 $p(output|input,task)$로 모델링 되어야 한다. 이것은 multitask와 meta-learning 세팅에서 다양하게 공식화되어 있다. task conditioning은 보통 task specific한 인코더와 디코더와 같은 architectural level에서 응용되거나, MAML의 내부와 외부 loop optimization 구조와 같은 algorithmic level에서 응용된다. 하지만, 전형적인 예에서는, 언어는 task, 입력 및 출력을 모두 일련의 기호로 지정하는 유연한 방법을 제공한다. 예를 들어, 번역 훈련 예시는 시퀀스 $\texttt{(translate to french, english text, french text)}$로 작성된다. 이와 같이, reading eomprehension training 예시는 $\texttt{(answer the question, document, question, answer)}$로 작성된다. McCann외 저자들이 작성한 논문에서는 이러한 유형의 형식을 사용하여 예에서 다양한 작업을 추론하고 수행하기 위해 단일 모델인 MQAN을 교육하는 것이 가능함을 보여주었다.

Language modeling 원칙적으로는 어떤 기호가 예측할 출력인지에 대한 명시적인 supervision이 필요없는 McCann외 저자들이 작성한 논문에서의 task를 학습하는 것이 가능하다. supervised의 목표는 unsupervised의 목표와 같지만, 오직 시퀀스의 subset에서 평가되기 때문에, unsupervised의 global 최솟값이 또한 supervised의 최솟값이다. 이러한 약간 toy setting에서는, Sutskever외 저자들이 작성한 논문에서 논의된 원칙적인 훈련 목표로서의 밀도 추정에 대한 우려는 옆으로 비켜서 있다. 대신에 문제는 실제로 수렴에 대한 unsupervised 목표를 최적화할 수 있는지 여부이다. 이전의 실험들은 충분히 커다란 language model은 이러한 toy-ish한 setup에서 multitask learning을 수행할 수 있지만,  학습이 명시된 supervised 접근법보다 훨씬 느리다는 것을 확인하였다.

위에서 설명한 well-posed 설정에서 "language in wild"의 혼란에 이르기까지 큰 단계이지만, Weston의 논문에서는, dialog의 문맥에서, 자연어에서 직접 학습할 수 있는 시스템을 개발하고 개념 증명을 입증해야 할 필요성에 대해 주장하였다-QA task를 reward signal 없이 teacher의 출력의 forward prediction을 사용함으로써 학습함. dialog는 매우 흥미로운 접근법이지만, 이것이 너무 제한되지는 않았는지 걱정하였다. 인터넷은 interactive communication에 대한 필요없이 수동적으로 사용 가능한 방대한 양의 정보를 포함하고 있다. 논문에서의 추측은 충분한 용량을 가지고 있는 language model은 조달에 대한 이들의 방법에 대해 간주하지 않고, task를 더 잘 예측하기 위해 natural language 시퀀스에서 설명된 task를 추론하고 수행하기 위해 학습되기 시작하였다. 만약, language model이 이를 수행할 수 있다면, unsupervised multitask learning을 수행하는 것이랑 같을 것이다. 

 

2-1. Training Dataset

다양하고, 거의 제한되지 않은 text로 이루어진 데이터셋인 Common Crawl와 문서의 퀄리티를 강조하는 WebText의 데이터셋을 이용하여 학습되었다.

 

2-2. Input Representation

general language model은 어떠한 string의 확률을 계산할 수 있어야 한다. 현재의 거대한 스케일의 LM은 model-able한 string의 공간을 제한하는 lower-casing, 토큰화, vocabulary에 없는 토큰의 제외와 같은 전처리 스텝을 포함한다. Unicode string을 UTF-8의 시퀀스로 진행하는 것은 이러한 요구사항을 완벽히 만족한다. 현재의 byte-level LM은 word-level LM에 비해 One Billion Word Benchmark 같은 거대한 크기의 데이터셋에서는 별로 경쟁력을 갖지 못한다.

Byte Pair Encdoing$($BPE$)$는 빈번한 기호 시퀀스에 대한 word-level 입력과 드문 기호 시퀀스에 대한 character-level 입력 사이를 효과적으로 보간하는 character 및 word-level language modeling 사이의 실용적인 중간 지점이다. BPE는 이 이름에도 불구하고, 종종 byte 시퀀스가 아닌 Unicode에서 구동되기도 한다. 이러한 응용은 모든 Unicode string을 모델링하기 위해 Unicode symbol의 모든 공간을 포함할 것을 요구한다. 이것은 multi-symbol 토큰이 추가되기 전에 130,000개 이상의 기본 어휘가 생성된다. 이것은 32,000에서 64,000개 정도의 토큰 어휘를 사용하는 BPE와 비교하여 매우 큰 값이다. 이와는 반대로, byte-level 버전의 BPE는 오직 256 사이즈의 base vocabulary를 요구한다. 하지만, BPE를 byte sequence에 바로 적용하면, BPE가 토큰 어휘를 구축하기 위해 greedy frequency 기반의 heuristic을 사용하기 때문에, 최적이 아닌 병합이 발생한다. 논문에서는 'dog'과 같은 많은 변형에서 발생하기 때문에 dog. dog! dog?와 같은 일반적인 단어의 많은 버전을 포함하는 BPE를 관찰했다. 이것은 model 용량과 제한된 vocabulary slot의 sub-optimal 할당으로 결과가 되었다. 이를 피하기 위해, 논문에서는 이를 방지하기 위해 BPE가 모든 byte 시퀀스에 대한 chracter category간에 병합되지 않도록 한다. 논문에서는 압축 효율성을 크게 향상시키는 동시에 여러 어휘 토큰에 걸쳐 단어 조각을 최소화하는 공간에 대한 예외를 추가한다. 

이러한 입력 representation은 word-level LM의 이점과 byte-level 접근법의 generality를 묶는 것을 허락해주었다. 논문의 접근법은 어떠한 Unicoder string에 확률을 할당할 수 있기 때문에, 이것은 pre-processing을 간주하지 않는 어떠한 데이터셋에 대한 논문의 LM을 평가할 수 있게 해주었다.

 

2-3. Model

논문에서 소개한 모델은 Transforemr 기반의 architecture이다. 제안된 모델은 OpenAI GPT 모델을 대부분 따르는데, 약간의 수정을 가미하였다. pre-activation residual network와 비슷하게 Layer normalization이 각 sub-block의 입력으로 이동하였고, 추가적인 layer normalization이 마지막 attention block 이후에 추가되었다. 모델의 김피와 함께 residual path의 축적에 대해 설명하는 수정된 initialization이 사용되었다. 논문에서는 initialization에서 residual layer의 가중치를 요소 $1/\sqrt{N}$에 따라 모델을 scale 한다. 여기서 $N$은 residual layer의 수이다. vocabulary는 50,257로 확장되었다. 또한 문맥 크기를 512에서 1024로 늘렸고, 더욱 큰 512의 barch size를 사용하였다. 

 

3. Generalization vs Memorization

computer vision에서의 최근 연구들은 평범한 이미지 데이터셋에는 사소하지 않은 양의 거의 복제에 가까운 이미지들을 포함하고 있다는 것을 밝혀냈다. 예를 들어, CIFAR-10 데이터셋은 훈련과 테스트 이미지 간에 3.3% 정도의 overlap이 있다. 이것은 machine learning 시스템의 일반화 성능의 올려치기를 불러일으킨다. 데이터셋의 크기가 증가함에 따라 이 문제의 가능성이 높아져 WebText에서도 유사한 현상이 발생할 수 있음을 보여주었다. 그래서 테스트 데이터가 얼마 정도 훈련 데이터에서 나타나는지를 파악하는 것이 중요하다.

이를 연구하기 위해 논문에서는 WebText 훈련 토큰 셋의 8-gram을 포함하는 Bloom filter을 만들었다. recall을 향상시키기 위해, 단일 공백을 구분 기호로 사용하는 소문자 영어 및 숫자만 포함하도록 문자열을 정규화하였다. Bloom filter는 false positive rate가 $\frac{1}{10^{8}}$이 되도록 구성하였다. 논문에서는 1,000,000개의 문자를 생성하여 low false positive rate를 입증하였고, 그 중에 0개가 필터에 의해 발견되었다.

이러한 Bloom filter를 사용하면 주어진 데이터셋에서 WebText 훈련 셋에서도 발견되는 해당 데이터셋의 8-gram의 퍼센테이지를 계산할 수 있다. 표 1은 LM 벤치마크에 대한 overlap 분석을 보여준다. 보통의 LM 데이터셋의 test셋은 WebText의 훈련셋과 1에서 6% 정도의 overlap을 보여주고, 평균적으로 3.2% 정도의 overlap을 보여준다. 어느 정도 놀랍게도, 많은 데이터셋은 자기 자신의 훈련 스플릿에서 더욱 큰 overlap을 가진다. 평균적으로 5.9% 정도의 overlap을 보여준다.

 

표 1. overlap 분석

논문에서의 접근 방식은 recall을 최적화되어 있으며, overlap을 수동으로 검사하면 많은 일반적인 phrase가 표시되지만, 중복 데이터로 인해 더욱 긴 일치 항목이 많이 있다. 이것은 WebText에게 특별한 것은 아니다. 예를 들어, WikiText-103의 테스트셋은 훈련셋에 포함되어 있는 article을 가지고 있다는 것을 알아냈다. 여기에는 테스트셋에 오직 60개의 article만 존재하기 때문에, 최소한의 overlap 1.6% 정도가 있었다. 더욱 두렵게도, 논문에서의 procddure에 따르면 1BW는 자신의 훈련셋과 거의 13.2%의 overlap을 보여줬다.

Winograd Schema Challenge에 대해, WebText 훈련셋과 어떠한 8-gram overlap을 가지는 오직 10개의 shemata를 찾았다. 이 중에 2개는 비논리적인 match이고, 남은 8개 중 오직 1개의 schema만이 answer을 주는 어떠한 문맥에 등장하였다. 

CoQA에 대해, news domain에서의 15% 정도의 문서는 이미 WebText에 있었고, 모델은 3개의 F1 score에 대해 더 나은 성능을 보여줬다. CoQA의 development set 행렬은  5개의 서로 다른 domain에 대해 평균적인 성능을 보여줬고, 다양한 domain을 가로지르는 overlap 때문에 0.5에서 1.0 정도의 F1 score 이득을 측정하였다. 하지만, WebText의 링크에 대한 중단 날짜 이후에 CoQA가 발표되었기 때문에, WebText에는 어떠한 실질적인 훈련 질문 또는 대답이 들어있지 않았다.

LAMBADA에서는, 평균적 overlap이 1.2%였다. GPT-2는 overlap이 15% 이상인 예제에서 약 2 perplexity를 더 잘 수행하였다. 모든 예시에 대해 overlap을 모두 배제할 때, 행렬을 다시 계산하면, perplexity가 8.6에서 8.7로 바뀌었고, 정확도 또한 63.2%에서 62.9%로 줄었다. 전반적인 결과에서 이러한 작은 변화는 200개의 샘플 중 오직 하나만이 상당한 overlap을 가지기 때문이다.

전반적으로, 논문의 분석은 구체적인 평가 데이터셋과 WebText의 훈련 데이터셋 간의 data overlap은 작지만 일관된 장점을 제공한다고 제안하였다. 하지만, 대부분의 데이터셋에 대해 표 1에서 강조해져있듯이, 표준 훈련셋과 테스트셋 사이에 이미 존재하는 것보다 훨씬 더 큰 overlap을 발견하지는 못했다.

매우 유사한 텍스트가 성능에 어떻게 영향을 미치는지 이해하고 측량화나는 것은 중요한 연구 주제이다. scalable fuzzy matching 처럼 더욱 잘 de-duplication하는 기술은 이러한 질문에 대해 더욱 잘 대답할 수 있도록 도와준다. 지금은, 논문에서는 de-duplication을 기반으로 하는 n-gram overlap을 새로운 NLP 데이터셋에 대해 훈련과 테스트 스플릿을 하는 중에 중요한 입증 단계와 분별 체크로 사용하는 것을 추천한다.

WebText의 성능이 memorization에 기인하는지 여부를 결정하는 또다른 잠재적 방법은 자신의 held-out set에서 성능을 검사하는 것이다. 그림 2에 나와있는 것처럼, WebText의 훈련셋과 테스트셋의 성능을 비슷하고, model의 크기가 커짐에 따라 둘의 성능이 함께 향상되고 있다. 이것은 GPT-2가 WebText에 대해 많은 의미로 underfitting 되어 있다는 것을 제안한다.

 

그림 2. 모델 크기에 따른 WebText에 대한 LM의 성능

 

 

 

참고문헌

https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf