Pre-trained Language Modeling paper reading(2) - BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Pre-trained Language Modeling paper reading

요즘 NLP 분야에서 뜨거운 감자인 pre-trained Language Modeling에 관한 유명한 논문들을 읽고 리뷰를 하였다. 이 Pre-trained Language Modeling paper reading은 이 포스트만으로 끝나는 것이 아니라 연속된 포스트를 작성할 생각이다. 이번 포스트는 저번 포스트의 ELMo에 이어서 BERT에 대해서 리뷰하였다.

1. ELMo: 'Deep contextualized word representations' reading & review
2. BERT: 'Pre-training of Deep Bidirectional Transformers for Language Understanding' reading & review(this post)
3. GPT-1: 'Improving Language Understanding by Generative Pre-Training' reading & review

BERT는 Transformer의 encoder를 사용하기 때문에, 이 논문을 읽기 전에 Transformer를 설명한 논문인 'Attention is All You Need'를 먼저 읽어보길 바란다. 그래서 오늘은 BERT 논문에 대해서 읽고 리뷰를 해볼 것이다. BERT 논문은 여기에서 확인할 수 있다.

 

$($2023.03.09 추가$)$

 BERT에 대한 코드 구현 실습도 추가적으로 하였다. 코드 구현 실습과 포스트를 같이 보면 이해에 더 도움이 되기 때문에 같이 보면서 공부할 것을 추천한다.

BERT coding: https://github.com/gauss5930/Deep-Learning-Paper/blob/main/Natural%20Language%20Processing/BERT/BERT_%EA%B5%AC%ED%98%84_%EB%B3%B5%EC%8A%B5.ipynb

 

 

Table of Contents

1. Introduction

2. BERT

   2-1. Pre-training BERT

   2-2. Fine-tuning BERT

 

 

1. Introduction

이 논문에서는 새로운 Language Model인 BERT(Bidirectional Encoder Representation from Transformers)를 소개한다. BERT는 이전의 LM들과는 다르게 unlabeled text에 대해서 bidirectional 즉, 문장에 대해 전방향과 역방향으로 해석을 하였다. BERT는 매우 간단한 모델이지만, 그 성능은 가히 강력하다고 할 수 있다.

 

pre-trained language modeling

지금까지 pre-trained langauge representations를 downstream task 적용하는 방법에는 크게 두 가지가 있었다. 하나는 feature-based이고 다른 하나는 fine-tuning이다. 

• feature-based approach: ELMo가 이 방식을 사용한다. 이 방식의 특징은 추가적인 feature들로 pre-trained 된 representation을 포함하는 task-specific 한 architecture을 사용한다는 것이다.
• fine-tuning approach: GPT가 이 방식을 사용한다. 이 방식은 최소한의 task-specific 한 parameters을 소개하고, 모든 pre-trained parameters에 대해 간단하게 fine-tuning을 하면서 downstream task위에서 학습된다.

current techniques' weakness

저자들은 이 techinuqe들이 pre-trained representation의 power을 특히 fine-tuning적 관점에 대해서 제한한다고 주장한다. 주된 단점은 현재의 LM들이 대부분 unidirectional(단방향)적이라는 것이다. 그리고 이것은 pre-training 중에 사용할 수 있는 architecture의 선택을 제한하게 된다. 예를 들어 GPT는 left-to-right 방식을 사용하는데, 이는 sentence-level의 task에 대해서 그리 좋지 않은 방식이고, 이것을 fine-tuning based approach를 QA 같은 token-level-task에 적용시킬 때 매우 해로울 수 있다. 

 

Solution: BERT

위의 문제점들을 해결하기 위한 solution으로 BERT를 소개한다. BERT는 이전의 unidirection적 제약을 'masked language model' (MLM)을 이용하여 해결하였다. MLM에 대해 간략히 설명하면, input으로 들어오는 문장의 token에 대해 random으로 mask를 씌우고, 이 mask 된 단어가 원래 어떤 단어였는지를 오로지 문맥 해석으로만 예측하는 것이다. left-to-right모델과 다르게 MLM은 왼쪽으로 향하는 문맥과 오른쪽으로 향하는 문맥을 융합시킬 수 있었다. 그리고 추가적으로 'next sentence prediction' 또한 사용하여 text-pair representaion도 공동으로 pre-train 시킬 수 있었다.

 

Contribution of this paper

• 논문에서는 language representation을 위한 bidirectional pre-training의 중요성을 설명했다. BERT는 MLM을 사용하여 pre-trained deep bidirectional representation을 가능하게 하였다. 
• pre-trained representation이 task-specific 하게 작동할 수 있도록 할 때, 무겁게 변환되게 하지 않는다. BERT는 fine-tuning approach로서 처음으로 광범위하게 SOTA를 받은 모델이다.

 

2. BERT

BERT는 크게 pre-training과 fine-tuning과정으로 나뉜다. pre-training 과정에서 모델은 다양한 pre-training task에 대해 unlabeled data에 대해 훈련된다. 다음으로, fine-tuning을 위해 BERT는 먼저 pre-trained parameters로 초기화되고 모든 매개변수는 downstream task의 labeled data를 사용하여 fine-tuning 된다. 각 downstream task에는 pre-trained 된 동일한 parameter로 초기화된 경우에도 별도의 fine-tuning 된 모델이 있다.

BERT의 특징은 다양한 task에 대해서 모두 통일된 architecture라는 점이다. pre-trained architecture과 final dowanstream task에 대해서 조금의 차이가 있을 뿐이지 큰 차이는 없다.

 

Model Architecture

BERT의 architecture는 original Transformer에 베이스를 둔 multi-layer bidirectional Transformer encoder이다. 이와 같은 architecture을 사용한 이유는 Transformer을 사용하는 것이 일반적이게 되었고, 거의 original과 동일한 구조이기 때문이다. 다음은 논문에서 사용된 변수들이다.

• L: layer 개수  /  H: hidden size  /  A: Self-attention head 개수
• BERT_BASE (L = 12, H = 768, A = 12, Total Params 수 = 1.1억)
• BERT_LARGE (L = 24, H = 1024, A = 16, Total Params 수 = 3.4억)

 

Input/Output Representations

BERT를 다양한 down-stream task에 적용시키기 위해 BERT의 input representation은 하나의 문장과 pair 문장(ex. {Question, Answer})에 대해 하나의 token으로 바꿀 수 있게 하였다. 이 과정을 거치고 나면 '문장'은 실질적인 linguistic sentence라기보다는 연속적인 텍스트의 임시적인 span으로 변하게 된다. '시퀀스'는 BERT의 input token인데, 이 시퀀스는 하나의 sentence 거나 두 개의 sentence가 함께 합쳐진 모양을 갖추고 있다. 이 시퀀스의 sentence는 우리가 아는 일반적인 sentence가 아니라 앞서 정의한 것처럼 BERT의 sentence이다. BERT는 30,000개의 token vocabulary가 들어 있는 WordPiece embedding을 사용하였다. 시퀀스의 첫 번째 token은 항상 특별한 classification token인 ([CLS])이다. 이 token에 해당하는 최종 hidden state는 classification task에 대한 집계 시퀀스 표현으로 사용됩니다. sentence pairs는 하나의 시퀀스로 합쳐진다. 논문에서는 이 sentence들을 2가지로 분류하였는데, 첫 번째는 special token인 ([SEP])이다. 두 번째는 모든 token들에 대해 학습된 embedding을 추가하여 이 token이 sentence A 또는 sentence B에 속하는지 구분해준다. 다음의 그림 1을 살펴보면 input embedding은 E로, 스페셜 [CLS] token의 마지막 히든 벡터는 C로, i번째 input token을 위한 마지막 히든 벡터를 T_i로 두었다. 

 

그림 1. BERT의 pre-training과 fine-tuning procedure

그림 2. BERT의 input representation

주어진 토큰에 대해 해당 토큰, segment 및 position embedding을 합산하여 input representation을 구성한다. 이 구조에 대한 시각화는 그림 2에 나타나 있다. 여기서 각각의 embedding들에 대한 설명을 다음과 같다.

• Token Embeddings: 각각의 token의 embedding 값
• Segment Embeddings: 시퀀스가 2개가 들어갔을 때 어디까지가 첫 번째 시퀀스이고, 어디까지가 두 번째 시퀀스인지 분리해주기 위해 필요한 embedding
• Position Embeddings: 각각의 token의 position 값

 

2-1. Pre-training BERT

이 논문에서는 지금까지의 전통적인 left-to-right 모델이나 right-to-left 모델을 사용하지 않고 BERT를 pre-train 하였다. 이 논문에서는 앞서 언급한 두 가지의 unsupervised tasks로 pre-train을 진행하였다. 이것에 대한 전반적인 내용은 그림 1에서 설명되고 있다.

 

Task #1: Masked LM

직관적으로 deep bidirectional model이 단방향인 다른 모델, 예를 들어 left-to-right나 right-to-left보다 더 나은 성능을 보여줄 것이라 생각할 수 있다. 왜냐하면 양방향성을 가지게 되면 각각의 단어들은 자기 자신을 간접적으로 볼 수 있게 하고, 모델은 target word를 multu-layered context 내에서 예측할 수 있다.

deep bidirectional representation을 학습시키기 위해 논문에서는 input token에 대해 random 하게 어느 정도의 percentage를 가지고 mask를 씌운 다음에 이 mask가 씌워진 단어를 예측하는 과정을 통해 학습하게 하였다. 이 과정을 논문에서는 'masked LM' (MLM)이라고 부른다. 논문에서는 random으로 각 시퀀스의 모든 WordPiece 토큰의 15%를 masking 한다. 이전의 연구와는 달리 전체 입력을 재구성하지 않고 마스킹된 단어만 예측한다.

이를 통해 bidirectional pre-trained 모델을 얻을 수 있지만 fine-tuning 중에는 [MASK] 토큰이 나타나지 않기 때문에 pre-training과 fine-tuning 간에 불일치가 발생한다는 단점이 있습니다. 이를 완화하기 위해 'masekd' 단어를 실제 [MASK] 토큰으로 항상 교체하지는 않고, i번째 token이 선택되었을 때, 논문에서는 다음의 3가지 경우로 token을 변경하였다. 이 수치들은 변수를 여러 번 조정해보면서 얻게 된 가장 준수한 성능을 뽑아낸 수치들이다. 훈련 데이터 생성기는 예측을 위해 무작위 하게 15%의 token position을 선택한다. 그런 다음에 original token을 cross entropy loss를 이용해 예측하는 데에 T_i가 쓰이게 된다.

1. 80%는 [MASK] token으로 변환
2. 10%는 random token으로 변환
3. 10%는 i번째 토큰을 그대로 둠

Task #2: Next Sentence Prediction(NSP)

문장 간의 관계를 알아야 해결할 수 있는 task들도 존재하기 때문에, BERT는 NSP를 사용하여 문장 간의 관계를 파악할 수 있었다. 문장 관계를 이해하는 모델을 학습하기 위해 단일 언어 코퍼스에서 간단하게 생성할 수 있는 이진화된 next sentence prediction 작업을 사전 학습합니다. 특히, 각 pre-train 예제에 대해 문장 A와 B를 선택할 때 50% 정도는 B가 A 다음에 오는 실제 next sentence이고(IsNext로 레이블 지정), 그 외의 50% 정도는 corpus에서 뽑아온 임의의 문장이다 NotNext로 레이블 지정). 위의 그림 1에서 처럼 C는 NSP를 위해 사용된다. 매운 간단함에도 불구하고 이 pre-training은 매우 효과적이었다.

• Pre-training data
  • pre-training procedure는 대게 기존에 존재하는 language modeling pre-training을 위한 문학들을 사용하였다. pre-training corpus는 BooksCorpus와 English Wikipedia를 사용하였다. 

 

2-2. Fine-tuning BERT

fine-truning은 매우 직관적인데 왜냐하면 Transformer의 self-attention mechanism이 적절한 input과 output을 교체해주면서 BERT가 다양한 downstream task에 알맞게 학습시켜준다. BERT는 self-attention과 연결된 text-pairs을 encoding 하는 것이 두 문장 사이의 bidirectional cross attention을 효과적으로 포함하기 때문에 이 이전의 연구들에서 사용된 두 단계를 통합하기 위해 self-attention 메커니즘을 사용한다.

각각의 task에 대해, 논문에서는 task-specific 한 input과 output을 BERT에 연결하고 모든 parameters을 종단 간에 fine-tuning만 하였다. input에서는 pre-training을 통해 나온 sentence A와 sentence B가 다음 것들과 유사하다. 

• paraphrasing의 sentence pairs  /  entailment의 가설-전제 쌍  /  question answering의 질문-문장 쌍
• text classification 또는 sequence tagging에서 degenerate 된 text-∅ 쌍

output에서는 token representation들이 sequence tagging 또는 question answering 같은 token level task의 output layer에 넣어졌고, [CLS] representation이 classification의 output layer에 넣어졌다. 다음의 그림 3은 논문에서 소개한 각각의 task들에 대한 BERT의 fine-tuning 과정이다.

 

그림 3. 각각의 task에 대한 BERT의 fine-tuning 설명

위 그림 3에 대해서 설명하면 다음과 같다.

• (a) Sentence Pair Classification Tasks: sentence pair을 입력으로 받아서 이게 특정한 class에 속하는지 아닌지를 파악
• (b) Single Sentence Classification Tasks: 하나의 single sentence가 주어졌을 때, 이 sentence가 어디에 속하는지를 class 분류
• (c) Question Answering Tasks: Question과 Paragraph가 입력으로 주어졌을 때, Paragraph의 token들을 해석해보면서 질문에 대한 답을 도출
• (d) Single Sentence Tagging Tasks: 문장의 각각의 토큰에 대해 이 토큰이 어떤 형태소인지와 같은 분석을 진행할 때는 각각의 토큰에 대해서 결과를 출력

 

 

출처

https://arxiv.org/pdf/1810.04805.pdf

https://www.youtube.com/watch?v=IwtexRHoWG0