BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 논문 리뷰

The overview of this paper

 논문에서는 seq2seq 모델을 pre-training하기 위한 denoising autoencoder인 BART를 소개하였다. BART는 text를 임의의 noising 함수로 손상시키고, model을 학습시켜 기존의 text를 복원하는 방식으로 학습되었다. BART는 Transformer 기반의 NMT architecture을 사용하였다. 이 architecture은 간단함에도 불구하고, BERT와 GPT외에 다른 pre-training scheme을 정규화할 수 있다. 논문에서는 원본 문장의 순서를 임의로 섞고 텍스트 범위가 단일 마스크 토큰으로 대체되는 새로운 in-filling scheme을 사용하여 최상의 성능을 찾는 여러 noising 방식을 평가하였다. BART는 text generation에 대해 fine-tune될 때 특히 효과적이었으나, 다른 comprehension task에 대해서도 좋은 성능을 보여줬다.

 

 

Table of Contents

1. Intriduction

2. Model

   2-1. Architecture

   2-2. Pre-training BART

3. Fine-tuning BART

4. Comparing Pre-training Objectives

   4-1. Comparison objectives

   4-2. Results

5. Analysis

 

 

1. Introduction

 self-supervised method는 다양한 NLP task에서 눈여겨 볼만한 성공을 달성하였다. 가장 성공한 방식 중 하나는 MLM인데, 랜덤하게 단어들이 mask out되어 있을 때, text를 다시 재건하도록 학습된 denoising autoencoder이다. 최근의 연구들은 masked token의 분포를 향상시키면서 성능 향상을 보여주었다. 마스킹된 토큰이 예측되는 순서 및 마스킹된 토큰을 대체할 수 있는 context로 말이다. 하지만, 이러한 method는 보통 특정 유형의 end task에 집중하는데, 이는 이들의 응용 능략을 제한한다.

 

 논문에서는, BART를 소개하였다. BART는 model을 Bidirectional과 Auto-Regressive Transformer을 합쳐서 pre-train 하였다. BART는 denoising autoencoder로 다양한 범위의 end task에 응용될 수 있는 seq2seq model과 함께 만들어졌다. Pre-training은 다음의 두 단계로 진행된다.

 

1. text는 임의의 noising function에 의해 손상됌
2. seq2seq model이 기존의 text를 복원함으로써 학습

 

 BART는 기존의 Transformer 기반의 NMT architecture을 사용하였다.이는 간단하지만, BERT, GPT 외에도 현재의 여러 pre-training scheme을 정규화할 수 있다. 다음의 그림 1을 보라.

 

그림 1. BART, BERT, GPT의 schematic 비교

 

 이러한 셋업의 중요 장점 중 하나는 flexibility에 noise를 주는 것이다. 길이 변경을 포함하여 원본 text에 임의적 변형을 적용할 수 있다. 최고의 성능을 찾기 위해 여러 개의 noising 방식들에 대해 평가를 하였다. 기존 문장의 순서를 랜덤하게 셔플하고 새로운 in-filling scheme을 사용하고 여기서 임의의 길기의 text는 하나의 mask token으로 대체되었다. 이러한 방식은 기존 BERT의 word masking과 NSP를 model이 전반적인 문장 길이에 대해 추론하고 input에 대해 더욱 긴 범위의 변형을 하도록 강요하여 정규화하였다.

 

 BART는 또한 fine-tuning에 대해 새로운 방법을 제안하였다. 논문에서는 machine translation을 위한 새로운 scheme을 제안하였는데, 여기서 BART 모델은 몇 개의 추가적인 transformer layer위에 쌓여진다. 이러한 layer는 본질적으로 BART에 대한 순전파로 BART를 pre-trained target-side LM처럼 사용하여, 외국어를 noised 영어로 번역하기 위해 학습되었다.

 

 

2. Model

 BART는 denoising autoencoder로 손상된 문서를 기존의 문서로 매핑한다. BART는 손상된 text에 대한 bidirectional encoder와 L2R autoregressive decoder과 함께 seq2seq model처럼 응용될 수 있다. pre-training을 위해, 논문에서는 기존의 문서에 대한 negative log likelihood를 최적화하였다. 

 

2-1. Architecture

 

 BART는 표준의 seq2seq Transformer architecture을 사용하였지만, 예외적으로 GPT를 따라서 ReLU 활성화 함수를 GeLU 함수로 바꾸었고, 파라미터를 $N(0, 0.02)$로 초기화하였다. 논문의 base model은 6개의 encoder와 decoder layer을 사용하였고, large model은 12개의 encoder와 decoder layer을 사용하였다. BART는 BERT와 매우 유사하나 다음과 같은 차이점을 가진다.

 

• decoder의 각 레이어는 encoder의 final hidden layer에 cross-attention을 수행함
• BART는 추가적인 feed-forward network를 사용하지 않았음. 대신 이는 10% 정도의 파라미터를 증가시켰다.

 

2-2. Pre-training BART

 

 BART는 손상된 문서와 복원 손실을 최적화함으로써 학습된다. 복원 손실은 decoder의 출력과 기존 문서 간의 차이의 cross-entropy 값이다. 현존하는 denoising autoencoder들은 특정 noising scheme에 대한 맞춤인 것과 달리, BART는 어떤 유형의 문서 손상에 대해서라도 가능하게 해주었다. 

 

 논문에서는 여러 개의 이전에 제안되고 새로운 변형에 대해 실험을 진행하였지만, 다른 새로운 대안책의 발전에 대한 상당한 잠재력을 보여줬다. 논문에서 사용한 변형은 포스트를 쭈욱 읽어주길 바라고, example은 다음의 그림 2에 나타나 있다.

 

그림 2. input을 noising하는 것에 대한 변형의 예시

 

• Token Masking: random token을 [MASK] 토큰으로 변환
• Token Deletion: 랜덤한 token이 삭제됌. masking과 달리 token을 삭제
• Text Infilling: span에서 token이 얼마나 사라졌는지 예측하도록 모델을 학습시킴
• Sentence Permutation: 문장의 순서를 랜덤하게 섞기
• Document Rotation: 랜덤하게 선택된 토큰이 맨 앞에 오도록 회전을 시킴. 모델이 문서의 시작 부분을 알아내도록 학습시킴

 

3. Fine-tuning BART

 BART에 의해 생성된 representation은 downstream 응용에 여러가지 방법으로 사용될 수 있다.

 

1. Sequence Classification Tasks: 똑같은 input이 encdoer와 decoder로 들어가고, final decoder 토큰의 final hidden state가 multi-class 선형 분류기에 들어간다. 이는 BERT의 CLS와 유사하다.
2. Token Classification Tasks: 완성된 문서가 encoder와 decoder가 들어가고, decoder의 맨 위 hidden state를 각 단어에 대한 representation처럼 사용한다.
3. Sequence Generation Tasks: BART는 autoregressive decoder을 가지고 있기 때문에, 바로 generation task에 fine-tune될 수 있다. encoder로 input sequence가 들어가면, decoder는 output을 자동회귀적으로 생성한다.
4. Machine Translation: pre-trained encoder을 사용하면 성능을 향상시킬 수 있지만, decoder의 pre-trained LM을 사용하는 것은 제한적이었다. 논문에서는 BART model을 machine translation을 위한 하나의 pre-trained decoder처럼 사용하여 이것이 가능함을 보여줬다. 여기에 bitext에서 학습한 새로운 encoder parameter set를 추가함으로써 가능하였다.

 Machine Translation에 대해 좀 더 자세히 말하면, 논문에서는 BART의 encoder embedding layer을 새롭게 랜덤하게 초기화된 encoder로 대체하였다. 새로운 encoder는 기존의 BART model로부터 나온 분리된 vocabulary를 사용할 수 있다.

 

 논문에서는 source encoder를 두 개의 스텝으로 학습하였다. BART의 output에서 부터 CE loss 역전파를 활용하였다.

 

1. 랜덤하게 초기화된 source encoder, BART positional embedding, self-attention input projection을 업데이트. 
2. 모든 모델에 대해 적은 수의 반복

그림 3. 분류와 번역을 위한 BART fine-tuning

 

 

4. Comparing Pre-training Objectives

BART는 이전의 연구들보다 pre-training 도중에 더욱 넓은 범위의 noising scheme을 지원한다. 논문에서는 base-size model을 사용해서 option을 비교하였다.

 

4-1. Comparison Objectives

 

 많은 pre-training objective들이 제안되었지만, 이러한 objective들 간의 정당한 비교는 training data, training resources, architectural 차이 때문에 수행되기 어려웠다. 논문에서는 구별과 생성을 위한 최근에 제안된 강력한 pre-training 방식을 재사용하였다. 논문에서는 가능한 한 pre-train 목표와 관련 없는 차이점을 통제하는 것을 목표로 하였다. 하지만, 논문에서는 성능을 향상시키기 위해 learning rate와 layer normalisation의 사용에 미묘한 변화를 주었다. 자세한 세부사항들을 생략하도록 하겠다.

 

 논문에서는 다음과 같이 실험을 진행하였다.

 

1. task를 표준 seq2seq 문제로 여기고, 여기서 encoder에 대한 source input과 target은 decoder output으로 두거나
2. source를 decoder의 target에 접두사처럼 추가하고 시퀀스의 대상 부분에서만 손실되게 하였다

 

4-2. Results

 

 실험에 대한 결과는 다음의 표 1과 같다. 그리고 여러 트렌드는 다음과 같다.

 

표 1. pre-training objective의 비교

 

• task에 따라 pre-training 성능이 다양하게 변화
• Token masking을 어떤 것을 상황에 따라 써야 하는지가 중요
• L2R pre-training이 generation의 성능이 높음
• Bidirectional encoder가 SQuAD의 성능에 대해 중요하였음
• pre-training 목표는 중요한 요소가 아님
• BART가 일관되게 강력한 성능을 보여주었음

 

5. Analysis

 BART는 요약 문제에 대해 상당한 성능 향상을 보여줬다. 자동화된 메트릭을 넘어선 BART의 성능을 이해하기 위해 논문에서는 generation을 분석하였다.

 

 놀랍지 않게도 model의 output는 영어에 대해 유창하고 문법적으로 알맞았다. 하지만, model의 output은 매우 추상적이고, input의 몇몇 구문을 똑같이 카피해왔다. output은 일반적으로 사실적으로는 정확했고, 입력 문서 전체의 지원 증거를 배경 지식과 통합하였다. 예시들을 보면 text로부터 추론을 하긴 하나, source에 의해 support되지는 않는 것처럼 보였다.

 

 이러한 샘플들은 BART pre-training이 자연어 이해와 생성의 강력한 조합을 학습한다는 것을 설명하고 있다.

 

 

 

 

출처

https://arxiv.org/abs/1910.13461

BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension