XLNet: Generalized Autoregressive Pretraining for Language Understanding 논문 리뷰

What improvements have been made in this paper?

XLNet 논문은 이전의 모델인 Transformer-XL을 소개한 연구진들이 후속으로 진행해서 발표한 논문으로, Transformer-XL을 개선시키고, BERT의 MLM으로부터 발생하는 문제들을 해결한 모델인 XLNet을 소개하였다. 이 XLNet의 특징은 다음과 같다. 이 XLNet은 당시에 SOTA였던 Transformer-XL의 아이디어를 통합하여 사전 훈련을 진행하였다. 

1. XLNet은 factorization order의 모든 순열에 대해 예상 가능성을 최대화하여 양방향으로 문맥을 학습할 수 있게 하였다.
2. auto regressive formulation 덕분에 BERT의 제약을 극복할 수 있었다.

위와 같은 특징을 가지고 있는 XLNet은 대부분의 task에서 BERT를 크게 능가하는 성능을 보여줬다.

 

 

Table of Contents

1. Introduction

   1-1. AR language modeling

   1-2. AE language modeling

   1-3. XLNet

2. Propsed Method

   2-1. Background

   2-2. Objective: Premutation Language Modeling

   2-3. Architecture: Two-Stream Self-Attention for Target-Aware Representations

   2-4. Incorporating Ideas from Transformer XL

   2-5. Modeling Multiple Segments

   2-6. Discussions

 

 

 

1. Introduction

비지도적 representation 학습은 NLP 분야에서 매우 성공한 분야였다. 대게, 이 방법론들은 방대한 양의 라벨링이 되어 있지 않은 text corpus에 대해 신경망을 이용하여 사전 훈련되고, 모델과 representation을 finetune 하여 downstream task에 적용하였다. 이 공유된 high-level의 아이디어에 따라 다양한 비지도 사전 교육 목표가 문헌에서 탐색되었다. 그 중에서, autoregressive = AR 모델링과 autoencoding = AE 모델링이 가장 성공한 사전 훈련 방법이다.

 

1-1. AR language modeling

AR language modeling은 autoregressive model을 사용하여 text corpus의 확률 분포를 측정한다. 이를 다시 말하면, previous token이 주어졌을 때, sentence의 확률 분포를 추정한다는 것이다. AR은 확률을 이전 단어들이 나왔을 때 조건부 확률들로 인수분해할 수 있다.  특히, text sequence $\mathbf{x} = (x_{1}, ..., x_{T})$가 주어지면, AR language modeling은 가능도를 전방 곱 $p(x) = \prod_{t=1}^{T}p(x_{t}|\mathbf{x}_{<t})$ 또는 후방 곱 $p(x) = \prod_{t=T}^{1}p(x_{t}|\mathbf{x}_{>t})$으로 분해한다. 신경망과 같은 매개 변수 모델은 각각의 확률 분포를 모델링하도록 학습된다. 그래서 AR model은 오직 전방향 또는 역방향과 같은 단방향으로만 학습되기 때문에, deep한 양방향 문맥에 관해 모델링하는 것은 그리 효과적이지 않다. 이와는 반대로, downstream language understanding tasks는 주로 양방향 문맥 정보를 요구한다. 그래서 AR language modeling과 효과적인 사전 학습 방법 사이에는 gap이 생길 수밖에 없다.

대표적으로 AR language modeling에는 ELMo와 GPT가 존재하는데, 여기서 GPT는 단방향의 정보만 이용한다는 단점이 존재한다. ELMo 같은 경우에는 양방향을 이용하기는 하지만, 각각의 방향으로 독립적으로 학습한 것을 단순히 concatenate하는 것이기 때문에 얕은 이해만 가능하다. 

 

1-2. AE language modeling

위의 AR language modeling과 비교하면, AE 기반의 사전 학습 방법은 명확한 density estimation을 수행하지는 않지만, 손상이 되어 있는 입력 데이터를 기존의 데이터로 재건축하는 것에 초점을 두었다. 이의 대표적인 예가 당시에 SOTA를 차지하고 있던 BERT이다. 입력 시퀀스가 주어지면, 특정 부분의 토큰들은 특별한 심볼인 [MASK]로 대체되고, 모델은 [MASK]로 인해 손상된 데이터를 기존의 데이터로 복구하기 위해 학습된다. 그래서 density estimation은 BERT의 목표가 아니다.

그리고 BERT는 양방향성 문맥을 재구조화에 사용한다. 이것의 즉각적인 장점은, AR language modeling에 존재하는 양방향성의 정보 gap의 문제를 철회한다. 하지만, BERT의 훈련에 사용되는 인공적인 심볼인 [MASK]는 finetuning을 하는 시점에 실제 데이터에서는 존재하지 않아서, 사전 훈련과 finetuning 사이에 불일치가 존재하게 된다. 게다가, 예측된 토큰들은 입력에서 마스킹되어 있기 때문에, BERT는 AR language modeling에서 하는 것처럼 결합 확률을 모델링할 수 없다. 다른 말로 하면, BERT는 마스킹이 되어 있지 않는 토큰이 주어지게 되면, 예측된 토큰이 서로 독립적이라고 가정한다. 이는 자연어에서 고차원의 장거리 종속성이 만연하기 때문에 지나치게 단순화된다.

 

1-3. XLNet

현존하는 language pretraining 방법들의 장점과 단점을 살펴보면서, 이 논문에서는 XLNet을 소개하였다. 이것은 일반화된 AR 방법으로 최고의 AR language modeling과 AE language modeling을 leverage 하면서 이들의 제약은 피하는 방법이다.

• 첫 번째로, 전통적인 AR model처럼, 고정된 전방향 또는 역방향 분해 순서를 사용하기 보다는sequence의 예상된 log 가능도를 분해 순서의 모든 가능한 순열에 관하여 극대화하였다. 순열 operation 덕분에, 각 위치의 문맥은 왼쪽과 오른쪽 모두의 토큰으로 구성될 수 있었다. 예상으로는, 각 위치들은 모든 위치로부터 얻은 문맥적 정보를 이용하기 위해 훈련된다.
• 두 번째로, 일반화된 AR language model인 XLNet은 데이터 손상에 의존하지 않는다. 따라서, XLNet은 BERT가 겪는 pretraining-finetuning 간의 불일치 문제를 겪지 않는다. 그 사이에, AR 방법들은 BERT에서 진행되는 독립적 추정이 제거된, 예측된 토큰들의 결합 확률을 분해하기 위한 product rule을 사용할 수 있는 방법 또한 제공한다.

추가적으로, 새로운 pretraining 방법으로, XLNet은 pretraining을 위한 구조적 디자인을 개선시켰다.

• AR language modeling에서의 최근의 개선점에서 영감을 받아, XLNet은 Transformer-XL의 segment recurrence 메커니즘과 relative positional encoding을 pretraining에 통합하였다. 익것은 긴 text sequence의 task에 대해서 특히 더 향상된 성능을 보여줬다.
• 순수하게 Transformer-XL architecture을 순열 기반의 language modeling에 적용하는 것은 작동하지 않는다. 왜냐하면 분해 순서는 임의적이고, 타겟은 모호하기 때문이다. 이에 대한 해법으로, 논문에서는 모호성을 없애기 위해 Transformer-XL network를 reparameterize 하였다.

실험에서는, 비슷한 실험적 세팅에서 XLNet은 넓은 범위에서 BERT를 능가하는 성능을 보여줬다.

 

 

2. Proposed Method

2-1. Background

이 섹션에서, 논문에서는 전통적인 AR language modeling과 BERT의 language pretraining을 리뷰하고 비교하였다. text sequence $\mathbf{x} = [x_{1}, \cdot \cdot \cdot , x_{T}]$가 주어지면, AR language modeling은 전방향 autoregressive factorization을 통해 가능도를 최대화시키면서 pretraining을 수행한다. 아래의 수식이 이를 나타낸다.

 

$\underset{\Theta }{max} log p_{\Theta}(x_{t}|\mathbf{x}_{<t}) = \sum_{t=1}^{T}log\frac{exp(h_{\Theta}(\mathbf{x}_{1:t-1})^{\top }e(x_{t}))}{\sum_{x^{'}}exp(h_{\Theta}(\mathbf{x}_{1:t-1})^{\top })e(x^{'})^{}}$

수식 1. AR language modeling forward autoregressive factorization

 

위의 수식에서 $h_{\Theta }(\mathbf{x}_{1:t-1})$는 Transformer 또는 RNN과 같은 신경망을 통해 생성된 context representation이고, $e(x)$는 $x$의 임베딩을 가리킨다. BERT와 비교하면, BERT는 denoising AE에 기반하고 있다. 특히, text seqeunce $\mathbf{x}$에 대해, BERT는 처음에 손상된 버전인 $\mathbf{\hat{x}}$을 랜덤한 비율로 생성한다. 여기서 마스킹된 토큰은 $\bar{\mathbf{x}}$이다. 이에 따라 training 방법은 $\mathbf{\hat{x}}$에서 $\bar{\mathbf{x}}$로 재건축된다.

 

수식 2. MASK 토큰 적용 후 BERT의 계산

위 수식에서 $m_{t} = 1$은 $x_{t}$가 마스킹 되었다는 것을 가리키고, $H_{\Theta }$는 길이가 T인 text sequence $\mathbf{x}$를 히든 벡터 $H_{\Theta }(\mathbf{x})=[H_{\Theta }(\mathbf{x})_{1},H_{\Theta }(\mathbf{x})_{2},\cdot \cdot \cdot ,H_{\Theta }(\mathbf{x})_{T}]$에 매핑한 Transformer이다. 두 개의 pretraining 방법의 장점과 단점은 다음과 같은 측면에서 비교가 된다.

• Independence Assumption: 위의 수식 2에서 $\approx$에 의해 강조되는 것처럼, BERT는 모든 MASK 토큰들인 $\bar{\mathbf{x}}$이 따로따로 재건축되었다는 독립정 추정에 기반을 둔 결합 조건부 확률인 $p(\bar{x}|\hat{x})$를 분해한다. 위의 수식 1의 AR language modeling과 비교하면, AR language modeling은 $p_{\Theta }(x)$을 독립성 가정 없이 보편적으로 유지되는 product rule을 사용해서 분해한다. 한 마디로, BERT는 독립성 가정 하에 진행된 것이고, AR language modeling은 독립성 가정 없이 진행하였다.
• Input noise: BERT의 입력은 downstream task에서 전혀 발생하지 않는 [MASK]와 같은 인공적인 심볼이 포함되는데, 이것은 pretrain-finetune 간의 불일치를 발생시킨다.[MASK]를 기존의 토큰들로 대체하는 것도 문제를 해결할 수가 없는데, 왜냐하면 기존의 토큰들은 적은 확률로만 사용되기 때문이다. 만약 그렇지 않으면 수식 2는 최적화 하기에 너무 사소해질 것이다. AR language modeling과 비교하면, AR language modeling은 어떠한 입력의 손상에 의존하지 않기 때문에, 이와 같은 문제를 겪지 않는다.
• Context dependency: AR representation인 $h_{\Theta }(\mathbf{x}_{1:t-1})$은 위치 $t$ 까지의 토큰에 대해서만 조건이 지정되는 반면에, BERT의 representation인 $H_{\Theta }(x)_{t}$는 문맥적 정보에 대해 양쪽에서 접근한다. 그 결과, BERT가 문맥에 대해 양방향으로 더 잘 이해하게 만들어준다.

 

2-2. Objective: Premutation Language Modeling

위에서 비교했던 것에 따르면, AR language modeling과 BERT는 서로 다른 곳에서의 그들만의 유니크한 장점을 가지고 있다. 여기서 자연스럽게 드는 질문은 이 둘의 제약은 제외하고 장점만을 가지고 오는 방법은 없을까이다.

orderless NADE에서 아이디어를 가지고 와서, 이 논문에서는 AR model의 장점을 가질 뿐만 아니라, 모델이 문맥을 양방향으로 이해할 수 있도록 해주는 순열 language modeling을 제안하였다. 특히, 길이가 T인 sequence $\mathbf{x}$에 대해, autoregressive factorization을 위한 $T!$ 개의 서로 다른 유효한 순서가 있다. 직관적으로, 만약 모델의 파라미터들이 모든 분해 차수에서 공유되는 경우, 예상을 해보면, 모델은 양 방향의 모든 위치로부터 정보를 모아서 학습할 수 있을 것이다.

이 아이디어를 공식화해보면, $Z_{T}$는 길이가 T인 인덱스 시퀀스 $[1,2,...,T]$의 모든 가능한 순열 세트가 될 것이다. 그리고 논문에서는 $z_{t}$와 $\mathbf{z}_{<t}$를 사용해서 $t$번째 원소와 순열 $\mathbf{z}\in Z_{T}$의 첫 $t-1$번째 원소를 표시하였다. 그 다음에, 논문에서 제안된 순열 language modeling은 다음과 같이 표현될 수 있다.

 

수식 3. 순열 language modeling의 도식화

본질적으로, text sequence $\mathbf{x}$에 대해, 논문에서는 factorization 순서 $\mathbf{z}$를 한 번에 샘플링하고 가능도 $p_{\Theta }(x)$를 factorization 순서에 따라 분해하였다. 그래서 똑같은 모델의 파라미터 $\Theta$는 훈련 중에 모든 factorization 순서에서 공유되었다. 예상대로, $x_{t}$는 시퀀스에서 가능한 모든 원소 $x_{i} \neq x_{t}$를 보았으므로, 양방향으로 문맥을 이해할 수 있다. 게다가, 이 방법이 AR 구조에 맞는 것처럼, 이것은 자연적으로 독립적 추정을 피하고, pretrain-finetune 불일치를 피한다.

 

Remark on Permutation

제안된 방법은 sequence order가 아닌 factorization order로 순열 배치한다. 다른 말로 하면, 논문에서는 기존의 sequence order를 유지하고, 기존의 시퀀스에 상응하는 positional encoding을 사용하고, factorization order의 순열을 얻게 하기 위한 적절한 Transformer의 attention mask에 의존한다. 논문에서는 이러한 선택이 필수적이라고 주장하는데, 왜냐하면 모델이 fine-tuning 중에 오직 natural order의 text sequence만 만나기 때문이다.

 

2-3. Architecture: Two-Stream Self-Attention for Target-Aware Representations

 

그림 1. a는 content stream attention으로, 기존의 self-attention과 같다. b는 Query stream attention으로, content $x_{z_{t}}$의 정보에 대해 어떠한 접근을 하지 않는다. c는 two-stream attention와 함께 하는 순열 language modeling 훈련의 개요

순열 language modeling에는 원하는 특성이 있지만, 기존의 Transformer의 parameterization을 이용한 순진한 응용은 작동하지 않았다. 문제를 살펴보기 위해, 논문에서는 기존의 Softmax 공식인 $p_{\Theta }(X_{z_{t}}=x|\mathbf{x}_{\mathbf{z}_{<t}})=\frac{exp(e(x)^{\top }h_{\Theta }(\mathbf{x}_{\mathbf{z}_{<t}}))}{\sum_{x'}^{}exp(e(x^{'})^{\top }g_{\Theta }(\mathbf{x}_{\mathbf{z}_{<t}}, z_{t}))}$을 사용해서 next-token 분포인 $p_{\Theta }(X_{z_{t}}|\mathbf{x}_{\mathbf{z}_{<t}})$를 매개 변수화한다고 가정했다. 여기서 $h_{\Theta }(\mathbf{x}_{\mathbf{z}_{<t}})$는 공유된 Transformer network의 적절한 마스킹을 거친 후에 생성된 $\mathbf{x}_{\mathbf{z}_{<t}}$의 hidden representation을 나타낸다. 여기서 representation $h_{\Theta}(\mathbf{x}_{\mathbf{z}_{<t}})$는 예측할 위치 즉, $z_{t}$의 값에 의존하지 않는다. 결과적으로, 유용한 representation을 배울 수 없는 target position에 대해 개의치 않고 똑같은 분포가 예측된다. 이 문제를 피하기 위해, 논문에서는 다음 토큰의 분포를 target position 인식으로 re-parameterize할 것을 제안하였다.

 

수식 4. re-parameterize한 next-token prediction

여기서 $g_{\Theta}(\mathbf{x}_{\mathbf{z}_{<t}}, z_{t})$는 target position $z_{t}$를 추가적인 입력으로 가지는 새로운 유형의 representation을 나타낸다.

 

Two-Stream Self-Attention

target-aware representation의 아이디어는 target 예측에서 모호성을 제거하지만, $g_{\Theta}(\mathbf{x}_{\textbf{z}_{<t}}, z_{t})$를 공식화하는 것은 사소한 문제로 남아있다. 다른 가능한 것들 중에, 논문에서는 target position $z_{t}$에서 '서서' position $z_{t}$에 의존해서 attention을 통해 문맥 $\mathbf{x}_{\mathbf{z}_{<t}}$으로부터 정보를 모으는 방법을 제안하였다. 이 parameterization을 진행하기 위해서 다음의 두 가지 조건이 필요한데, 이 둘은 기존의 Transformer architecture에서는 모순되는 개념이다. 첫 번째, 오직 position $z_{t}$만을 사용해서 토큰 $x_{z_{t}}$을 예측하려면 $g_{\Theta }(\mathbf{x}_{\textbf{z}_{<t}}, z_{t})$는 $x_{z_{t}}$가 아닌 position $z_{t}$만 사용해야 한다. 만약 그렇지 않는다면, 방법이 너무 사소해진다. 두 번째, $j>t$와 함께 다른 토큰 $x_{z_{j}}$을 예측하려면 $g_{\Theta }(\mathbf{x}_{\textbf{z}_{<t}}, z_{t})$는 모든 문맥적 정보를 제공하기 위해 content $x_{z_{t}}$ 또한 인코드해야한다. 이러한 모순을 해결하기 위해서, 논문에서는 한 개의 hidden representation을 사용하기보다는 두 개의 세트의 hidden representation을 사용할 것을 제안하였다.

• content representation인 $h_{\Theta }(\textbf{x}_{\textbf{z}_{\leq t}})$ 또는 축약형인 $h_{z_{t}}$는 Transformer의 hidden state와 비슷한 역할을 한다. 이 representation은 문맥 $x_{z_{t}}$와 자기 자신을 함께 인코드한다.
• query representation $g_{\Theta }(\mathbf{x}_{\textbf{z}_{<t}},z_{t})$ 또는 축약형인 $g_{z_{t}}$는 오직 문맥적 정보 $\textbf{x}_{\textbf{z}_{<t}}$와 position $z_{t}$에 대해서만 접근하고, content $x_{z_{t}}$에 대해서는 접근하지 않는다.

첫 번째 query stream은 훈련 가능한 벡터인 $g_{i}^{(0)}=w$으로 시작되지만, content stream은 해당 단어의 임베딩인 $h_{i}^{(0)}=e(x_{i})$로 정해지게 된다. 각각의 self-attention 계층인 $m=1,...,M$에 대해 representation의 two streams는다음과 같은 공유된 파라미터 세트와 함께 개략적으로 업데이트된다. 이 과정은 그림 1의 a와 b에 설명되어 있다.

 

수식 5. query stream과 content stream

여기서 Q, K, V는 각각 attention에서의 쿼리, 키, 그리고 값을 나타낸다. content representation의 update rule은 기존의 self-attention과 동일해서, finetuning 중에, 논문에서는 간단하게 query stream을 drop하고, 보통의 Transformer-XL에서 하는 것처럼 content stream을 사용하였다. 마침내, 모델은 위의 수식 4를 계산하기 위한, 마지막 layer의 query representation인 $g_{z_{t}}^{(M)}$를 사용할 수 있다.

 

Partial Prediction

순열 language modeling (3)에는 여러가지 이점이 있지만, 순열으로 인해 훨씬 더 어려운 최적화 문제이며, 예비 실험에서 수렴이 느려진다. 최적화의 어려움을 줄이기 위해, 논문에서는 factorization order의 가장 최근의 토큰만을 예측하는 방법을 선택했다. 공식적으로, 논문에서는 $\textbf{z}$를 non-target subsequence인 $\textbf{z}_{\leq c}$와 target subsequence $\textbf{z}_{>c}$로 분리하였다. 여기서 $c$는 자르는 지점이다. 목표는 non-target subsequence에 조절된 target sequence의 로그 유효성을 최대화하는 것이다. 이를 식으로 나타내면 다음과 같다.

 

수식 6. log-likelihood 최대화

여기서 $\textbf{z}_{>c}$는 target에 따라서 선택되는데, 왜냐하면 이것은 주어진 현재의 factorization order $\textbf{z}$의 가장 긴 문맥이기 때문이다. 하이퍼파라미터 $K$는 다음과 같이 사용되는데, 1 /$K$의 토큰들이 예측을 위해 선택된다. 이 K는 $|\textbf{z}| / (|\textbf{z}|-c)$으로 근사된다. 선택되지 않은 토큰들에 대해, 이들의 query representation은 속도와 메모리를 아끼기 위해 계산될 필요가 없다. 

 

2-4. Incorporating Ideas from Transformer-XL

논문에서 제안한 방법은 AR framework에 알맞기 때문에, 논문에서는 SOTA AR language model인 Transformer-XL을 모델의 pretraining framework에 함께 사용하였다. 논문에서는 Transformer-XL의 두 중요한 방법인 relative positional encoding과 segment recurrence mechanism을 통합하였다. 논문에서는 기존의 시퀀스에 기반을 둔 relative positional encoding인 straightforward를 적용하였다. 그리고 이제 논문에서는 recurrence mechanism을 어떻게 제안된 순열 세팅에 통합할 지와 모델이 이전 세그먼트의 hidden state를 재사용할 수 있게 할 지 논의하였다. 논문에서는 일반성을 잃지 않고 긴 시퀀스 $\textbf{s}$에서 가져온 두 개의 세그먼트가 있다고 가정하였다. 각각 $\tilde{\textbf{x}}=\textbf{s}_{1:T}$와 $\textbf{x}_{T+1:2T}$같이 말이다. 그래서 $\tilde{\textbf{z}}$와 $\textbf{z}$는 각각 순열 $[1\cdot \cdot \cdot T]$와 $[T+1 \cdot \cdot \cdot 2T]$가 된다. 그 다음에, 순열 $\tilde{\textbf{z}}$에 기반을 둬서 첫 번째 세그먼트를 진행하고, 각 layer $m$에 대해 얻어진 content representation $\tilde{\mathbf{h}}^{(m)}$을 캐시해둔다. 그 다음에, 다음 세그먼트 $\textbf{x}$를 위해, attention은 메모리와 함께 업데이트 되는데 이를 다음과 같이 쓸 수 있다.

 

수식 7. attention update

여기서 $[.,.]$은 시퀀스 차원을 따라 연결하는 것을 의미한다. positional encdoing은 오직 기존 시퀀스의 실제 position에만 의존한다. 따라서, 위의 attention update는 representation $\tilde{\textbf{h}}^{(m)}$가 얻어지면 $\tilde{\textbf{z}}$와 무관하다. 이것은 이전 세그먼트의 factorization order을 모르고도 메모리를 캐시하고 재사용할 수 있게 해준다. 기대로는, 모델이 최근의 세그먼트의 전반적인 factorization order의 memory를 사용하기 위해 학습할 것이다. query stream도 똑같은 방법으로 계산될 수 있다. 마침내, 그림 1의 c는 제안된 two-stream attention과 함께 하는 순열 language modeling의 개요를 보여준다.

 

2-5. Modeling Multiple Segments

다양한 downstream task는 다중의 입력 세그먼트를 가진다. 예를 들어서 question answering에서 question과 context paragraph 두 개의 입력이 주어지듯이 말이다. 그래서 논문에서는 autoregressive framework에서 여러 세그먼트를 모델링하기 위해 XLNet을 사전 훈련하는 방법에 대해 논의하였다. pretraining 시기에 BERT와 같이 랜덤하게 두 개의 세그먼트를 샘플링하고, 두 세그먼트를 하나의 시퀀스로 합친 뒤에 다룸으로써 순열 language modeling을 진행하였다. 모델은 오직 같은 문맥에 속해 있는 메모리만을 재사용한다. 특히, XLNet의 입력은 BERT와 같이 [CLS, A, SEP, B, SEP]으로 이루어져 있다. 여기서 "SEP"와 "CLS"는 두 개의 특별한 심볼이고, "A"와 "B"는 두 개의 세그먼트이다. XLNet 또한 two-segment 데이터 형식을 이용했지만, XLNet-Large는 ablation study에서 일관된 개선을 보여주지 않기 때문에 next sentence prediction을 사용하지 않았다.

 

Relative Segment Encodings

구조학적으로 BERT와 다른 점은 BERT는 absolute segment embedding을 word embedding의 각 position에 추가하는데, XLNet은 Transformer-XL의 세그먼트를 인코딩하기 위한 relative encoding 아이디어를 확장시켰다. 시퀀스의 position $i$와 $j$ 쌍이 주어졌을 때, 만약 $i$와 $j$가 동일한 세그먼트에서 나왔다면, 세그먼트 인코딩 $\textbf{s}_{ij} = \textbf{s}_{+}$ 또는 $\textbf{s}_{ij} = \textbf{s}_{-}$을 사용하였다. 여기서 $\textbf{s}_{+}$와 $\textbf{s}_{-}$는 각 attention head에 대한 학습 가능한 모델 파라미터이다. 다른 말로 하면, 이 모델은 오직 두 position이 동일한 세그먼트 이내에 존재하는지 여부만 고려한다. 특정 세그먼트의 위치는 고려하지 않는다. 이것은 relative positional encoding의 핵심 아이디어와 일치하는데 즉, 위치 간의 관계만 모델링한다. $i$가 $j$를 참조할 때, 세그먼트 인코딩 $\textbf{s}_{ij}$는 attention 가중치 $a_{ij}=(\textbf{q}_{i}+\textbf{b})^{\top}\textbf{s}_{ij}$를 계산하는데 사용된다. 여기서 $\textbf{q}_{i}$는 기존의 attention 연산에서처럼 query 벡터이고, $\textbf{b}$는 학습 가능한 head-specific한 bias 벡터이다. 마침내, 값 $a_{ij}$는 보통의 attention 가중치에 더해진다. relative segment encoding을 사용하는 데에는 두 가지 장점이 존재한다. 첫 번째는, relative encoding의 inductive bias가 일반화를 향상시킨다는 점이다. 두 번째는, absolute segment encoding을 사용해서는 불가능한 두 개 이상의 입력 세그먼트를 가지는 task에 대해 finetuning을 할 수 있는 기회를 열어준다. 

 

2-6. Discussion

앞서 설명한 수식 2와 수식 5를 비교해보면, BERT와 XLNet 모두는 partial prediction을 수행한다 즉, 시퀀스에서 token의 subset만을 예측한다. 이것은 BERT에게는 필수적인 선택인데, 왜냐하면 만약 모든 토큰들이 마스킹되면, 어떠한 의미있는 예측을 할 수가 없기 때문이다. 추가적으로, BERT와 XLNet 모두에게서 partial prediction은 충분한 문맥과 함께 오직 토큰을 예측함으로써 optimization의 어려움을 줄여주는 역할을 한다. 하지만, 2-1에서 논의된 독립적 추정은 target 간의 종속성을 모델링하기 위해 종속성을 비활성화 한다. 

차이점을 더 잘 이해하기 위해, 뚜렷한 예시인 [New, York, is, a , city]를 들어보자. BERT와 XLNet 모두 두 개의 토큰 [New, York]를 예측 타켓으로 선택하고, $log$ $p$(New York | is a city)를 최대화한다고 가정해보자. 또한 XLNet이 factorization order [is, a , city, New, York]를 샘플링했다고 가정해보자. 이 경우에는, BERT와 XLNet 각각이 다음과 같이 감소한다.

 

수식 8. BERT와 XLNet 감소 수식

XLNet은 (New, York)의 쌍 사이에서 의존성을 알아낼 수 있다. 이러한 점이 BERT에서는 생략되어 있다. 비록 이 예시에서 BERT는 어떠한 의존 쌍 (New, city)과 (York, city)를 배우긴 하지만, XLNet은 동일한 target이 주어지면 항상 더 많은 종속성 쌍을 학습하고 "denser"한 효과적인 훈련 신호를 포함한다는 것은 분명하다.

 

 

 

참고문헌

https://arxiv.org/abs/1906.08237

XLNet: Generalized Autoregressive Pretraining for Language Understanding

https://www.youtube.com/watch?v=iIk1_QfBwTw 

https://www.youtube.com/watch?v=koj9BKiu1rU