Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 논문 리뷰

What is the purpose of this paper?

Transformer는 longer-term dependency를 학습할 수 있는 능력이 있지만, 고정된 길이의 문맥( fixed-length context)로 인해 제한받게 된다. 따라서 이 논문에서는 새로운 신경망 architecture인 Transformer-XL을 소개한다. 이것은 고정된 문맥(fixed context)의 단점을 해결하되, 시간적인 일관성을 해치지 않는 새로운 architecture이다. 이 Transforemr-XL은 longer-term dependency를 가능하게 했을 뿐만 아니라, context fragmentation 문제를 해결하였다. 이들에 대해서는 본문에서 살펴보도록 하겠다.

 

 

 

Table of Contents

1. Introduction

2. Model

   2-1. Vanilla Transformer Language Models

   2-2. Segment-Level Recurrence with State Reuse

   2-3. Relative Positional Encodings

3. Ablation Study

4. Conclusion

 

 

 

1. Introduction

기존 RNN과 LSTM의 문제점

Language Modeling은 장기의존성(long-term dependency)를 모델링하는 것을 요구하는 중요한 문제이다. 하지만, 신경망 네트워크를 적용해서 순차적인 데이터에 대해 장기 의존성으로 모델링하는 것은 매우 어려웠다. RNN과 LSTM network는 language modeling의 표본이 되었고, 다양한 벤치마크에서 강력한 결과를 보여줬다. 이런 다양한 활용 가능성에도 불구하고, RNN은 경사 사라짐(gradient vanishing)과 폭발 문제가 존재하기 때문에, 최적화를 하기 어려웠다. 그리고 LSTM의 gradient clipping 기술 또한 이 문제점을 해결하기에는 부족했다.

 

context fragmentation

반면에, 멀리 떨어져 있는 단어 짝한테도 직접적인 연결을 짓는 attention 메커니즘은 최적화를 쉽게 만들었고, 장기의존성을 학습할 수 있게 만들었다. 최근에는, character-level로 deep Transformer 네트워크를 학습시켰다. 그럼에도 불구하고, LM 훈련은 아무런 정보의 흐름 없이, 몇백 개의 character의 분리되어 있는 고정된 길이의 segment 위에서 수행되었다. 고정된 길이의 문맥에서의 훈련은 사전에 정의되어 있던 문맥의 길이보다 더 긴 장기 의존성은 해결할 수 없었다. 그리고, 고정된 길이의 segment들은 문장이나 어떠한 문맥적 기준을 생각하지 않고 그저 연속되는 symbol들의 덩어리를 선택해서 생성된다. 그래서, 모델은 첫 몇 개의 symbol들을 예측하기 위해서 필요한 필수적인 문맥적 정보들이 부족해서, 최적화가 잘 되지 않고, 성능이 저하되는 문제를 일으킨다. 이러한 문제점을 context fragmentation이라고 한다.

 

Transformer-XL의 제안

앞서 말했던 고정된 길이의 문맥으로 인한 제약을 해결하기 위해, 이 논문에서는 새로운 architecture인 Transformer-XL을 소개하였다. 여기서 XL는 extra long의 줄임말로 더욱 긴 내용을 파악할 수 있다는 의미이다. 논문은 Transformer-XL의 깊은 self-attention 네트워크의 반복에 대한 개념을 소개하였다. 특히, 새로운 segment에 대해 밑바닥부터 hidden state를 계산하기 보다는, 이전의 segment에서 얻어낸 hidden state를 다시 사용한다. 재사용된 hidden state는 현 segment의 메모리의 역할을 하는데, 이는 segment들 간에 반복되는 연결을 축적하게 된다. 결과적으로, 정보들이 반복되는 연결을 통해 전파되기 때문에, 매우 긴 장기 의존성을 모델링하는 것이 가능해졌다. 반면에, 이전의 segment에서 넘어온 정보들은 context fragmentation 문제 또한 해결할 수 있었다. 게다가, 일시적인 혼란(temporal confusion)을 발생시키지 않고 hidden state를 재사용하기 위해서는 absolute positional encoding보다 relative positional encoding을 사용해야 하는 필요성을 보여줬다. 그래서, 추가적으로 기술적인 contribution으로, 논문에서는 훈련 중에 관찰한 것보다 더 긴 attention 길이를 일반화하는 간단하지만 더욱 강력한 relative positional encoding을 소개하였다. 

 

Main techinical contributions

논문에서의 주된 기술적 contribution은 self-attention 모델에서의 반복적 개념을 도입하고 새로운 positional encoding 체계를 도출하는 것이다. 이 두 개의 기술은 문제 해결을 위한 solution의 완성된 세트이다. 이 둘 중에 하나만으로는 고정된 길이의 context로 인해 생기는 문제를 해결할 수 없다.

 

 

2. Model

corpus $x=(x_{1}, ..., x_{T})$가 주어지면, language modeling의 목표는 공동 확률(joint probability) $P(x)$을 측정하는 것이다. 이 $P(x)$는 자동 회귀적으로 분해해서 $P(x)=\prod_{t}^{}P(x_{t} | x_{<t})$ 으로 표현된다. 인수분해를 통해 문제는 각 조건부 요인을 추정하는 것으로 축소된다. 이 작업에서 논문은 조건부 확률을 구하기 위한 표준적인 방법을 고수한다. 특히, 훈련 가능한 신경망 네트워크는 context &x_{<t}&를 고정된 크기의 hidden state로 인코드 하기 위해 사용된다. 이 값은 logit을 얻기 위해 word embedding과 곱해지게 된다. 그리고 이 logit들은 Softmax 함수를 지나서, 다음 token에 대한 절대적인 확률 분포를 산출하게 된다.

 

2-1. Vanilla Transformer Language Models

Transformer 또는 self-attention을 language modeling에 적용할 때 가장 큰 문제점은 제멋대로의 길이인 context를 고정된 크기의 representation으로 인코드하도록 Transformer를 어떻게 효과적으로 훈련시킬지이다. 무한한 용량의 메모리와 계산 능력이 쥐어진다면, 그리 큰 문제가 되지 않지만, 현실에서는 제한된 자원만이 존재하기 때문에 불가능하다.

하나의 실행 가능하지만, 가공되지 않은 추측은 전체의 corpus를 다룰 수 있는 더욱 짧은 segment로 나누고, 이전 segment로부터 얻은 모든 문맥적 정보를 무시하고, 오로지 각각의 segment로만 훈련시키는 것이다. 이것이 Al-Rfou외 저자들이 작성한 논문에서 적용된 방법이다. 논문에서는 이를 vanilla model로 부르고 그림 1의 a처럼 시각화하였다. 아래의 그림을 ㅏ살펴보면 segment 1에 대해 학습이 끝나면 이전 segment의 길이만큼 이동한 segment 2를 학습한다. 따라서 이 segment의 길이가 문맥을 파악할 수 있는 최대 길이가 되는 것이고, 이는 segment의 길이에 따라 dependency length가 한정되는 것이라고 할 수 있다. 또한, 길이에 맞춰서 chunking이 되기 때문에 마찬가지로 context fragmentation이 발생하게 된다.

 

그림 1. segment 길이가 4인 vanilla model 묘사

이 훈련 패러다임 내에서 전방향 또는 역방향으로 어떠한 정보들이 흘러가지 않는다. 고정된 길이의 문맥을 사용하는 데에는 두 가지 치명적인 문제점이 존재한다.

1. 가능한 최대 종속성 길이는 문자 수준 언어 모델링에서 수백인 세그먼트 길이의 상한 이다. 그래서, self-attention이 RNN에 비해 비교적 기울기 사라짐 현상에 영향을 덜 받지만, vanilla model은 이러한 최적화의 장점을 최대로 활용할 수가 없다.
2. 패딩을 사용하여 문장이나 다른 의미론적 경계를 존중할 수 있지만 실제로는 효율성 향상으로 인해 긴 텍스트를 고정 길이 세그먼트로 간단히 청크 하는 것이 표준 관행이었다. 하지만, 시퀀스를 간단하게 고정된 길이의 segment로 뭉치는 것은 context fragmentation 문제를 불러일으킨다.

평가 과정의 각 단계에서 vanilla model은 훈련에서 사용된 segment와 똑같은 길이의 segment를 사용하지만, 마지막에 하나의 예측만을 내놓게 된다. 그리고 다음 단계에서는, segment가 딱 한 위치만큼 오른쪽으로 넘어가고, 새로운 segment가 밑바닥부터 진행된다. 이는 그림 1의 b에서 보여주고 있다. 이 과정은 각각의 예측들이 훈련 도중에 나타나는 최대 길이의 문맥을 이용할 수 있게 보장하고, 훈련 도중에 만나는 context fragmentation 문제를 완화시킬 수 있게 도와준다. 하지만, 이 평가 과정은 매우 비용이 비싸다는 단점이 있다. 그래서 이 논문에서는 이 논문에서 제안하는 architecture가 평가의 속도를 어떻게 향상했는지를 보여준다.

 

2-2. Segment-Level Recurrence with State Reuse

고정된 길이의 문맥을 사용하는 것의 한계를 해결하기 위해, 논문에서는 Transformer architecture에서의 반복적 메커니즘을 제안하였다. 훈련 중에 이전 segment에 대해 계산된 숨겨진 상태 시퀀스는 고정되고 모델이 다음 새 세그먼트를 처리할 때 확장된 context로 재사용하기 위해 캐시된다. 이는 그림 2의 a에 나타나있다. 다음의 그림을 살펴보면 훈련 시에 이전 segment를 통해 생성된 hidden state sequence를 고정 (no-gradient)하고 cahe해서 단계가 진행됨에 따라 문맥 정보를 확장시킨다. 비록 현재 segment에 대한 기울기가 이전 segment의 hidden state에 영향을 주지는 않지만 과거의 정보를 계속해서 유지함으로써 long-term dependency와 context fragmentation을 해소할 수 있다.

 

그림 2. segment 길이가 4인 Transformer-XL 묘사

corpus의 이어지는 모든 두 segment에 대해 반복적 메커니즘이 적용되면, 이것이 본질적으로 hidden state에서 segment-level의 반복을 생성한다. 결과적으로, 활용되는 효과적인 context는 두 개의 segment를 훨씬 뛰어 넘을 수 있다. 하지만, $\mathbf{h}_{\tau +1}^{n}$와 $\mathbf{h}_{\tau}^{n-1}$ 사이의 반복되는 종속성은 segment당 한 계층 아래로 이동하며, 이는 기존의 RNN-LM의 동일한 계층 반복과 다르다. 결과적으로, 가능한 가장 큰 종속성 길이는 그림 2의 b처럼 음영 영역으로 시각화된 것처럼 레이어 수와 세그먼트 길이, 즉 $O(N \times L)$에 따라 선형적으로 증가한다. 이것은 RNN-LM을 훈련시키기 위해 개발된 기술인 truncated BPTT와 유사하다. 하지만, BPTT와 다르게 마지막 segment의 정보만 활용하는 것이 아니라 cache된 이전 시점들의 hidden state를 이용하고, relative positional encoding 정보도 함께 사용해야 한다.

게다가 여분의 긴 문맥을 달성하고 fragmentation을 해결하는 것 외에도 반복 체계와 함께 제공되는 또 다른 이점은 훨씬 빠른 평가이다. 특히, 평가 중에는 vanilla model에서 하는 것처럼 밑바닥부터 계산되는 것 대신에 이전 segment의 representation을 재사용할 수 있다.

마지막으로, 반복적인 체계는 이전 segment에 국한될 필요는 없다. 이론상으로는, GPU가 허락하는 만큼 많은 양의 이전 segment들을 캐시해둘 수 있고, 현재 segment를 처리할 때, 추가적인 문맥으로 사용할 수 있다. 따라서 모델은 미리 정의된 길이-M의 오래된 hidden state를 여러 세그먼트에 걸쳐 캐시할 수 있고, 이것을 메모리 $\mathbf{m}_{\tau }^{n}\in \mathbb{R}^{M\times d}$ 이라고 부른다. 논문의 실험에서는 $M$을 훈련에서의 segment 길이와 같게 두었고, 훈련 중에 이를 증가시켰다.

 

2-3. Relative Positional Encodings

앞서 말했던 아이디어들이 문제점들을 해결하기에 매우 끌리지만, 거기에는 hidden state를 재사용하는 것에 대해 아직 풀지 못한 기술적 문제점이 있다. 그것은 바로 state를 재사용할 때, 어떻게 위치적 정보를 일관성 있게 유지하냐는 것이다. 이는 각각이 몇 번째 순서에서 나온 정보인지를 어떻게 구분 및 확인 할 수 있는지라는 의문을 던진다. 기본적인 Transformer에서는, 시퀀스 순서에 대한 정보가 위치적 인코딩 세트인 $\mathbf{U}\in \mathbb{R}^{L_{max}\times d}$에 의해 제공된다. i번째 행의 값인 $\mathbf{U}_{i}$는 segment 안의 i번째의 절대 위치를 나타내고, $L_{max}$는 모델링할 수 있는 최대 길이를 규정한다. 여기서 절대 위치라고 표현한 absolute positional encoding은 segment 순서와 무관한 특정 길이 (L)의 segment 내의 순서 정보이다. 그 다음에, 실제 Transformer의 입력값은 positional encoding과 word embedding의 요소별 덧셈이다. 만약 이 positional encoding을 이 논문의 반복적 메커니즘에 적용시키면, hidden state sequence는 다음과 같이 체계적으로 계산된다.

 

$\mathbf{h}_{\tau +1} = f(\mathbf{h}_{\tau }, \mathbf{E}_{\mathbf{s}_{\tau +1}} + \mathbf{U}_{1:L})$

$\mathbf{h}_{\tau } = f(\mathbf{h}_{\tau -1}, \mathbf{E}_{\mathbf{s}_{\tau }} + \mathbf{U}_{1:L})$

 

여기서 $\mathbf{E}_{s_{\tau }}\in \mathbb{R}^{L \times d}$는 $\mathbf{s_{\tau }}$의 word embedding 시퀀스이고, $f$는 변형 함수를 표현한다. $\mathbf{E}_{\mathbf{s}_{\tau }}$와 $\mathbf{E}_{\mathbf{s}_{\tau +1}}$는 모두 같은 positional encoding인 $\mathbf{U}_{1:L}$과 관련되어 있다. 결과적으로, 모델은 어떤 $j = 1, ..., L$에 대해 $x_{\tau , j}$와 $x_{\tau+1 , j}$가 위치적으로 다름을 설명할 수 있는 정보가 없기 때문에, 순전히 성능 손실이 발생하게 된다. 이를 다시 말하면, 기존의 Transformer에 반복적 메커니즘을 적용하면, 서로 다른 segment에 대해서도 같은 postional encoding 정보를 활용하고 있어 segment 별로 positional encoding의 차이가 없게 된다. 

이러한 결함을 해결하기 위한 근본적인 아이디어는 오직 hidden state의 relative positional information을 인코드하는 것이다. 개념적으로, positional encoding은 모델에게 어떻게 정보를 모아야 하는지와 같은 일시적인 단서 또는 '편향'을 준다. 같은 목적으로, 편향을 정적으로 초기의 임베딩에 포함하기 보다는, 각 계층의 attention score에 주입할 수 있다. 더욱 중요한 것은, 이것이 더욱 이해하기 쉽고 일반화하기 쉽게 일시적인 편향을 relative하게 정의시켜 준다. 예를 들어, 쿼리 벡터 $q_{\tau , i}$가 키 벡터 $\mathbf{k}_{\tau ,\leq i}$를 참조할 때, segment의 일시적인 순서를 파악하기 위해 각 키 벡터의 절대적인 position을 알 필요는 없다. 대신에,  $q_{\tau , i}$와 각 키 벡터 $\mathbf{k}_{\tau ,\leq i}$의 relative distance를 알기에는 충분하다. 예를 들어, $i-j$. 실질적으로, relative positional encoding 세트인 $\mathbf{R}\in \mathbb{R}^{L_{max} \times d}$를 만들 수 있다. 여기서 i번째 행의 값인 $\mathbf{R}_{i}$는 두 포지션 사이의 상대적 거리인 i을 의미한다. attention score에 동적으로 상대적 거리를 주입하면, 쿼리 벡터는 $x_{\tau ,j}$와 $x_{\tau +1,j}$의 representation을 서로 다른 거리에서 쉽게 구별할 수 있으므로 state를 재사용하는 메커니즘을 실현 가능하게 만들 수 있다. 한편, 상대 거리에서 재귀적으로 절대 위치를 복구할 수 있으므로 시간 정보를 잃지 않는다.

이전에는 상대적 positional encoding의 아이디어가 machine translation과 음악 생성 분야에서 주로 사용되었다. 그래서 논문에서는 상대 위치 부호화의 새로운 형태에 도달하게 하는 방법을 제안한다. 절대 상대와 일대일로 대응할 뿐만 아니라 경험적으로 훨씬 더 나은 일반화를 즐기는 방법을 말이다.

첫 번째로, 기존의 Transformer에서는 동일한 segment 내에서 쿼리 $q_{i}$와 키 벡터 $k_{j}$ 사이의 attention score는 다음과 같이 분해될 수 있다.

 

수식 1. Transformer 에서의 attention score 계산

위의 식을 해석해보면 word embedding 벡터에 positional encoding을 더한 후 쿼리와 키 벡터를 구하는 것이다. 모두 종합했을 때 다음과 같은 점들이 필요하다고 할 수 있다.

• segment를 구분할 수 있는 position 정보가 필요
• 동일 segment 내에서 $x_{\tau ,i}$와 $x_{\tau ,j}$의 위치 차이인 $x_{\tau ,j}$에 대한 정보도 같이 반영할 수 있어야 한다. 즉, 해당 토큰이 특정 위치에 있다는 정보보다 쿼리와 키가 되는 토큰들이 $i-j$만큼 위치의 차이가 있다 라는 상대적인 위치 정보가 필요하다.

위의 식에서 오로지 상대적 위치 정보에만 의존한다면, 다음과 같이 4개의 값을 재 paramerize 할 수 있다. 이는 기존의 방식처럼 입력에만 positional encoding 정보를 주입하는 것이 아닌 attention score에 주입한다. 

 

수식 2. 상대적 위치 정보에만 의존하는 Transformer attention score 계산

수식 1에서 수식 2로 변형된 점은 다음과 같다.

• 첫 번째 변화는 수식 1의 (b)와 (c)의 키 벡터를 계산하기 위한 절대적 위치 임베딩 $\mathbf{U}_{j}$의 모든 모양을 상대적 모양 $\mathbf{R}_{i-j}$로 대체하는 것이다. 이것은 본질적으로 상대적인 거리만이 어디에 참석해야 하는지에 대한 우선 순위를 반영한다. $\mathbf{R}$은 학습 가능한 파라미터가 없는 사인 곡선의 인코딩 행렬이다.
• 두 번째로, 논문에서는 학습 가능한 파라미터 $u \in \mathbb{R}^{d}$를 소개하면서 위 수식 1의 (c)의 쿼리 $\mathbf{U}_{i}^{\top }\mathbf{W}_{q}^{\top }$를 이 학습 가능한 파라미터로 교체하였다. 이 경우에는, 쿼리 벡터가 모든 쿼리 위치에 대해 동일하므로, 다른 단어에 대한 attentive한 편향은 쿼리 위치에 관계없이 동일하게 유지되어야 함을 보여준다. 이와 비슷한 이유로, 학습 가능한 파라미터인 $v \in \mathbb{R}^{d}$가 수식 1에서 (d)의 $\mathbf{U}_{i}^{\top }\mathbf{W}_{q}^{\top }$ 대신에 추가된다. 
• 마지막으로, 논문에서는 컨텐츠 기반의 키 벡터와 위치 기반의 키 벡터 각각을 생성하기 위해 의도적으로 두 개의 가중치 행렬 $\mathbf{W}_{k, E}$와 $\mathbf{W}_{k, R}$로 분리하였다.

새로운 parameterization에서, 각 값들은 다음과 같은 직관적인 값을 가진다.

• term (a) content-based addressing: positional encoding 없이 구한 쿼리와 키의 산술 결과
• term (b) content dependent positional bias: $Q_{i}$와 키 토큰과의 상대적 거리 정보를 반영, $R$은 기존 Transformer에서 사용한 Sin/Cos을 이용한 positional encoding matrix
• term (c) global content bias: 키 값에 대한 중요도 정보를 반영, 학습 가능한 벡터 $u$를 이용, 모든 위치에서 쿼리 벡터와 동일해야 함
• term (d) global positional bias encode: 쿼리와 키 토큰 간의 상대적 거리에 대한 중요도를 반영, 마찬가지로 $v$ 활용

Shaw 외 저자들과 함께 작성한 논문과 이 논문의 차이점은 Shaw 외 저자들이 쓴 논문의 식에서는 두 편향 값 (c)와 (d) 없이, 오직 (a)와 (b)만을 가지고 있다. 게다가 이 Shaw 외 저자들은 곱셈 $\mathbf{W}_{k}\mathbf{R}$을 훈련 가능한 단일 행렬 $\hat{R}$로 병합하여 원래 정현파 위치 인코딩에 내장된 유도 편향을 버린다. 이와는 반대로, 이 논문의 상대적 위치 임베딩 $\mathbf{R}$는 정현파 함수를 적용시킨다. inductive 편향의 이점으로 특정 길이의 메모리에서 훈련된 모델은 평가 중에 몇 배 더 긴 메모리로 자동 일반화할 수 있다.

이 논문에서 제안한 상대적 위치 임베딩에 반복적 메커니즘을 적용하면, Transformer-XL architecture가 나오게 된다. 완전성을 위해서, 논문에서는 N-layer Transformer-XL을 위한 계산 과정을 하나의 attention head로 요약하였다.

 

수식 3. N-layer Transformer-XL 계산 과정 요약

여기서 $\mathbf{h}_{\tau }^{0} \doteq \mathbf{E}_{s_{\tau }}$는 워드 임베딩 시퀀스로 정의된다. 또한 A를 계산하는 순수한 방법은 비용이 시퀀스 길이의 2차인 모든 쌍(i, j)에 대해 $\textbf{W}_{k, R}^{n}\textbf{R}_{i-j}$을 계산해야 한다는 점을 언급할 가치가 있다. 하지만, $i-j$의 값은 오직 0부터 시퀀스 길이 사이에만 존재한다. 

 

 

3. Ablation Study

Recurrence mechanism과 positional encoding 방법에 따른 차이

Transformer에 대해 recurrence mechanism과 positional encoding을 적용시켜보고 그에 따른 성능을 비교해본 결과, recurrence mechanism과 positional encoding을 적용시킨 모델이 더욱 좋은 성능을 보여준다는 것을 알 수 있었다. 다음이 이 실험을 통해 얻은 결과이다.

• Absolute positional encoding은 Half Loss와 잘 맞음 --> 짧은 attention length로 인해 다른 position들을 제외하기 때문
• 역전파의 길이가 학습 시에는 128이지만, test 시에는 640으로 증가
• recurrence와 relative encoding을 사용하는 것으로 성능 개선 가능

 

Longer context의 파악을 통한 context fragmentation 해소 효과

이 실험은 recurrence가 context fragmentation에 효과적임을 입증하는 실험이다.

• 20 Layer Transformer-XL, 400K 학습
• Positional encoding 방식과 상관없이 recurrence mecahnism을 통해 context fragmentation을 해결할 수 있음을 확인
• relative positional encoding > absolute positional encoding

 

Relative Effective Context Length

 Transformer-XL이 처리 가능한 최적의 context length가 어떻게 되는지 직접적으로 살펴보기 위한 지표가 Effective Context Length이다. 이 Effective Context Length는 줄여서 ECL이란 model 성능의 개선이 특정 기준보다 클 때 가장 긴 context의 길이 이다. 하지만, 상대적으로 짧은 글에 대해서는 정확한 ECL의 측정이 적절하지 않다는 단점이 있다. 그래서 이 논문에서는 새로운 평가지표인 Relative Effective Context Length 즉, RECL을 제시하였다. 

ECL은 단일 모델 하나에 대한 평가지표이지만, 이 RECL은 여러 모델을 동시에 비교하는 지표이다. 이 RECL의 목표는 context length $c$로도 short-term dependency를 잘 파악하지 못해서 loss가 높은 일부 position에 대해서 살펴보겠다는 의미이다.

RECL에 대한 더 자세한 내용은 논문의 Appendix C에서 확인 가능하다. 본 포스트에서는 이 내용은 다루지 않겠다.

 

Generated Text

Wikitext-103 데이터셋으로 훈련된 모델로 샘플 text를 생성하였다. Text Generation의 설정은 다음과 같다.

1. Input: Wikitext-103에서 무작위로 추출된 최대 512개의 연속된 토큰들
2. 사전에 지정된 토큰 수만큼 text를 생성하도록 함
3. Output (1 token): Sample from top-40 tokens with renormalized probability distribution

이를 통해 생성된 실제 생성문은 논문의 Appendix E를 참고하길 바란다. 

 

Evaluation Speed

vanilla Transformer model과 비교했을 때, attention length가 길어질수록 속도 차이가 확연하게 드러났다. 

 

 

4. Conclusion

segment 간 정보 교류의 부재 문제인 context fragmentation을 지적하며 recurrence mechanism과 relative positional encoding 방법을 새로이 적용한 Langauge Model이라고 할 수 있다. 이루에 동일한 저자들이 후속 연구인 XLNet을 발표하였다.

 

 

 

 

참고

https://www.youtube.com/watch?v=Xz1T3VmVzGM 

https://arxiv.org/abs/1901.02860

Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context