Transformer: 'Attention Is All You Need' 논문 리뷰

The importance of this paper

현재 많은 Language model들의 기반이 되어주고 있는 Transformer, 이 Transformer의 발명으로 NLP 분야는 엄청난 발전을 이룩하였다. 대표적으로 BERT와 GPT가 각각 Transformer의 Encoder와 Decoder을 이용하여 제작되었다. 본 블로그의 이전 포스트들에서 다뤘던 Language Model paper review를 읽어보기 전에 이 포스트를 선행으로 읽어보길 바란다. 왜냐하면 이 Transformer에 대해 자세하게 이해를 해야만 이 모델들을 이해할 수 있기 때문이다. 그러면 이번 포스트를 시작해보겠다.

 

$($2023.02.09 추가$)$

Transformer 구현 코드 실습

https://github.com/gauss5930/Natural-Language-Processing/blob/main/Transformer_%EA%B5%AC%ED%98%84_%EB%B3%B5%EC%8A%B5.ipynb

GitHub - gauss5930/Natural-Language-Processing

 

 

Table of Contents

1. Introduction

2. Model Architecture

   2-1. Encoder and Decoder Stacks

   2-2. Attention

   2-3. Position-wise Feed-Forward Networks

   2-4. Embeddings & Softmax

   2-5. Positional Encoding

3. Why Self-Attention?

4. 쉽게 이해하는 Transformer(Alamar 블로그)

 

 

1. Introduction

이 논문이 발표되었을 시점에는 많은 NLP model들이 attention 메커니즘과 인코더와 디코더를 포함하는 반복되는 신경망 또는 합성곱 신경망을 사용하는 경우가 많았다. 하지만, 이 논문에서는 반복적 신경망과 합성곱 신경망을 포함하지 않고 오로지 attention 메커니즘만을 사용한 architecture을 선보였다.

recurrent model은 일반적으로 입력 및 출력 시퀀스의 기호 위치를 따라 계산을 고려한다. 계산 시간의 단계에 위치를 정렬하면 이전 은닉 상태 h_t−1 및 위치 t에 대한 입력의 함수로 은닉 상태 h_t 시퀀스가 생성된다. 이 본질적으로 순차적인 특성은 메모리 제약이 예제 간의 일괄 처리를 제한하기 때문에 더 긴 시퀀스 길이에서 중요해지는 훈련 예제 내 병렬화를 막는다. 최근의 연구들이 이를 개선하기 위해 많은 노력을 했지만, 아직 sequential computation에 대한 제약이 남아있다. 

이를 해결하기 위해 attention 메커니즘을 사용하기 시작했는데, 실제로도 많은 분야에서 입력 시퀀스와 출력 시퀀스 사이의 거리를 생각하지 않고 dependencies를 모델링할 수 있게 도와줬다.

 

 

2. Model Architecture

논문에서 인코더는 기호 표현의 입력 시퀀스(x_1, ... , x_n)을 연속 표현 z = (z_1, ..., z_n)의 시퀀스에 매핑한다. z가 주어지게 되면, 디코더는 한 번에 한 symbol씩 출력 시퀀스인 (y_1, ... , y_m)을 출력한다. 각각의 스텝에 대해 모델은 auto-regressive하고, 이전에 생성된 symbol을 추가적인 입력으로 사용하게 된다.

Transformer는 다음의 그림 1과 같은 구조를 따른다. 전반적인 architecture는 stacked self-attention과 poinst-wise 계층을 사용하고, fully connected 계층이 인코더와 디코더 각각에 사용된다. 다음의 그림 1은 매우 중요한 내용이므로 논문을 보면서 구조가 기억이 안 날 때, 다시 보면서 복습할 수 있기를 바란다.

 

그림 1. Transformer의 구조

2-1. Encoder and Decoder Stacks

Encoder: 인코더는 N = 6의 동일한 계층으로 이루어져 있다. 각각의 계층은 두 개의 sub-계층으로 이루어져 있다. 첫 번째는 multi-head self-attention이고, 두 번째는 position-wise fully connected feed-forward network이다. 논문에서는 residual connection을 각각의 sub-계층에 사용하고 계층 정규화를 진행하였다. 따라서, 각각의 sub-계층의 출력은 LayerNorm(x + Sublayer(x))이고, 여기서 Sublayer(x)은 sub-계층 자신에 대해 사용되는 함수이다. 이러한 residual connection을 유용하게 하기 위해, 모델의 모든 sub-계층 뿐만 아니라 embedding 계층은 출력을 d_model = 512 차원으로 산출하게 된다.

 

Decoder: 디코더 또한 N = 6인 동일한 계층으로 이루어져 있다. 추가적으로 각각의 인코더의 두 sub-계층이 디코더의 세 번째 sub-계층에 들어가게 된다. 이 디코더의 세 번째 sub-계층은 인코더 스택의 출력에 multi-head attention을 수행한다. 인코더와 비슷하게, 디코더에서도 각각의 sub-계층에 residual connection을 사용하고 계층 정규화를 진행하였다. 그리고 논문에서는 각각의 디코더의 sub-계층의 self-attention을 수정하여 position이 다음의 position에 attending하지 못하도록 방지하였다. 출력 임베딩이 한 위치만큼 offset된다는 사실과 결합된 이 마스킹은 위치 i에 대한 예측이 i보다 작은 위치에서 알려진 출력에만 의존할 수 있도록 한다.

 

2-2. Attention

attention 함수는 query(질문) 및 key-value(정답) 쌍 집합을 출력에 매핑하는 것이라고 할 수 있다. 여기서 query, keys, values 및 output은 모두 벡터이다. 출력은 값의 가중치 합계로 계산되며, 여기서 각 값에 할당된 가중치는 query와 해당 key의 호환성 함수에 의해 계산된다.

 

Scaled Dot-Product Attention

논문에서는 Transformer에서 사용된 특정한 attention을 'Scaled Dot-Product Attention' 이라고 부른다. 이 attention은 입력으로 query들과 차원 d_k의 keys, 차원 d_v의 values들로 이루어져 있다. 그 다음에 이 attention은 values에 대한 가중치를 얻기 위해 query와 모든 keys에 대해 내적을 진행하고, 각각을 sqrt(d_k)로 나눈 뒤에, softmax 함수를 적용시켰다.

논문에서는 query의 집합에 대해 행렬 Q로 합쳐서 attention 함수를 동시에 진행하였다. key들과 value들 또한 각각 행렬 K와 행렬 V로 묶었다. 따라서 다음과 같은 행렬에 대한 출력을 얻을 수 있다.

 

수식 1. Scaled Dot-Product Attention 수식

가장 많이 사용되는 attention 기법은 additive attention과 dot-product attention이다. 여기서 Dot-Product attention은 본 논문에서 사용되는 알고리즘과 동일한데, 여기서 scaling factor인 1/sqrt(d_k)가 예외로 적용되었다. 두 기법은 복잡성은 비슷하지만, Dot-Product attention이 더 빠르고, 공간적 여유도가 더 높기 때문에, 고도로 최적화된 행렬 곱셈 코드를 적용시킬 수 있다. 

작은 값인 d_k에 대해 두 개의 attention 기법은 매우 비슷하게 작동하는데, additive attention이 큰 값인 d_k에 대한 스케일링 없이 dot-product attention 보다 더 좋은 성능을 보여줬다. d_k의 큰 값에 대해 dot-product는 크기가 크게 증가하여 softmax 함수를 매우 작은 기울기를 갖는 영역으로 밀어 넣는다. 이 효과를 상쇄하기 위해 내적을 1/sqrt(d_k)로 스케일링을 진행하였다.

 

Multi-Head Attention

d_model 차원의 key와 value, query를 하나의 attention에 적용하기 보다는, d_k, d_k 및 d_v 차원에 대해 학습된 서로 다른 선형 프로젝션을 사용하여 query, key 및 value를 h번 선형 프로젝션하는 것이 더 낫다는 것을 발견했다. 각각의 프로젝트된 query와 key, value에 대해서 attention 함수를 평행하게 적용시켜서 d_v 차원의 출력값을 산출하였다. 이렇게 출력된 값들은 합쳐져서 다시 한 번 프로젝트되고, 최종 값으로 그림 2와 같이 나오게 된다.

 

그림 2. Scaled Dot-Product Attention & Multi-Head Attention

Multi-head attention은 모델에게 서로 다른 위치에 있는 서로 다른 subspace representation의 정보에 공동으로 주의를 기울일 수 있다. 하나의 attention으로는 이러한 특징을 억제하게 된다. 아래의 수식은 Multi-head attention의 작동 과정을 수식으로 나타낸 것이다.

 

수식 2. Multi-Head Attention 수식

프로젝션들은 파라미터 행렬 W^Q_i, W^K_i, W^V_i, W^O 으로 이루어져 있다. 

이 작업에서 논문에서는 h = 8인 평행 attention 계층 또는 헤드를 사용하였다. 각각의 계층에 대해 논문에서는 d_k = d_v = d_model / h = 64을 사용하였다. 각각의 헤드의 차원이 줄어들었기 때문에, 총 계산 비용이 다른 single-head attention에 대해 꽉 찬 차원으로 진행한 것과 비슷하다.

 

Applications of Attention in our Model

Transforemr는 mult-head attention을 다음과 같이 세 가지 방식으로 이용하였다.

• 인코더-디코더 계층에서 query는 이전의 디코더 계층으로부터 오고, memory key와 value는 인코더의 출력으로 부터 오게 된다. 이것은 디코더의 모든 위치에 대해서 입력 시퀀스의 모든 위치를 참조할 수 있게 한다. 이것은 전형적인sequence-to-sequence model에서의 인코더-디코더 attention 메커니즘을 흉내낸다.
• 인코더는 self-attention 계층을 포함한다. self-attention 계층의 모든 key와 value, query는 모두 똑같은 곳에서부터 오게 되는데, 이것이 인코더에서의 이전 계층의 출력이다. 인코더의 각 위치에서는 인코더의 모든 이전 계층의 위치를 차몾할 수 있다.
• 유사하게, 디코더의 self-attention layer는 디코더의 각 위치가 해당 위치까지 디코더의 모든 위치에 주의를 기울일 수 있도록 한다. Transformer는 auto-regressive한 특성을 보존하기 위해 디코더에서의 왼쪽으로의 정보 흐름을 막았다. Transformer는 잘못된 연결에 해당하는 softmax 입력의 모든 값을 마스킹(-∞로 설정)하여 scaled dot-product attention 내부에서 구현한다.

 

2-3. Position-wise Feed-Forward Networks

attention의 sub-계층에 대해, Transformer의 인코더와 디코더의 각각의 계층은 fully connected feed-forward network를 포함한다. 이 fully connected feed-forward network는 각 위치에 대해 따로따로 동일하게 적용된다. 이것은 두 개의 선형 변환 사이에 ReLU 활성화 함수가 껴 있는 모습으로 구성되어 있다.

 

수식 3. Feed-Forward Network

선형 변환은 서로 다른 위치에 대해서도 모두 똑같다. 선형 변환은 계층에 따라 다른 parameter을 사용한다. 이것을 다른 방법으로 표현하면 kernel 사이즈가 1인 두 개의 합성곱과 같이 표현할 수 있다. 입력과 출력의 차원수는 d_model = 512이고, 안쪽의 게층은 d_ff = 2048의 차원수를 가진다. 

 

2-4. Embeddings & Softmax

다른 시퀀스 변환 모델들과 비슷하게, Transformer는 학습된 임베딩을 사용하여 입력 토큰과 출력 토큰을 차원이 d_model인 벡터로 변환하였다. 그리고 대개 사용되는 학습된 선형 변환과 softmax 함수를 사용하여 디코더의 출력으로 다음 토큰의 확률을 예측하였다. Transformer에서는 똑같은 가중치 행렬을 두 개의 임베딩 계층과 pre-softmax 선형 변환에 대해 공유하였다. 임베딩 계층에서 Transformer는 이러한 가중치들을 sqrt(d_model)으로 곱하였다.

 

2-5. Positional Encoding

Transformer는 어떠한 반복적인 점과 합성곱인 점이 없어서, 시퀀스의 순서를 사용하기 위해서는, 시퀀스의 토큰의 위치를 파악할 수 있는 어떠한 정보를 조금 주입해야 한다. 마지막에는, 'positional encoding'을 인코더와 디코더 stack의 가장 바닥에서의 입력 임베딩에 추가하였다. positional encoding을 임베딩과 똑같은 차원인 d_model을 가지고 있기 때문에, 둘은 계산될 수 있다. positional encoding에는 여러가지 방법이 있는데, 학습된 것이랑 고정된 것 두 가지가 있다.

이 논문에서는 다른 주파수의 sine 및 cosine 함수를 사용한다. 

 

수식 4. Positional Encoding

pos는 위치이고, i는 차원이다. 여기서, positional encoding의 각 차원은 정현파에 해당합니다. 여기서 정현파는 좌표평면 위에서 주기적인 모양을 가지는 개곡선을 말한다. 파장은 2π에서 10000 · 2π 까지 기하학적 진행을 형성한다. 논문에서는, 고정된 offset k에 대해 PE_pos+k는 PE_pos의 선형 함수로 표현될 수 있기 때문에 모델이 상대 위치에 의해 참석하는 것을 쉽게 학습할 수 있다고 가정했기 때문에 이 함수를 선택하였다.

 

 

3. Why Self-Attention?

이번 장에서는 다양한 self-attention의 특성들과 recurrent와 convolutional 레이어들을 비교해보았다. 그리고 왜 self-attention을 사용하게 되었는지 다음의 3가지 영역으로 설명하였다.

• 각 레이어에 대한 총 복잡도
• sequential 작업의 최소 수로 측정한 병렬 처리 가능한 계산의 양
• 네트워크 에서의 long-range dependency 간의 경로 길이
• 그리고 사이드적 장점으로 self-attention은 더욱 잘 해석 가능한 모델을 만듦.

 

 

4. 쉽게 이해하는 Transformer

이번 장에서는 지금까지 논문을 토대로 설명한 Transformer에 대해서 Alamar의 블로그를 참고하여 더욱 알기 쉽게 설명해보았다.

 

구조 확인

입력이 예를 들어 프랑스어가 주어졌을 때, 이 Transformer을 거치게 되면 출력으로 프랑스어 문장이 영어로 번역되서 나오게 된다. 이 Transformer의 구조를 살펴보게 되면 크게 인코더와 디코더로 나뉘어져 있는 것을 알 수 있다. 이 인코더와 디코더는 각각 동일한 개수의 인코더와 디코더가 쌓여 있는 모습이다. 다음의 그림 3이 이를 보여준다. 

 

그림 3. Transformer의 내부 구조. 각각의 인코더와 디코더는 동일한 개수의 인코더와 디코더로 이루어져 있음.

인코더는 모두 구조가 동일한테 각 하나의 블록은 Self-Attention과 Feed Forward Neural Network로 이루어져 있다. 인코더의 입력은 처음에 self-attention 계층으로 흘러 들어가게 된다. 이 self-attention 계층은 인코더가 특정 단어를 인코딩할 때 입력 문장의 다른 단어를 볼 수 있도록 도와주는 계층이다. 이 self-attention 계층의 출력은 feed-forward neural network에 들어가게 된다. 그리고 정확하게 다 똑같은 feed-forward neural network가 각각의 포지션에 독립적으로 적용된다. 

디코더도 인코더와 마찬가지로 두 계층을 가지고 있지만, feed forward와 self-attention 중간에 있눈 attention 계층은 디코더가 입력 문장의 관련 부분에 집중하는 데 도움을 준다. 

 

그림 4. 인코더와 디코더의 구조

 

Tensor을 그림으로 가져오기

NLP의 응용을 할 때는 보통, 입력을 임베딩 알고리즘을 이용하여 벡터로 변환하는 작업을 진행한다. 임베딩 기법은 가장 기본적인 인코더에 한해서 작동한다. 모든 인코더에 공통적인 추상화는 크기가 각각 512인 벡터 목록을 수신한다는 것이다. 맨 아래 인코더에서는 임베딩이라는 단어가 되지만 다른 인코더에서는 바로 아래에 있는 인코더의 출력이 됩니다. 한 마디로 중간의 인코더에서는 이전 인코더의 출력을 받아서 사용한다는 의미이다. 이 리스트의 크기는 하이퍼파라미터로 우리가 조정할 수가 있다. 기본적으로 이 값은 훈련 세트의 가장 긴 문장의 길이로 두는 경우가 많다. 입력 시퀀스의 단어를 임베딩 한 이후에, 각각의 것들은 인코더의 두 계층을 지나게 된다. 아래 그림 5가 이 과정을 보여주고 있다.

 

그림 5. 인코더 진행 과정

여기서 Transformer의 중요한 특성을 확인할 수 있다. 이는 각 위치의 단어가 인코더에서 자체 경로를 통해 흐른다는 것이다. self-attention 계층에서 이런 경로 사이에는 종속성이 있다. feed-forward 계층은 이러한 종속성은 없지만, 그래서 다양한 경로가 병렬로 수행된다. 다음에는 짧은 문장에 대한 예시를 살펴보고, 어떤 일이 인코더의 각각의 sub-계층에서 무슨 일이 일어나는지 살펴볼 것이다.

 

Encoding

앞서 말했듯이 인코더는 벡터 리스트를 입력으로 받게 된다. 인코더는 이러한 벡터들을 self-attention 계층을 지나보내고, feed-forward neural network로 흘려보낸 다음, 다음의 인코더로 보내게 된다. 다음이 이 과정을 보여주고 있다.

 

그림 6. 인코더가 인코딩을 하는 과정

 

Self-Attention 개요

이번에는 self-attention에 대해서 알아보겠다. self-attention을 설명하기 위해 다음과 같은 예시 입력 문장이 있다고 가정해보자.

"The animal didn't cross the street because it was too tired"

이 문장에서 'it' 이 지칭하는 것은 무엇일까? street를 지칭하는 것일까? 아니면 animal을 지칭하는 것일까? 이 질문은 사람한테는 매우 쉬운 질문이지만, 알고리즘의 관점에서 설명하기에는 상당히 복잡한 문제이다. 모델이 'it'에 대해 self-attention을 진행하게 되면, self-attention은 'it'을 'animal'과 연관짓게 된다.

모델이 각 단어(입력 시퀀스에서의 각 위치)를 처리할 때 self-attention을 통해 입력 시퀀스의 다른 위치에서 이 단어를 더욱 잘 인코딩하는 데 도움이 되는 단서를 찾을 수 있다. self-attention은 다른 관련 단어의 이해를 모델이 현재 처리 중인 단어로 굽기 이해 Transformer가 사용하는 방법이다.

 

Self-Attention 디테일

이번에는 벡터를 사용해서 self-attention을 어떻게 계산하고, 이것이 어떻게 사용되는지 행렬을 이용해서 알아보았다.

self-attention 계산의 첫 번째 단계는 각 인코더의 입력 벡터에서 세 개의 벡터를 생성하는 것이다. 그래서 각 단어에 대해 query 벡터, key 벡터, value 벡터가 생성된다. 이 벡터들은 훈련 과정에서 임베딩을 세 개의 행렬과 곱하여 생성된다.

이 과정을 통해 새롭게 생성된 벡터들의 차원은 임베딩 벡터보다 더 작아지게 된다. 이들의 차원수는 64이고, 임베딩과 인코더의 입력과 출력 벡터들은 512의 차원수를 가진다. 새롭게 생성된 벡터들이 꼭 작아야 할 필요는 없다. 이것은 multihead-attention의 계산을 일정하게 만들기 위한 architecture 선택일 뿐이다.

 

그림 7. x_1을 W^Q와 곱하여 가중치 행렬 q_1을 생성함. 각각의 W^Q와 W^K, W^V와 프로젝션하여 q_1, k_1, v_1의 값을 구함

여기서 query, key, value 벡터들은 무엇일까? 이것은 추상적인 개념으로 attention을 생각하고 계산하기 유용하게 해준다.

self-attention 계산의 두 번째 단계는 점수를 계산하는 것이다. 예시의 첫 번째 단어인 'Thinking'을 이용하여 self-attention을 계산해보겠다. self-attention을 계산하기 위해서 'Thinking' 이라는 단어에 대해 입력 문장의 모든 단어들로 점수를 매겨야 한다. 여기서 점수는 특정 위치에서 단어를 인코딩할 때 입력 문장의 다른 부분에 얼마나 많은 초점을 둘 것인지를 결정한다. 

점수는 점수를 매기는 각 단어의 query 벡터와 key 벡터를 내적해서 얻을 수 있다. 그래서 만약 포지션이 1인 단어에 대해 self-attention을 진행하면 첫 번째 점수는 q_1과 k_1의 내적으로 계산된다. 그리고 두 번째 점수는 q_1과 k_2의 내적으로 계산된다.

세 번째와 네 번째 단계는 점수를 8$($논문에서 사용된 key 벡터의 차원인 64의 제곱근 값. 이것을 사용함으로써 더 안정적인 기울기를 가지게 됌. 다른 값도 있지만, 이 값이 기본값$)$로 나누고, 결과값을 softmax 함수를 지나게 한다. softmax는 점수들을 정규화 시켜서 모두 양수가 되고, 합했을 때 1이 되게 된다. 다음의 그림 8이 두 번째, 세 번째, 네 번째 단계를 보여준다.

 

그림 8. 2, 3, 4 단계 진행 과정

softmax 점수는 각 단어가 이 위치에서 표현되는 정도를 결정한다. 분명히 이 위치에 존재하는 단어는 가장 높은 softmax 점수를 가지지만, 때로는 이 단어가 아닌 현재 단어와 관련된 다른 단어에 주의를 기울이는 것이 유용할 수도 있다. 

다섯 번째 단계는 value 벡터를 softmax 점수로 곱한다. 이 과정의 목적은 우리가 주의를 기울이길 원하는 단어의 value는 보존하고, 관련이 없는 단어들은 버리길 원한다. $($매우 작은 숫자인 0.0001과 같은 숫자를 곱해서 말이다$)$

여섯 번째 단계는 가중 value 벡터를 합산하는 것이다. 이것은 이 포지션에 대한 self-attention 계층의 출력값을 산출한다. 다음의 그림 9가 이 self-attention의 총 진행 과정을 보여준다.

 

그림 9. self-attention 진행 과정

결과 벡터는 feed-forward neural network로 함께 보낼 수 있는 벡터이다. 실제 응용면에서는, 빠른 진행을 위해 이 계산이 행렬의 단계에서 끝난다.

 

Self-Attention의 행렬 계산

첫 번째 단계는 query, key, value 행렬을 계산하는 것이다. 이를 위해 임베딩을 행렬 X로 합치고, 이전에 학습시킨 가중치 행렬(W^Q, W^K, W^V)을 이 X에 곱함으로써 구할 수 있다.

행렬로 다루게 되면, 위의 6개의 과정을 하나로 압축시킬 수 있게 된다. 다음의 그림이 self-attention의 출력값을 계산하는 수식이다.

 

그림 10. 행렬에서의 self-attention 계산

 

The Beast With Many Heads

논문에서는 self-attention을 'multi-headed' 라는 메커니즘을 추가시킴으로써 개선시켰다. 이것은 attention 계층을 다음과 같이 두 가지 방법으로 성능을 개선시켰다.

1. 다른 포지션에 대해 주의를 기울일 수 있는 모델의 능력을 확장시켰다. 위에서 언급된 예시를 보면, z_1은 다른 인코딩에 대해 아주 조금씩이라도 포함하고 있지만, z_1은 실제 단어에 의해 사용될 수 있다. 만약 처음에 언급한 예시 문장을 번역할 때, 'it'이 어떤 단어를 지칭하는지 알아내는 데 매우 유용할 수 있다.
2. attention 계층에 다중의 'representation subspace'를 제공한다. 다음에서도 볼 수 있듯이 multi-headed attention은 다중의 quety/key/value 가중치 행렬을 가지고 있다. (Transformer는 8개의 attention head를 사용하고, 따라서 각각의 인코더와 디코더에 대해 8개의 세트를 진행해야 한다) 각각의 세트는 무작위로 초기화가 되고, 훈련이 된 후에, 입력 임베딩을 다른 representation subspace로 투영하는 데 사용된다.

위에서 설명한 것처럼 self-attention 계산을 똑같이 진행한다면, 8번의 다른 가중치 행렬에 대해서 진행하고, 8개의 다른 Z 행렬을 얻게 된다. 이것은 약간의 도전해야할 점을 남긴다. feed-forward 계층은 8개의 행렬이 아닌 하나의 행렬을 예상했기 때문이다. 그래서 이 8개의 행렬을 하나로 압축시킬 수 있는 방법이 필요하다.

어떻게 해야할까? 이 행렬들을 합치고 부가적 가중치 행렬인 W^O를 곱하여 구할 수 있다. 이 과정을 그림으로 표현하면 다음과 같다.

 

그림 11. multi-head attention의 진행 과정

앞서 예시로 주어졌던 문장에 대해서 'it'이 무엇을 지칭하는지를 multi-head attention을 사용하여 알아보면 다음과 같다. 하지만, multi-head attention을 통해 나오게 된 결과는 더 알아보기 힘든 모습이다.

 

그림 12. multi-head attention의 수행 결과

시퀀스 순서를 Positional Encoding을 이용하여 표현하기

지금까지 설명한 대로 모델에서 빠진 한 가지는 입력 시퀀스에서 단어의 순서를 설명하는 방법이다. 이 문제를 해결하기 위해, Transformer는 벡터를 각각의 입력 임베딩에 대해 추가하였다. 이 벡터들은 model이 학습하는 특정 패턴을 따르므로, 각 단어의 위치 또는 시퀀스에서 서로 다른 단어 사이의 거리를 결정하는 데 도움이 된다. 임베딩에 이러한 벡터들을 추가하면 임베딩 벡터가 Query/Key/Value 벡터에 투영되고 dot-product attention 동안 임베딩 벡터 사이에 의미 있는 거리가 제공된다는 것이다. 

 

그림 13. 입력 벡터에 positional encoding을 추가하는 과정

 

The Residuals

인코더 architecture의 한 가지 디테일은 인코더 각각의 sub-계층에 대해서 residual connection을 한다는 점이다. 그리고 이것은 layer-normalization의 단계이다. self-attention과 관련된 벡터와 layer-normalization 연산을 시각화하면 다음의 그림과 같다. 그리고 이렇게 해서 생성된 값은 디코더의 sub-계층으로 전달된다. 

 

그림 14. 인코더에 residual connection과 normalization이 추가된 모습

 

Decoder Side

지금까지 인코더의 구성요소들이 어떻게 작동하는지 알아보았고, 이제는 디코더가 어떻게 작동되는지에 대해 알아보겠다.

인코더는 입력 문장에 대해 프로세스를 하면서 시작된다. 가장 위의 인코더의 출력값은 attention 벡터 K와 V로 변형된다. 이 벡터들은 각 디코더의 '인코더-디코더 attention' 계층에 사용된다. 이 '인코더-디코더 attention' 계층은 디코더가 입력 시퀀스의 적절한 위치를 집중할 수 있도록 도와준다. 다음의 그림이 이 과정을 보여준다.

 

그림 15. 인코더-디코더 attention 진행 과정

그리고 다음 단계는 transformer 디코더가 출력을 완료했음을 나타내는 특수 기호에 도달할 때까지 프로세스를 반복한다. 각 스텝의 출력값은 다음 스텝의 가장 밑의 디코더에 들어가고, 디코더는 인코더와 마찬가지로 디코딩 결과를 쌓아올린다. 그리고 인코더 입력과 마찬가지로 각 단어의 위치를 나타내기 위해 해당 디코더 입력에 positional encoding을 포함하고 추가한다. 다음의 그림은 디코더를 진행하면서 최종 출력값까지 산출하는 과정을 보여주고 있다.

 

그림 16. 인코더-디코더 attention 반복을 통한 출력값 산출 과정

디코더 에서의 self-attention 계층은 인코더의 것과는 살짝 다르게 작동한다. 인코더에서는, self-attention 계층이 출력 시퀀스의 이전 포지션만 참조할 수 있다. 이는 self-attention 계산에서 softmax 단계 이전에 미래의 위치를 마스킹 하여 수행된다.

'인코더-디코더 attention' 계층은 아래 레이어에서 query 행렬을 생성하고 인코더 스택의 출력에서 key와 value 행렬을 가져오는 것을 제외하면 multi-head attention과 동일하게 작동한다. 

 

The Final Linear and Softmax Layer

디코더 스택은 실수형 벡터를 출력한다. 이것을 어떻게 하면 단어로 바꿀 수 있을까? 이 작업을 하는 것이 softmax layer가 뒤따르는 최종 linear layer의 역할이다. linear layer은 디코더 스택에서 생성된 벡터를 logit 벡터라고 하는 훨씬 큰 벡터로 프로젝트하는 간단한 fully connected neural network이다. 

예를 들어, 모델이 10,000개의 특정한 영단어를 훈련 데이터셋을 통해 학습해서 알고있다고 하자. 이것이 logit 벡터를 10,000개의 셀 너비로 만들어지게 했다. 여기서 각 셀은 고유한 단어의 점수에 해당한다. 이것이 linear layer을 적용해서 모델의 출력값을 해석하는 이유이다. 

그리고 softmax 계층은 이 점수들을 확률로 변환한다. 더 높은 확률을 가지고 있는 셀이 선택되고, 이와 관련된 단어가 이 스텝의 출력으로 생성된다. 다음의 그림이 이 모든 과정을 보여준다.

 

그림 17. 디코더 스택의 출력값이 출력 단어로 변환되는 과정을 보여줌

 

 

출처

https://arxiv.org/pdf/1706.03762.pdf

https://jalammar.github.io/illustrated-transformer/

The Illustrated Transformer