GRU: Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation 논문 리뷰

The overview of this paper

이 논문에서는 두 개의 RNN으로 구성된 RNN Encoder-Decoder로 불리는 새로운 신경망 모델을 제안하였다. 하나의 RNN은 고정된 길이의 벡터 representation에 심볼의 시퀀스를 인코드하였고, 다른 하나는 또 다른 심볼의 시퀀스에 representation을 디코드하였다. 제안된 모델의 인코더와 디코더는 source sequence가 주어졌을 때, target sequence의 조건부 확률을 최대화하기 위해 공동으로 학습된다. 통계적 기계 번역 시스템의 성능은 기존 로그 선형 모델의 추가 기능으로 RNN Encoder-Decoder에서 계산된 phrase pair의 조건부 확률을 사용하여 개선됨을 경험적으로 확인할 수 있었다. 정성적으로, 논문에서는 제안된 모델이 언어 구문의 의미론적 및 구문론적으로 의미 있는 representation을 학습함을 보여줬다.

 

(2023/01/27 추가)

다시 보니, 너무 지저분하게 포스트를 작성했네요 ㅎㅎ,, GRU에 대한 전반적인 구조를 간단하게 보고 싶으시다면 여기의 GRU 부분을 참고해주시면 좋을 것 같네요~

그리고 좀 더 간편하고 자세하게 확인하고 싶으시면 여기를 참고해주세요!!

 

 

Table of Contents

1. Introduction

2. RNN Encoder-Decoder

   2-1. Preliminary: Recurrent Neural Networks

   2-2. RNN Encoder-Decoder

   2-3. Hidden Unit that Adaptively Remembers and Forgets

3. Statistical Machine Translation

   3-1. Scoring Phrase Pairs with RNN Encoder-Decoder

4. Results and Analysis

5. Conclusion

 

 

1. Introduction

DNN은 object recognition과 speech recognition 같은 분야에서 엄청난 성공을 보여줬다. 게다가, 최근의 연구들에서 신경망이 NLP task에 대해서도 성공적으로 사용될 수 있다는 것을 밝혀냈다. 여기에는 다음의 것들이 포함되지만, 이에 국한되는 것은 아니다. 예를 들어 language modeling, paraphrase detection, word embedding 추출 등이 있다. statistical machine translation$($SMT$)$ 분야에서, DNN은 희망적인 결과를 보여주기 시작하였다. Schwenk의 연구는 phrase 기반의 SMT 시스템의 구조에서 feedforward 신경망이 어떻게 성공적으로 사용되었는지를 요약해서 보여줬다.

SMT를 위해 신경망을 사용하는 분야의 연구를 따라서, 이 논문에서는 전통적인 phrase 기반의 SMT 시스템의 부분 처럼 사용할 수 있는 새로운 신경망 architecture에 집중하였다. 제안된 신경망 architecture는 RNN ENcoder-Decoder라고 불리고, 두 개의 RNN으로 구성되어 있는데, 각각은 인코더와 디코더 쌍으로 작동된다. 인코더는 가변 길이의 source sequence를 고정된 길이의 벡터에 매핑하고, 디코더는 벡터 representation을 다시 가변 길이의 target sequence로 매핑한다. 두 개의 network는 source sequence가 주어지면 target sequence의 조건부 확률을 최대화하기 위해 공동으로 학습된다. 추가적으로, 논문에서는 또한 메모리 용량과 훈련 용이성을 모두 향상시키기 위해 다소 정교한 hidden unit을 사용할 것을 제안한다.

새로운 hidden unit과 함께 있는 제안된 RNN Encoder-Decoder는 실험적으로 영어에서 프랑스어로 번역하는 task로 평가되었다. 모델을 훈련시켜서 영어 구의 해당 프랑스어 구로의 번역 확률을 학습시켰다 그 다음에 모델은, 각 phrase 짝을 phrase table에서 점수를 매김으로써 기존의 phrase 기반의 SMT 시스템의 부분으로 사용되었다. 실험적 평가는 RNN Encoder-Decoder와 함께 phrase 짝을 점수 매기는 방법이 번역의 성능을 향상시키는 것을 밝혀냈다.

논문에서는 기존의 번역 모델의 phrase score와 훈련된 RNN Encoder-Decoder의 phrase score을 비교하면서 분석하였다. 분석은 RNN Encoder-Decoder가 phrase table의 언어 규칙성을 더 잘 캡처하여 전체 번역 성능의 양적 개선을 간접적으로 설명함을 보여줬다. 모델에 대한 추가적인 분석은 RNN Encoder-Decoder가 phrase의 계속되는 space representation을 학습하는 것이 phrase의 의미론적, 구문론적 구조를 모두 보존해준다는 것을 알게 되었다.

 

2. RNN Encoder-Decoder

2-1. Preliminary: Recurrent Neural Networks

RNN은 신경망으로 가변 길이의 시퀀스 $\textbf{x}=[x_{1},...,x_{T}]$ 위에서 구동되는 출력 $\textbf{y}$와 hidden state $\textbf{h}$로 구성되어 있다. 각 타임 스텝 $t$에서 RNN의 hidden state $\textbf{h}_{\left< t\right>}$은 다음과 같이 업데이트 된다.

 

수식 1. hidden state update 수식

여기서 $f$는 비선형 활성화 함수이다. $f$는 간단하게는 element-wise logistic sigmoid 함수가 될 수도 있고, 복잡하게는 LSTM unit이 될 수도 있다.

RNN은 시퀀스에서 다음 심볼을 예측하도록 훈련됨으로써 시퀀스의 확률 분포를 배울 수 있게 된다. 이러한 경우에는, 각 타임 스텝 $t$의 출력은 조건부 분포 $p(x_{t}|x_{t-1},...,x_{1})$이다. 예를 들어, 모든 가능한 기호 $j=1,...,K$에 대해 softmax 활성화 함수를 사용하여 다항 분포(1-of-K 코딩)를 출력할 수 있다. 여기서 $\textbf{w}_{j}$는 가중치 행렬 $\textbf{W}$의 행이다.

 

수식 2. 조건부 확률 p 계산 수식

이러한 확률들을 묶음으로써 다음의 수식 3을 사용하여 시퀀스 $\textbf{x}$를 계산할 수 있다.

 

수식 3. 시퀀스 x에 대한 확률 계산 수식

이 학습된 분포에서 각 타임 스텝에서 기호를 반복적으로 샘플링하여 새 시퀀스를 샘플링하는 것은 간단합니다.

 

2-2. RNN Encoder-Decoder

이 논문에서는, 가변 길의 시퀀스를 고정된 길이의 벡터 representation으로 인코드하고, 주어진 고정된 길이의 벡터 representation을 다시 가변 길이의 시퀀스로 디코드하기 위해 학습하는 새로운 신경망 architecture을 제안하였다. 확률론적 관점에서, 이 새로운 모델은 또 다른 가변 길이 시퀀스를 조건으로 하는 가변 길이 시퀀스에 대한 조건부 분포를 학습하는 일반적인 방법이다. 예를 들어 $p(y_{1},...,y_{T^{'}}|x_{1},...,x_{T})$에서 입력 시퀀스 길이 $T$와 출력 시퀀스 길이 $T^{'}$의 길이가 다르다는 것을 알아둬야 한다.

인코더는 RNN으로 입력 시퀀스 $\textbf{x}$의 각 심볼을 연속적으로 읽는다. 각 심볼을 읽음에 따라, RNN의 hidden state는 앞서 수식 1에 따라서 변화한다. 시퀀스의 마지막을 읽고 난 후에, RNN의 hidden state는 전체 입력 시퀀스의 요약 $\textbf{c}$가 된다.

제안된 모델의 디토더는 또 다른 RNN으로, hidden state $\textbf{h}_{\left< t\right>}$가 주어지면 다음 심볼 $y_{t}$를 예측함으로써 출력 시퀀스를 생성하기 위해 학습된다. 하지만, 앞서 2-1에서 언급한 RNN과 다르게, $y_{t}$와 $\textbf{h}_{\left< t\right>}$ 모두 또한 $y_{t-1}$와 입력 시퀀스의 요약 $\textbf{c}$에 condition되어 있다. 그래서, 타임 스텝 $t$에서 디코더의 hidden state는 다음과 같이 계산된다.

 

수식 4. 타임 스텝 t에서의 hidden state 계산

그리고 비슷하게, 활성화 함수 $f$와 $g$가 주어졌을 때, 다음 심볼의 조건부 분포는 다음과 같이 계산된다.

 

수식 5. next symbol 조건부 분포 계산

다음의 그림 1을 보면 제안된 모델의 architecture에 대한 묘사를 확인할 수 있다.

 

그림 1. RNN Encoder-Decoder 묘사

제안된 RNN Encoder-Decoder의 두 요소는 조건부 log-likelihood를 최대화하기 위해 공동으로 학습된다.

 

수식 6. 조건부 log-likelihood 계산

여기서 $\Theta$는 모델 parameter 세트이고 각 $(\textbf{x}_{n},\textbf{y}_{n})$은 훈련 세트의 $($입력 시퀀스, 출력 시퀀스$)$ 짝이다. 논문에서는, 입력에서 시작하여 디코더의 출력이 미분 가능하므로 기울기 기반 알고리즘을 사용하여 모델 parameter을 추정할 수 있었다.

RNN Encoder-Decoder가 한 번 학습되면, 모델은 두 가지 방법으로 사용될 수 있다. 첫 번째로, 입력 시퀀스가 주어지면 target 시퀀스를 생성할 수 있다. 두 번째로, 입의 주어진 짝과 출략 시퀀스의 점수를 매기는 방식으로도 사용될 수 있다. 여기서 점수는 간단하게 수식 3과 4로부터 얻는 확률 $p_{\Theta}(\textbf{y}|\textbf{x})$이다.

 

2-3. Hidden Unit that Adaptively Remembers and Forgets

새로운 모델 architecture에 더하여, 논문에서는 LSTM으로부터 얻어왔지만, 훨씬 더 간단한 새로운 유형의 hidden unit을 제안하였다. 그림 2는 제안된 hidden unit을 보여준다.

 

그림 2. hidden unit 묘사

$j$번째 hidden unit의 activation이 어떻게 계산되는지 설명하였다. 첫 번째로, reset 게이트 $r_{j}$는 다음과 같이 계산된다.

 

수식 7. reset gate $r_{j}$ 계산

여기서 $\sigma$는 logistic sigmoid 함수이고, $[.]_{j}$는 벡터의 $j$번째 요소를 나타낸다. $\textbf{x}$와 $\textbf{h}_{t-1}$은 각각 입력과 이전 hidden state이다. $\textbf{W}_{r}$과 $\textbf{U}_{r}$은 학습된 가중치 행렬이다.

이와 비슷하게, update 게이트 $z_{j}$는 다음과 같이 계산된다.

 

수식 8. update date $z_{j}$ 계산

제안된 unit $h_{j}$의 실제 활성화는 다음과 같이 계산된다.

수식 9. unit $h_{j}$의 활성화 계산

여기서 뒤의 값은 다음과 같다.

 

수식 10. $\tilde{h}_{j}^{\left< t\right>}$

이 공식에서, reset gate의 값이 0에 가까워지면, hidden state는 이전 hidden state를 무시하도록 노력하고, 오직 현재 입력만 리셋한다. 이것은 hidden state가 미래에는 관련 없을 어떠한 정보를 효과적으로 drop하게 해준다.

이와는 반대로, hidden state의 정보를 어느 정도 현재 hidden state로 올릴 지 결정한다. 이것은 LSTM network에서의 메모리 셀과 비슷하게 작동하고, RNN이 더욱 긴 정보를 기억할 수 있도록 도와준다. 게다가, 이것은 leaky-integration unit의 적응형 변형으로 간주될 수 있다.

각 hidden unit은 분리된 reset과 update 게이트를 가지는데, 각 hidden unit은 다른 time scale에서의 종속성을 캡처하기 위해 학습될 것이다. short-term 종속성을 캡처하기 위해 학습되는 unit들은 reset gate를 가질 경향이 있고, long-term 종속성을 캡처하기 위해 학습되는 unit들은 update date를 가질 경향이 있다.

논문의 실험에 따르면, 이 unit을 gating unit과 함께 쓰는 것이 중요하다는 것을 알아냈다.

 

3. Statistical Machine Translation

보통 사용되는 statistical machine translation$($SMT$)$의 목적은 다음을 최대화하는 source sentence $\textbf{e}$가 주어진 번역 $\textbf{f}$을 찾는 것이다.

 

수식 11. SMT의 목표

여기서 우변의 첫 번째 값은 translation model이고, 두 번째 값은 language model이다. 그치만, 실제로는 SMT는 추가적인 특징들과 그에 상응하는 가중치와 함께 log 선형 모델 $logp(\textbf{f}|\textbf{e})$을 모델링한다.

 

여기서 $f_{n}$과 $w_{n}$은 각각 $n$번째 feature와 weight이다. $Z(\textbf{e})$는 가중치에 의존하지 않는 정규화 정수이다. 가중치는 development set에서 BLEU score를 최대화하도록 최적화되어 있다.

phrase 기반의 SMT 구조는 이전의 연구들에서 소개되었다. 여기서 translation model $logp(\textbf{e}|\textbf{f})$는 source sentence와 target sentence에서의 matching phrase의 번역 확률이다. 이러한 확률은 다시 한 번 log 선형 모델의 추가 기능으로 간주되며 그에 따라 가중치가 부여되어 BLEU 점수를 최대화한다.

 

3-1. Scoring Phrase Pairs with RNN Encoder-Decoder

논문에서는 RNN Encoder-Decoder가 phrase 짝의 테이블에서 훈련하고, 이 score를 SMT decoder을 tuning할 때 log 선형 모델에서 추가적인 feature로 사용하길 제안하였다.

RNN Encoder-Decoder을 훈련할 때, 논문에서는 기존의 corpora에서의 각각의 phrase 짝의 빈도를 부시하였다. 이러한 조치는 $($1$)$ 정규화 빈도에 따라서 거대한 phrase table으로부터 랜덤하게 phrase 짝을 선택하는 계산 비용을 줄이고, $($2$)$ RNN Encoder-Decoder가 출현 수에 따라 phrase를 rank하기 위해 간편하게 학습되지 않게 한다. 이러한 선택에 대한 하나의 근본적인 이유는 phrase table에 존재하는 번역 확률은 이미 기존의 corpus에서 phrase 짝의 빈도를 나타내기 때문이다. RNN Encoder-Decoder의 고정된 용량과 함께, 논문에서는 모델의 대부분의 용량이 linguistic 규칙성을 학습하기 위해 사용된다는 것을 보장려고 했다. 예를 들어, 그럴 듯한 번역과 그렇지 않은 번역을 구분하거나, 그럴 듯한 번역을 많이 학습하는 것과 같이 말이다.

RNN Encoder-Decoder가 한 번 학습되면, 존재하는 phrase table에 각 phrase 짝에 대한 새로운 점수를 추가하였다. 이것은 계산에서 최소한의 추가적인 overhead와 함께 존재하는 tuning 알고리즘 안에 새로운 점수가 들어갈 수 있도록 허락해주었다.

이전의 연구들을 통해 존재하는 phrase table을 제안된 RNN Encoder-Decoder로 완벽하게 대체할 수 있다는 것이 밝혀졌지만, 너무 비싼 비용 때문에, 이 논문에서는 phrase table에서의 phrase 짝을 rescoring 하는 데에만 집중하였다.

 

4. Results and Analysis

Quantative Analysis

논문에서는 다음과 같은 조합들을 시도해봤다.

1. Baselin configuration
2. Baseline + RNN
3. Baseline + CSLM + RNN 
4. Baseline + CSLM + RNN + Word penalty

이에 대한 결과는 다음의 표 1에 나타나 있다.

 

표 1. results

결과를 살펴보면, 최고의 성능은 CSLM과 RNN Encoder-Decoder로부터 얻어지는 phrase score을 같이 사용했을 때, 최고의 성능을 보여줬다.

 

Qualitative Analysis

성능 향상이 어떤 점으로부터 왔는지 이해하기 위해서, 논문에서는 번역 모델의 해당 $p(\textbf{f}|\textbf{e})$에 대해 RNN Encoder-Decoder에서 계산한 phrase 짝 점수를 분석한다. 존재하는 번역 모델은 단지 corpus에서의 phrase 짝의 statistics에 의존하기 때문에, 논문에서는 빈번한 문구에 대해서는 점수가 더 잘 추정되지만 드문 문구에 대해서는 잘못 평가될 것으로 예상하였다. 또한, 3-1에서 언급했던 것처럼 linguistic 규칙성에 기반하는 phrase 짝 보다는 corpus에서 이들의 출현의 statistics에 기반하는 phrase 짝을 score하기 위해 어떠한 빈도 정보가 없이 훈련된 RNN Encoder-Decoder을 추가적으로 예측하였다.

논문에서는 source 문구가 긴 쌍$($각 source phrase에 3개 이상의 단어$)$과 빈도가 잦은 쌍에 초점을 맞췄다. 각 source phrase에 대해, 논문에서는 번역 확률 $p(\textbf{f}|\textbf{e})$ 또는 RNN Encoder-Decoder가 높은 점수를 받은 target phrase에 대해 살펴보았다. 이와 비슷하게, 논문에서는 corpus에서 source phrase가 길지만 희귀한 짝들에게도 똑같은 과정을 수행하였다.

표 2는 번역 모델 또는 RNN Encoder-Decoder가 선호하는 source phrase 당 상위 3개의 target phrase를 나열한다. source phrase는 4개에서 5개 이상의 단어를 가지도록 길게, 랜덤한 과정을 통하여 선택되었다.

 

표 2.

대부분의 경우에서, RNN Encoder-Decoder로부터 target phrase의 선택은 실제 또는 문자 그대로의 번역에 더욱 가깝다.

흥미롭게도, 많은 phrase 짝들은 번역 모델과 RNN Encoder-Decoder로부터 비슷하게 score되었다. 하지만, 여기에는 다른 많은 phrase 짝이 있었다. 이 phrase 짝들은 근본적으로 다르게 score되었다. 이는 RNN Encoder-Decoder을 일련의 고유한 구문 쌍에 대해 교육하는 제안된 접근 방식에서 발생할 수 있으며, 앞서 설명한 것처럼 RNN Encoder-Decoder가 corpus에서 phrase 짝의 빈도를 단순히 학습하지 못하게 한다.

 

5. Conclusion

이 논문에서는, RNN Encoder-Decoder라고 부르는 새로운 신경망 architecture을 소개하였다. 이것은 임의 길이의 시퀀스에서 다른 시퀀스로의 매핑을 학습할 수 있으며, 임의 길이의 다른 집합에서도 가능하다. 제안된 RNN Encoder-Decoder는 시퀀스의 짝을 점수 매기거나, source sequence가 주어지면, target sequence를 생성할 수 있다. 새로운 architecture와 함께, 논문에서는 시퀀스를 읽거나 생성할 때, 어느 정도의 hidden unit을 기억하거나 잊어버릴지 결정하는 reset gate와 update gate를 포함하는 새로운 hidden unit을 제안하였다.

논문에서는 statistical machine translation과 함께 제안된 모델을 평가하였다. 여기서 RNN Encoder-Decoder을 사용하여 phrase table의 각 phrase 짝을 score하였다. 새로운 모델은 phrase 짝에서 linguistic 규칙성을 잘 캡처할 수 있었고, 또한 RNN Encoder-Decoder는 잘 형성된 target phrase를 제안하였다.

RNN Encoder-Decoder로부터 얻은 점수는 BLEU score 면에서 전반적인 번역 성능을 향상시켰다. 또한, RNN Encoder-Decoder의 contribution가 SMT 시스템에서 신경망을 사용하는 기존 접근 방식과 다소 직교하므로 예를 들어 RNN Encoder-Decoder 및 신경망 언어 모델 함께 사용하는 측면에서 말이다.

논문에서 훈련된 모델의 qualitative analysis는 사실 다중 레벨에서 linguistic 규칙성을 캡처하는 것을 보여주었다. 예를 들어, word level 뿐만 아니라 phrase level에서도 말이다. 이것은 제안된 RNN Encoder-Decoder로부터 혜택을 받을 수 있는 더 많은 자연어 관련 애플리케이션이 있을 수 있음을 시사한다.

제안된 architecture는 개선점과 분석에 대해 추가적인 거대한 잠재력이 있다. 논문에서 진행되지 않는 방법 중에 하나는 phrase table을 RNN Encoder-Decoder가 제안하는 target phrase로 모두 바꿔버리는 것이다. 또한 제안된 모델이 문어에만 국한되지 않는다는 점에 주목하여 제안된 아키텍처를 음성 전사와 같은 다른 응용 프로그램에 적용하는 것이 중요한 향후 연구가 될 것이다.

 

 

 

 

참고문헌

https://arxiv.org/abs/1406.1078

Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation