알기 쉽게 LSTM networks 이해하기

The purpose of this post

 LSTM network는 개발된 지 오래된 모델임에도 불구하고 수많은 분야에서 오랫동안 사용되었던 모델이다. 요즘에는 더 성능이 좋은 모델들이 많이 나오면서 예전 만큼의 명성을 보여주지는 못하고 있지만, LSTM이 정말 대단했던 모델이었다는 점은 변함이 없다. 그래서!! 이번 포스트에서는 이 LSTM network에 대해서 알아보려고 한다. 본 포스트는 colah's blog를 참고하여 작성되었다.

 

 

Table of Contents

1. RNN $($Recurrent Neural Networks$)$

2. 장기의존성$($Long-Term Dependencies$)$ 문제

3. LSTM Networks

   3-1. LSTM의 핵심 아이디어

   3-2. 단계 별로 LSTM 알아보기

   3-3. GRU

 

 

RNN

 만약 지금의 예측을 위해 이전의 정보들을 참고할 수 있다면 어떨까? 이러한 아이디어로부터 시작된 게 RNN이다. RNN은 모델에 loop를 사용하여 정보가 지속될 수 있도록 하였다. 다음의 그림이 RNN의 loop 구조이다.

 

그림 1. RNN의 loop

 

 위의 그림에서 신경망 네트워크는 $A$, 입력값은 $x_t$, 그리고 출력값은 $h_t$이다. loop는 network의 한 스텝에서 다음 스텝으로 정보를 넘겨줄 수 있다. 이러한 loop의 구조를 잘 생각해보면 똑같은 network를 여러개 복제해놓은 꼴이라고 생각할 수 있다. 그리고 각각의 network는 다음의 후속자에게 메세지를 전달하는 꼴이다. 다음의 그림이 이를 나타내고 있다.

 

그림 2. RNN을 풀어헤친 모습

 

 이러한 체인 같은 환경은 RNN이 시퀀스와 리스트랑 밀접하게 연관되어 있음을 알려준다. 그리고 이 RNN으로부터 파생된 것이 바로 'LSTM'이다.

 

 

장기의존성$($Long-Term Dependencies$)$ 문제

 RNN의 특징 중 하나는 이전의 정보를 현재의 task에 연결해서 사용할 수 있다는 것이다. 어떤 경우에는 가까운 최근의 이전 데이터를 참고하고도 예측을 진행할 수 있는 반면, 어떠한 경우에는 아주 오래 전의 정보를 가져와야만 예측을 진행할 수 있는 경우도 있다. 예를 들어서 '구름은 ___ 에 있습니다.'와 같은 문장에서 빈칸은 '구름'을 참고하여 손쉽게 '하늘'이라는 답을 낼 수 있다. 하지만, '나는 프랑스에서 살았습니다. ..... 그래서 나는 ____를 할 줄 압니다.'와 같은 문장에서 빈칸은 언어 중 하나라고는 예측할 수 있지만, 자세하게 프랑스어라고 예측을 하기 위해서는 이전 문장의 '프랑스에서 살았습니다' 라는 부분을 참고해야만 알 수 있다. 따라서 연관된 정보와의 gap이 발생하게 된다. 만약 이 gap이 커지게 된다면, RNN은 이를 수행할 수 없다는 크나큰 단점을 가지고 있다. 이러한 문제를 장기의존성 문제라고 한다.

 

그림 3. 장기의존성 문제

 

 LSTM은 이러한 RNN의 장기의존성 문제를 해결한 모델이다!! 이제 LSTM에 대해 자세히 알아보겠다.

 

 

LSTM Networks

 LSTM은 약자로, Long SHort Term Memory의 약자이다. 이 LSTM은 특수한 RNN으로 장기의존성을 학습할 수 있다는 특징을 가지고 있다. LSTM은 장기의존성 문제를 피하기 위해 개발되었다. 따라서 정보를 오랫동안 기억하는 것이 기본 옵션으로 깔려 있다.

 모든 RNN은 신경망 네트워크를 체인처럼 반복하는 형태를 가지고 있다. 일반적인 RNN은 이 반복 모듈이 하나의 tanh layer로 매우 간단하게 구성되어 있다.

 

그림 4. RNN의 repeating module 구조 - single tanh layer로 이루어져 있음

 

 LSTM도 RNN과 마찬가지로 chain 구조를 띄고 있지만, 각각의 모듈은 서로 다른 구조를 가지고 있다. 하나의 신경망 레이어를 가지기 보다는, 서로 상호작용하는 4개의 특별한 방법을 가지고 있다. 

 

그림 5. LSTM의 구조

 

 이 복잡한 구조에 너무 걱정하지 않아도 된다!! 지금부터 천천히 이 구조에 대해 자세하고 알기 쉽게 알아볼테니!! 그러기 위해서 다음의 단순한 용어들을 짚고 넘어가자!! 

• 노란색 사각형: 신경망 레이어
• 분홍색 동그라미: 연산자. 벡터를 추가하거나 곱하는 등의 연산을 수행
• 일반 화살표: 벡터가 이동함
• 하나로 합쳐지는 화살표: concatenate됌
• 갈라지는 화살표: 복제되서 따로따로 갈라지게 됌

 

그림 6. LSTM 용어

 

LSTM의 핵심 아이디어

 LSTM의 핵심 아이디어는 누가 뭐라 해도 cell state이다. 이 cell state는 아래 그림처럼 LSTM 모듈 내부에서 맨 위쪽에 위치한 직선을 의미한다. cell state는 하나의 컨베이어 벨트 같은 느낌으로 모든 chain을 쭈욱 지나가는데 그 사이에 조금의 linear reaction이 발생한다. 정보는 매우 쉽게 그저 변함없이 흘러가기만 할 뿐이다!

 

그림 7. cell state

 

 LSTM은 이 cell state에 정보를 추가하거나 없앨 수 있는 능력을 가지고 있는데, 이는 gate라 불리는 구조에 의해 세심하게 규제된다. gate는 정보가 얼마나 흘러갈 지에 대해 결정하는데, sigmoid layer와 pointwise 곱 연산으로 구성되어 있다. 

 sigmoid layer은 0과 1 사이의 값을 출력하는데, 여기서 '0'은 '어떤 정보도 지나가게 하지 않겠다!'이고, '1'은 '모든 정보 다 지나가~'와 같은 의미이다.

 

 LSTM은 이러한 gate를 3개 가지고 있는데, 이 gate는 cell state를 보호하고 조종한다.

 

 

단계 별로 LSTM 알아보기

LSTM의 첫 번째 단계는 어떤 정보가 cell state에 들어가야할 지 정하는 것이다. 이것은 'forget gate layer'라 불리는 sigmoid layer에 의해 결정된다. 이전의 출력값 $h_{t-1}$과 $x_t$가 sigmoid에 입력으로 받아들여져서 0과 1 사이의 값 $f_t$가 출력되고, 이 값이 cell state인 $C_{t-1}$에 영향을 준다. 앞서 말한대로 '0'이면, '완전히 제거한다!'이고, '1'이면 '완전히 유지한다'라는 의미이다. 이를 그림과 수식으로 나타내면 다음과 같다.

 

그림 8. LSTM의 1st step

 

 다음으로 두 번째 단계는 어떤 새로운 정보가 cell state에 저장될 지 결정하는 것이다. 이 단계는 두 개의 part로 나누어져 있다. 먼저 첫 번째 단계는 'input gate layer'라 불리는 sigmoid layer을 지나서 어떤 값을 update할 지 정한다. 그리고 두 번째 단계는 tanh layer을 지나서 새롭게 state에 추가될 값인 $\tilde{C}_{t}$을 산출한다. 마지막으로, 이 두 값을 합쳐서 state에 대한 update를 최종적으로 생성한다. 이를 그림과 수식으로 나타내면 다음과 같다.

 

그림 9. LSTM의 2nd step

 

 이제 오래된 cell state인 $C_{t-1}$을 새로운 cell state $C_{t}$로 업데이트할 시간이다. 

 오래된 state에 $f_t$를 곱하고, 잊기로 했던 정보들을 잊는다. 그 다음에, $i_t$와 $\tilde{C}_t$를 합친다. 이 값은 새로운 candidate value가 되고, 각각의 state value를 얼마나 업데이트할 지 결정한다. 이를 그림과 수식으로 나타내면 다음과 같다.

 

그림 10. LSTM의 3rd step

 

 마지막으로, 어떤 것이 출력으로 나와야 할 지 정해야 한다. 이 출력은 cell state에 기반이 되지만, 필터링된 버전이다. 첫 번째로, sigmoid gate를 거쳐서 cell state의 어떤 part를 출력할 지 결정한다. 그 다음에, cells state를 tanh layer을 지나고 sigmoid gate의 출력과 곱한다. 그래서 결국에 원하는 부분을 출력할 수 있게 된다! 이를 그림과 수식으로 나타내면 다음과 같다.

 

그림 11. final step

 

 

GRU $($Gated Recurrent Unit$)$

 GRU 즉, Gated Recurrent Unit은 LSTM에서 좀 더 드라마틱한 변동을 준 모델이다. 이 모델에서는 하나의 업데이트 게이트에 forget gate와 input gate를 합쳤다. 그리고 cell state와 hidden state 또한 합치고, 어떠한 변동 또한 주었다. 이 결과로 나오게 된 모델은 기존의 LSTM 모델보다 훨씬 간단하다. 다음의 그림은 GRU의 구조를 나타낸 것이다.

 

그림 12. GRU

 

 

 

 

참고문헌 및 참고 이미지

https://colah.github.io/posts/2015-08-Understanding-LSTMs/

Understanding LSTM Networks -- colah's blog