Embedding Matrix 학습

Why I studied Embedding Matrix?

NLP 분야에서 중요하게 사용되는 Emebedding Matrix들에 대해 학습을 하였다. Embedding Matrix를 통해 문장에서 어떠한 단어나 문장이 얼마나 중요한 의미를 가지는지를 계산할 수 있게 된다. 

 

(수정): ELMo, BERT, GPT-1은 따로 논문 리뷰로 올리도록 하겠습니다.

Table of Contents

1. What is Language Model?

2. Count based word representation

   2-1. TF-iDF

3. Word Embedding

   3-1. Word2Vec

   3-2. GloVe

 

 

1. What is Language Model?

언어 모델 (Language Model)이란, 언어를 모델링하기 위해 단어 시퀀스(문장)에 확률을 할당하는 모델을 말한다. 이 언어 모델은 크게 통계를 활용한 모델과 인공 신경망을 이용한 모델로 나뉠 수 있다. 

위에서처럼 언어 모델은 단어 시퀀스에 확률을 할당하는 일을 하는데, 이를 풀어서 설명하면 가장 자연스러운 단어 시퀀스를 찾는 모델이라고 할 수 있다. 언어 모델링(Language Modeling)은 주어진 단어들을 이용하여 아직은 모르는 단어를 예측하는 작업을 말한다. 한마디로, 이전의 단어들을 이용하여 다음의 단어를 예측하는 일이다. 언어 모델링의 과정을 간단하게 나타내면 기계에게 어떤 문장이 주어졌을 때, 문장의 앞에 어떤 단어들이 나왔는지 고려해서 후보가 될 수 있는 여러 단어들에 대해 확률을 예측하고 가장 높은 확률을 가진 단어를 선택하는 과정으로 이루어져 있다.

 

통계적 언어 모델(Statistical Language Model, SLM)

LM의 전통적인 방법으로 통계적인 접근 방법을 이용하여 언어를 모델링한다.

각 단어는 문맥이라는 관계로 인해 이전 단어의 영향을 받아서 나온 단어이다. 그리고 모든 단어로부터 하나의 문장이 완성된다. 그렇기 때문에 문장의 확률을 구하고자 조건부 확률을 사용한다. 아래의 식을 문장의 확률 관점으로 적으면 문장의 확률은 각 단어들이 이전 간어가 주어졌을 때, 다음 단어로 등장할 확률의 곱으로 구성된다.

 

조건부 확률의 식

SLM은 이전 단어로부터 다음 단어에 대한 확률을 구할 때, 카운트에 기반하여 확률을 계산한다. 그 확률은 다음과 같다. 예를 들어서 기계가 학습한 코퍼스에서 n-1 번째의 단어까지가 포함된 문장이 100번 등장했을 때 다음에 n번째 단어가 등장한 경우가 40이라고 할 때, n-1번째 단어까지 포함된 문장이 나왔을 때, 다음에 n번째 단어가 나올 확률은 40%인 것이다.

하지만, 이 카운트 기반 접근에는 한계가 존재하는데 바로 희소 문제가 존재한다는 것이다. 희소 문제는 예를 들어 기계가 훈련한 코퍼스에 없는 문장이 주어지면 분모는 0이 되어 확률이 정의되지 않는다. 이와 같이 충분한 데이터를 관측하지 못해 언어를 정확히 모델링하지 못하는 문제를 희소 문제라고 한다.

 

N-gram 언어 모델(N-gram Language Model)

n-gram 모델은 여전히 카운트에 기반한 통계적 접근을 사용하고 있으므로 SLM의 일종이지만, 앞서 설명한 언어 모델과는 달리 이전에 등장한 모든 단어를 고려하는 것이 아니라 일부 단어만 고려하는 접근 방법을 사용한다. 여기서 n은 일부 단어를 몇 개를 보느냐를 결정하는 인자이다.

n-gram 모델은 코퍼스에서 카운트하지 못하는 경우의 감소를 위해서 만들어진 모델로, 단어의 확률을 구할 때 기준 단어의 앞 단어를 전부 포함해서 카운트하는 것이 아니라, 앞 단어 중 임의의 개수만 포함해서 카운트해 근사하자는 것이다. 이렇게 하면 갖고 있는 코퍼스에서 해당 단어의 시퀀스를 카운트할 확률이 높아진다.

이때 임의의 개수를 정하기 위해 사용하는 것이 n-gram이다. 갖고 있는 코퍼스에서 n개의 단어 뭉치 단위로 끊어서 이를 하나의 토큰으로 간주한다. n-gram을 사용할 때 명칭은 다음과 같다.

• n = 1: unigram  /  n = 2: bigram  /  n = 3: trigram  /  n = 4, 5, ..., n: n-gram

n-gram을 통한 언어 모델에서는 다음에 나올 단어의 예측은 오직 n-1개의 단어에만 의존한다. 예를 들어 'I have an apple and'라는 문장이 있을 때, n=4라고 하는 4-gram으로 언어 모델을 사용한다고 할 때, and 다음에 올 단어를 예측하는 것은 n-1에 해당하는 3개의 단어만을 고려한다. --> 'an apple and'만 사용

하지만 n-gram에도 한계가 존재하는데 다음이 n-gram model의 한계점을 보여준다.

1. 희소 문제(Sparsity Problem): n-gram model도 일부의 단어만 보는 것으로 희소 문제를 약소하게나마 해결하였지만, 그래도 아직 존재한다.
2. n을 선택하는 것은 trade-off 문제: n을 크게 선택하면 실제 훈련 코퍼스에서 해당 n-gram을 카운트할 수 있는 확률은 적어지므로 희소 문제는 점점 심각해진다. 또한 n이 커질수록 모델 사이즈가 커진다는 문제점도 있다. 반면에 n을 작게 선택하면 훈련 코퍼스에서 카운트는 잘 되겠지만 근사의 정확도는 현실의 확률분포와 멀어진다. 따라서 정확도를 높이려면 n은 최대 5를 넘어서는 안 된다고 권장한다.

 

2. Count based word representation

텍스트를 수치화를 통해 통계적 접근 방법으로 여러 문서로 이루어진 텍스트 데이터가 있을 때 어떤 단어가 특정 문서 내에서 얼마나 중요한 것인지를 나타낸다.

 

2-1. TF-iDF(단어 빈도-역 문서 빈도, Term Frequency-Inverse Document Frequency)

TF-iDF는 단어의 빈도와 역 문서 빈도를 사용해 DTM내 각 단어들마다 중요한 정도를 가중치로 주는 방법이다. TF-iDF는 TF와 iDF를 곱한 값을 의미하는데 이를 다음과 같이 식으로 표현해 보았다. d: 문서, t: 단어, n: 문서의 총 개수

1. tf(d, t): 특정 문서 d에서 특정 단어 t의 등장 횟수
2. df(t): 특정 단어 t가 등장한 문서의 수
3. idf(d, t): df(t)에 반비례하는 수. iDF는 말 그대로 DF에 역수를 취하는 것인데 log와 분모에 1을 더해주는 식을 사용한다. 이는 log를 사용하지 않으면 총문서의 수 n이 커질수록 iDF의 값을 기하급수적으로 커지게 된다. 따라서 log를 사용하는 것이다.

iDF 수식

TF-iDF는 모든 문서에서 자주 등장하는 단어는 중요도가 낮다고 판단하고, 특정 문서에서만 자주 등장하는 단어는 중요도가 높다고 판단한다. 한마디로, TF-iDF 값이 낮으면 중요도가 낮은 것이며, TF-iDF 값이 크면 중요도가 큰 것이다. 

 

 

3. Word Embedding

워드 임베딩(Word Embedding)은 단어를 벡터로 표현하는 방법으로, 단어를 밀집 표현으로 변환한다. 

밀집 표현은 희소 표현과 반대되는 표현으로, 벡터의 차원을 단어 집합의 크기로 상정하지 않고, 사용자가 설정한 값으로 모든 단어의 벡터 표현의 차원을 맞춰준다. 또한, 이 과정에서 더 이상 0과 1만 가진 값이 아니라 실수값을 가지게 된다. 예를 들어서 사용자가 밀집 표현의 차원을 128로 설정하면, 모든 단어의 벡터 표현의 차원은 128로 바뀌면서 모든 값이 실수가 된다. --> [0.2, 0.4, 1.7, -3.9, 2.3,...]   이 경우에 벡터의 차원이 조밀해졌다고 해서 밀집 벡터라고 한다.

단어를 밀집 벡터의 형태로 표현하는 방법을 워드 임베딩(word embedding)이라고 한다. 그리고 이 밀집 벡터를 워드 임베딩 과정을 통해 나온 결과라고 하여 임베딩 벡터(embedding vector)라고 한다.

 

3-1. Word2Vec

원-핫 벡터는 단어 벡터들 간의 유의미한 유사도를 계산할 수 없는 단점이 있는데, 그래서 벡터 간의 유의미한 유사도를 반영할 수 있도록 단어의 의미를 수치화할 수 있는 방법이 필요한데 그 대표적인 방법이 Word2Vec이다. 

Word2Vec의 학습 방법은 다음과 같다. 희쇼 표현이 고차원에 각 차원리 분리된 표현 방법이라면, 분산 표현은 저차원에서 단어의 의미를 여러 차원에다가 분산하여 표현한다. 이러한 표현 방법을 사용하면 단어 벡터 간의 유의미한 유사도를 계산할 수 있다.

Word2Vec의 학습 방식에는 CBOW와 Skip-Gram 두 가지 방식이 있다. CBOW는 주변에 있는 단어들을 입력으로 중간에 있는 단어들을 예측하는 방법이다. 반대로, Skip-Gram은 중간에 있는 단어들을 입력으로 주변 단어들을 예측하는 방법이다. 이 둘에 대해 살펴보겠다.

CBOW(Continuous Bag of Words)

예문: "THe fat cat sat on the mat"

 

위와 같은 예문이 있다고 할 때, ['The', 'fat', 'cat', 'on', 'the', 'mat']으로부터 sat을 예측하는 것은 CBOW가 하는 일이다. 이때 예측해야 하는 단어 sat을 중심 단어(center word)라 하고, 예측에 사용되는 단어들을 주변 단어(context word)라 한다. 중심 단어를 예측하기 위해서 앞, 뒤로 몇 개의 단어를 볼지를 결정해야 하는데 이 범위를 윈도우(window)라 한다. 예를 들어 위도우의 크기가 1이라고 하면 중신 단어를 기준으로 앞뒤의 각각 하나의 단어를 본다는 것이다. 윈도우의 크기가 정해지면 윈도우를 옆으로 움직여서 주변 단어와 중심 단어의 선택을 변경해 가며 학습을 위한 데이터 셋을 만드는데 이 방법은 슬라이딩 윈도우(sliding window)라고 한다. 

 

그림 1. BCOW 수행 과정 예시

 

위의 그림 1은 CBOW의 인공 신경망을 간단히 도식화한 것이다. 입력층의 입력으로 앞, 뒤로 사용자가 정한 윈도우 크기 범위 안에 있는 주변 단어들의 원-핫 벡터가 들어가고, 출력층에서 예측하고자 하는 중간 단어의 원-핫 벡터가 레이블로서 필요하다.

 

그림 2. BCOW 수행 과정

 

위의 그림 2는 CBOW의 인공 신경망을 좀 더 확대한 것이다. 위의 그림에서 주목해야 할 점은 두 가지인데 첫 번째는 투사층의 크기가 M이라는 점이다. CBOW에서 투사층의 크기 M은 임베딩하고 난 벡터의 차원이 된다. 두 번째는 입력층과 투사층 사이의 가중치 W는 V x M 행렬이며, 투사층에서 출력층 사이의 가중치 W'은 M x V 행렬이라는 점이다. 여기서 V는 단어 집합의 크기를 의미한다. 따라서 CBOW는 주변 단어로 중심 단어를 더 정확히 맞추기 위해 계속해서 이 W와 W'을 학습해 나가는 구조이다. 더 자세한 내용은 여기를 참고하길 바란다.

 

Skip-gram

CBOW에서는 주변 단어를 통해 중심 단어를 예측했다면, Skip-gram은 중심 단어에서 주변 단어를 예측한다. Skip-gram의 인공 신경망을 도식화하면 다음과 같다.

 

그림 3. Skip-gram 도식화

 

중심 단어에 대해서 주변 단어를 예측하므로 투사층에서 벡터들의 평균을 구하는 과정은 없다. 여러 논문에서 비교를 진행한 결과, Skip-gram이 CBOW보다 성능이 더 좋다고 알려져 있다.

 

3-2. GloVe

GloVe(Global Vectors for Word Representation)는 카운트 기반과 예측 기반을 모두 사용하는 방법론이다. 기존의 카운트 기반의 LSA(Latent Semantic Analysus)와 예측 기반의 Word2Vec의 단점을 지적하며 이를 보완하였다.

기존의 LSA는 DTM이나 TF-iDF 행렬과 같이 각 문서에서의 각 단어의 빈도수를 카운트한 행렬이라는 전체적인 통계 정보를 입력으로 받아서 차원을 축소해 잠재된 의미를 끌어냈다. 반면에, Word2Vec은 실제값과 예측값에 대한 오차를 손실 함수를 통해 줄여나가며 학습하는 예측 기반의 방법론이었다. 각각의 방법은 장,단점을 가지고 있는데 LSA는 카운트 기반으로 코퍼스의 전체적인 통계적 정보를 고려하기는 하지만, 단어 의미의 유추 작업에는 성능이 떨어진다. Word2Vec은 예측 기반으로 단어 간 유추 작업에는 LSA보다 뛰어나지만, 임베딩 벡터가 위도우 크기 내에서만 주변 단어를 고려하기 때문에 코퍼스의 전체적인 통계 정보를 반영하지는 못한다. GloVe는 이러한 기존 방법론들의 한계를 지적하며, LSA의 메커니즘이었던 카운트 기반의 방법과 Word2Vec의 메커니즘이었던 예측 기반의 방법론 두 가지를 모두 사용하였다.

 

동시 등장 확률(Co-occurrence Probability)

동시 등장 확률 P(k|i)는 동시 등장 행렬로부터 특정 단어 i의 전체 등장 횟수를 카운트하고, 특정 단어 i가 등장했을 때 어떤 단어 k가 등장한 횟수를 카운트하여 계산한 조건부 확률이다. 여기서 i를 중심 단어, k를 주변 단어라고 할 때, 동시 등장 행렬에서 중신 단어 i의 행의 모든 값을 더한 값을 분모로 하고 i행 k열의 값을 분자로 한 값이라고 볼 수 있다. 이에 대한 예시는 여기에서 확인할 수 있다.

 

손실 함수(Loss function)

GloVe의 아이디어를 한 줄로 요약하면 '임베딩 된 중심 단어와 주변 단어 벡터의 내적이 전체 코퍼스에서의 동시 등장 확률이 되도록 만드는 것'이라고 할 수 있다. 즉, 이를 만족하도록 임베딩 벡터를 만드는 것이 목표이다. GloVe의 손실 함수를 유도하는 과정은 너무 길어서 여기에서 설명하지는 않고 궁금하다면 여기에서 확인하길 바란다.

 

 

출처: https://wikidocs.net/book/2155