ALBERT: A Lite BERT for Self-supervised Learning of Language Representations 논문 리뷰

The overview of this paper

자연어를 pretraining할 때 증가된 모델의 크기는 downstream task에 대해 향상된 성능을 보여준다. 하지만, GPU 또는 TPU 메모리 제약에 가로막혀 training time에 제한이 생기게 된다. 이를 해결하기 위해 이 논문에서는 두 개의 parameter reduction 기술을 소개함으로써 기존의 BERT에서 적은 메모리 사용으로 더 향상된 속도의 training을 보여줬다. 종합적인 실험적 증거들은 제안된 방법이 기존의 BERT보다 더욱 잘 scale함을 보여줬다. 그리고 또한 inter-sentence의 일관성을 모델링하는 것에 집중하는 self-supervised loss를 사용하고, 이것이 다중 sentence 입력과 함께 하는 downstream task에 도움을 주었다. 그 결과, 여러 데이터셋에서 SoTA를 차지할 수 있었다.

 

 

 

Table of Contents

1. Introduction

2. The elements of ALBERT

   2-1. Model architecture choices

   2-2. Model setup

3. Discussion

 

 

1. Introduction

full network pre-training은 language representation learning에서 수많은 발전을 이루어 왔다. 수많은 NLP task에 대해 제한된 훈련 데이터로, 각 방법만의 pre-trained 방법으로 최대의 이익을 끌어냈다. 이러한 발전에 대한 강력한 신호 중에 하나는 중국의 중고등학교 영어 시험인 RACE 시험을 위해 고안된 독해 과제에 대한 기계 성능의 진화이다. 이 RACE 데이터셋에 대해 처음으로 사용한 논문에서는 machine accuracy가 44.1% 정도였는데, 이 논문에서는 이 성능을 45.3% 끌어올린 89.4%를 기록하였다.

이러한 발전에 대한 증거는 거대한 network가 SoTA를 차지하는데 매우 중요하다고 밝혔다. model을 pre-train 하는 것과 이를 작은 하나의 모델로 나누는 것이 이제는 평범한  방법이 되었다. model의 크기의 중요성에 대해 주어진다면, 사람들은 다음과 같이 질문할 것이다. '더 나은 NLP모델을 갖는 것이 더 큰 모델을 갖는 만큼 쉬운가요?'

이 질문에 대답하기 위한 장애물은 하드웨어의 사용 가능한 메모의 제약이다. 현재의 SoTA를 달성한 모델들은 주로 몇백, 몇백만, 또는 몇십억 개의 parameters를 가지고 있기 때문에, 모델의 크기를 증가시키려고 할 때, 이와 같은 제약을 만나기 쉽다. communication overhead가 모델의 parameters에 정비례하기 때문에 분산 교육에서는 교육 속도가 크게 저하될 수 있다.

앞서 설명한 문제에 대한 솔루션에는 모델 병렬화와 현명한 메모리 관리가 있다. 이러한 솔루션들은 메모리 제한 문제를 해결하지만, communication overhead의 문제를 해결하지는 못한다. 이 논문에서는 앞서 언급한 모든 문제점들을 A Lite BERT 즉, ALBERT architecture을 디자인함으로써 해결하였다. 이 ALBERT는 기존의 BERT architecture 보다 더 적은 parameters를 가지고 있다.

ALBERT는 pre-trained model을 scaling하는데에 있어 주요 장애물을 제거하는 두 가지 parameter reduction 기술을 통합한다. 첫 번째는 factorized embedding parameterization이다. 거대한 어휘 임베딩 행렬을 두 개의 작은 행렬로 분해함으로써, 어휘 임베딩의 크기로부터 hidden layer의 크기를 분리한다. 이러한 분리는 어휘 임베딩의 parameter 크기를 늘리지 않고, hidden size를 손쉽게 늘릴 수 있게 만들어준다. 두 번째는 cross-layer parameter sharing이다. 이 기술은 parameter가 network의 깊이에 따라 커지는 것을 방지한다. 이 두 기술은 성능에 피해를 주지 않고, BERT에 대한 parameter의 수를 상당히 줄여줘서, parameter-efficiency를 향상시켜준다. ALBERT의 형태는 BERT_LARGE와 비슷하지만, 18배 정도 적은 parameter을 가지고, 1.7배 가량 더 빨리 훈련된다. 이러한 parameter reduction 기술은 또한 훈련을 안정화시키고 일반화를 도와주는 정규화 향태로 작동한다.

ALBERT의 성능을 향상시키기 위해, sentence-order prediction$($SOP$)$을 위한 self-supervised loss를 진행하였다. SOP는 주로 inter-sentence의 coherence에 집중하고 기존의 BERT에서 제안된 NSP loss의 무력함을 해결하기 위해 디자인 되었다.

이러한 디자인을 선택한 결과, BERT_LARGE보다 parameter의 양은 적지만 더 좋은 성능을 낼 수 있을만큼 ALBERT를 크게 만들 수도 있다. 이를 통해 여러 데이터셋에 대해 SoTA를 달성하였다.

 

2. The elements of ALBERT

이 섹션에서는, ALBERT에 대한 디자인 결정과 기존의 BERT architecture의 형태에 대한 정량화된 비교를 제공한다.

 

2-1. Model architecture choices

ALBERT의 토대는 GELU nonlinearity와 함께 Transformer encoder을 사용하는 BERT와 유사하다. 논문에서는 BERT의 표기법을 따라했고, 어휘 임베딩의 크기는 E로 지칭하였고, encoder layer의 수는 L, hidden size는 H로 지칭하였다. BERT와 마찬가지로, feed-forward/filter size를 4H로 지정하고, attention head의 수는 H/64로 지정하였다.

ALBERT가 BERT의 디자인 선택을 고친 것에 대한 세 가지 contribution은 다음과 같다.

 

Factorized embedding parameterization

BERT 뿐만 아니라 subsequent modeling 향상을 했던 XLNet, RoBERTa에서는, WordPiece 임베딩 크기 E는 히든 레이어의 크기인 H와 동점이다. i.e. $E\equiv H$. 이 결정은 다음과 같이 모델링과 실제적인 이유로 차선책으로 보인다.

모델링 관점으로는, WordPiece 임베딩은 문맥 독립적 representation을 학습하기 위한 반면, hidden layer 임베딩은 문맥 종속적인 representation을 학습하기 위한 것이다. 문맥 길이에 관한 실험에서 BERT와 유사한 representation의 힘은 문맥을 사용하여 이러한 문맥 종속적 representation을 학습하기 위한 신호를 제공하는 데에서 비롯됨을 나타낸다. hidden layer size H에서 WordPiece 임베딩 크기 E를 풀어내는 것은 총 모델 parameters의 사용을 모델링의 요구에 따라 더욱 효과적으로 만들어준다. 이것은 $H\gg E$를 지칭한다.

실용적인 측면에서, NLP는 보통 어휘 크기 V를 크게 요구한다. 만약 $E\equiv H$이면, H를 늘리는 것은 크기 $V\times E$를 가지는 임베딩 행렬의 크기를 늘린다. 이것은 몇십억개의 parameter를 가지는 모델을 만들어 낼 수 있다. 이 parameter 중에 대게는 훈련 중에 드문드문 업데이트된다.

그래서, ALBERT를 위해 임베딩 parameter을 두 개의 작은 행렬로 분해하는 factorization을 사용하였다. one-hot vector을 바로 hidden space size H에 곱하는 것 대신에, 처음에 낮은 차원의 embedding space 크기인 E와 곱하고, hidden space와 곱하였다. 이러한 분해를 사용함으로써, embedding parameters를 $O(V\times H)$에서 $O(V\times E+E\times H)$로 축소시켰다. 이러한 parameter reduction은 $H\gg E$일 때 매우 중요하다. 모든 word piece에 대해 동일한 E를 사용하기로 한 이유는 단어마다 embedding size를 다르게 지정하는 것이 중요한 전체 단어 포함에 비해 문서 전체에 훨씬 더 고르게 분포되기 때문이다. 

 

Cross-layer parameter sharing

ALBERT를 위해, parameter efficiency를 향상시키는 또 다른 방법으로 cross-layer parameter sharing을 제안하였다. parameter을 공유하는데 에는 다양한 방법이 있는데, 예를 들어 레이어 간에 오직 feed-forward network$($FFN$)$ parameter만을 공유할 것인가 또는, attention parameter만을 공유할 것인가 등이 있다. ALBERT의 기본값은 모든 parameter을 공유하는 것이다. 논문에서 진행된 실험에서는 이 기본값을 이용하여 진행되었다.

이와 비슷한 전략들이 Universial Transformer$($UT$)$와 Deep Equilibrium Models$($DQE$)$에서 이미 진행되었다. 이 논문관의 다른 점은 UT는 vanilla Transformer을 능가하는 성능을 보여줬다. 그리고 DQE는 특정 레이어의 입력 및 출력 임베딩이 동일하게 유지되는 평형점에 도달하게 된다. 이 논문의 방법에 대한 L2 distance 측정과 cosine similarity는 이 논문의 방법이 한 점에 모아지기 보다는 진동한다는 것을 보여줬다.

 

그림 1. BERT_LARGE와 ALBERT_LARGE의 L2 distance와 cosine similarity

위의 그림 1은 BERT_LARGE와 ALBERT_LARGE를 사용해서 각 레이어에 대한 입력과 출력 임베딩의 L2 distance와 cosine similarity을 보여주고 있다. 살펴보면, 레이어와 레이어 간의 변동은 ALBERT가 BERT보다 더욱 스무스하다는 것을 알 수 있다. 이러한 결과는 가중치 공유가 network parameters를 안정시키는데 효과적이라는 것을 보여준다. 비록 두 행렬 모두 BERT와 비교했을 때 감소하기는 하지만, 그럼에도 불구하고 24개의 레이어를 지나고도 0에 수렴하지는 않았다. 이것은 ALBERT의 parameter에 대한 solution space가 DQE에서 발견되는 것과는 매우 다르다는 것을 보여준다.

 

Inter-sentence coherence loss

추가적으로, masked language modeling$($MLM$)$ loss를 위해 BERT는 next-sentence prediction$($NSP$)$라고 불리는 추가적인 loss를 사용하였다. NSP는 예측을 위한 binary classification loss로 다음과 같이 분류를 한다. positive example은 훈련 corpus에서 이어지는 segment를 가지고 와서 생성되고, negative example은 서로 다른 문서에서 가져온 segment 짝으로 생성된다. 여기서 positive와 negative는 똑같은 비율로 생성된다. 이러한 NSP는 sentence pair 간의 관계에 대한 이유를 요구하는 natural language inference같은 downstream task에 대해 성능을 향상시키기 위해 디자인되었다. 하지만, 후속 연구들을 통해서 NSP의 영향은 신뢰할 수 없고 그래서 제거하기로 결정되었다.

논문에서는 이러한 NSP의 무능함에 대한 주 원인이 MLM과 같은 task만큼 어렵지 않기 때문이라고 추측했다. 고안된 것처럼, NSP는 topic prediction과 coherence prediction이 하나의 task로 융합되었다. 하지만, topic prediction은 copherence prediction에 비해 너무 쉽고, 또한 MLM loss를 사용하여 학습한 것과 더 많이 겹쳐진다. 

논문에서는 inter-sentence modeling이 language understanding에서 매우 중요한 측면이라고 주장하지만, 주로 coherence를 기반으로 하는 loss를 제안한다. 그 방법은 바로, ALBERT를 위해 사용된 sentence-order prediction$($SOP$)$ loss이다. SOP loss는 topic prediction을 피하는 대신에, inter-sentence coherence를 모델링하는 것에 집중하였다. SOP loss의 positive example은 BERT에서 사용되는 것처럼 사용되고, negative example은 똑같이 이어지는 두 개의 segment이지만, 이들의 순서가 뒤집혀있다. 이것은 모델이 discourse-level coherence 속성에 대한 보다 세분화된 구별을 배우도록 한다. NSP는 SOP의 모든 일을 해결할 수는 없지만, SOP는 NSP의 task를 어느 정도 해결 가능하다. 그 결과, ALBERT 모델은 multi-sentence encoding task에 대한 downstream task의 성능을 일관적이게 향상시켰다.

 

2-2. Model setup

BERT와 ALBERT 모델 간의 차이점을 비교 가능한 hyperparemeter 세팅과 함께 표 1에서 보여주고 있다. 위에서 언급한 디자인 선택 때문에, ALBERT 모델은 BERT 모델에 상응하는 parameter size에 비해 더 작다.

 

표 1. BERT와 ALBERT 구성 분석

예를 들어, ALBERT_LARGE는 BERT_LARGE에 비해 18배 가량 더 적은 parameter을 가진다. ALBERT_XLARGE의 형태는 H=2048이고, 오직 60,000,000개의 parameter을 가지고 ALBERT_XXLARGE의 형태는 H=4096이고, 233,000,000개의 parameter을 가진다. 이는 BERT_LARGE의 70%정도 밖에 안 된다. 

 

3. Discussion

ALBERT_XXLARGE는 BERT_LARGE에 비해 적은 parameter을 가지고, 더 좋은 성능을 내지만, 더 큰 구조로 인해서 더 많은 계산 비용이 든다. 다음 중요한 step은 훈련의 속도와 ALBERT의 추론 속도를 sparse attention과 block attention과 같은 방법을 통해 높여야 한다는 것이다. 연구의 orthogonal line는 추가적인 representation power을 제공하는데, 어려운 example mining과 더욱 효과적인 language modeling training을 포함한다. 또한 SOP가 더 나은 language representation으로 이어지는 보다 일관되게 유용한 학습 작업이라는 설득력 있는 증거가 있지만 현재 self-supervised learning loss에 의해 아직 캡처되지 않은 차원이 더 많을 수 있으며 추가 representation을 생성할 수 있다고 가정한다.

 

 

 

참고문헌

https://arxiv.org/abs/1909.11942

ALBERT: A Lite BERT for Self-supervised Learning of Language Representations