ELECTRA: Pre-training Text Encoders as Discriminators rather than Generators 논문 리뷰

The overview of this paper

BERT에서는 token을 [MASK]로 바꾸면서 입력에 손상을 주고, 이렇게 대체된 토큰을 기존의 토큰으로 재구조하는 Masked language modeling$($MLM$)$ pre-training 방법을 사용한다. 이러한 방법은 dowastream NLP task을 진행할 때, 좋은 결과를 보여주지만, 효과적으로 진행하기 위해서는 거대한 양의 컴퓨팅이 수행되어야 한다. 이에 대한 대안으로, 논문에서는 replaced token prediction이라는 sample-efficient 한 pre-training task를 제안하였다. 그다음에, 모델이 손상된 토큰의 기존 정체성을 예측하게 학습시키는 것 대신에, 손상된 입력의 각 토큰이 generator sample로 대체되었는지 여부를 예측하는 discriminative model을 훈련한다. 실험을 토해 이러한 새로운 pre-training task가 MLM보다 효과적이라고 설명했다. 왜냐하면 task가 masking 된 작은 subset에 대해 정의되기보다는 모든 입력 토큰에 대해서 정의되기 때문이다. 그 결과, 이 논문에서 소개하는 방법을 훈련된 모델이 똑같은 모델의 크기와 데이터, 컴퓨팅을 갖는 BERT의 성능을 능가하는 것을 알 수 있었다. 그리고 논문에서 소개된 방법은 scale에 대해 또한 잘 작동하였다.

 

 

The Table of Contents

1. Introduction

2. Method

3. Efficiency analysis

4. Conclusion

 

 

1. Introduction

현재의 SoTA representation learning 모델들을 보면 모두 autoencoder을 denoising 하는 방향으로 학습되고 있다. 이 방법들은 라벨링이 되지 않은 입력 시퀀스의 조그만 subset을 선택하고, 이러한 토큰들에 대해 masking을 하거나 attention을 한 뒤에, network를 학습시켜서 기존의 입력을 되찾는다. 이러한 방법들은 전통적인 language-model pre-training보다 더 나은 성능을 보여주는데 왜냐하면 representation을 양방향으로 학습하기 때문이다. 이러한 masked language modeling$($MLM$)$은 상당한 양의 컴퓨팅 비용을 초래하는데, 왜냐하면 network는 각 예시에 대해 15% 정도의 토큰만 학습하기 때문이다.

이에 대한 대안으로, 논문에서는 replaced token prediction을 소개하였다. 이 방법은 pre-training task로, 그럴듯한 token이지만 생성된 replacement으로부터 실제 token을 구분하는 과정을 통해 학습된다. 이 방법은 masking을 하는 대신에, 작은 masked language model의 출력인 제안 분포로부터 sampling 된 token들과 함께 입력을 손상시킨다. 이러한 손상 preocedure은 BERT에서 발생하는 훈련 중에는 [MASK] 토큰을 보지만, fine-tuning 중에는 이 토큰을 보지 못하는 부조화를 해결한다. 그다음에, 모든 토큰에 대해 이 토큰이 original인지 아니면 replacement인지 구별하는 discriminator처럼 network를 학습시킨다. 이와는 반대로, MLM은 손상된 토큰에 대해 기존 정체성을 예측하는 생성자의 입장으로 network를 학습시킨다. 논문에서 소개하는 방법의 장점은 small subset에서만 학습하는 것이 아니라, 모든 토큰들로부터 학습되므로, 컴퓨팅 비용이 효과적이라는 점이다. 비록 논문에서 소개하는 방법이 GAN의 discriminator을 학습시키는 것을 연상시키지만, 논문에서 소개하는 방법은 텍스트에 GAN을 적용하는 것이 어렵기 때문에 손상된 토큰을 생성하는 generator가 최대 likelihood로 훈련된다는 점에서 적대적이지 않다.

이러한 접근 방법을 "Efficiently Learning an Encoder that Classifies Token Replacements Accurately"을 줄여서 ELECTRA라고 부른다. 이전의 작업들처럼 논문에서는 Transformer text encoder을 pre-train 한 뒤에, downstream task에 대해 finetune 하게 만들었다. ablation study를 통해 ELECTRA가 모든 입력 토큰에 대해 학습을 진행하므로, BERT보다 더 빠른 속도를 보여준다는 사실이 밝혀졌다. 그리고 ELECTRA가 완전히 학습되었을 때, 더 높은 정확도를 가진다는 사실을 알게 되었다.

현재 대다수의 pre-training method들은 효과적이기 위해 거대한 양의 컴퓨팅을 요구하는데, 이는 이들의 비용과 가용성에 대한 걱정을 제기한다. 더 많은 컴퓨팅을 사용한 사전 교육은 거의 항상 더 나은 downstream 정확도로 이어지기 때문에 pre-training 방법에 대한 중요한 고려 사항은 절대 downstream 성능뿐만 아니라 컴퓨팅 효율성이어야 한다고 주장한다. 이 관점에서, 논문에서는 다양한 크기의 ELECTRA 모델을 학습시키고, 이들의 컴퓨팅 요구와 downstream task의 성능을 평가하였다. 다양한 데이터셋에 대해 ELECTRA을 적용해본 결과, 똑같은 크기의 BERT와 XLNet 같은 MLM 기반의 method들보다 상당한 성능 향상을 보여줬다. 이 결과는 다음의 그림 1을 보면 확인할 수 있다. 종합하면, 논문에서의 결과는 challenging negative example로부터 실제 데이터를 구별하는 discriminative task가 language representation 학습을 위한 기존의 생성적 접근 방식보다 더 계산 효율적이고 parameter 효율적이라는 것을 나타낸다. 

 

그림 1. ELECTRA 성능 비교 그래프

 

2. Method

다음의 그림 2에 이 논문에서 제안하는 replaced token detection pre-training task에 대한 개요가 설명되어 있다. 여기서 generator는 어떠한 모델이든 다 될 수 있지만, 논문에서는 discriminator와 함께 훈련되는 small masked language model을 사용하였다. 비록 모델이 GAN과 유사하게 구조되어있긴 하지만, GAN을 text에 적용하는 데에는 어려움이 있기 때문에 적대적으로 학습시키기보다는 maximum likelihood로 학습시켰다. pre-training 후에는 generator는 치워버리고, 오직 downstream task에 대해 discriminator만 fine-tuning 하였다.

 

그림 2. replaced token detection 개요

논문에서 제안하는 방법은 generator G와 discriminator D 두 개의 신경망을 학습시킨다. 각각은 주로 입력 토큰 $\mathbf{x} = [x_{1}, x_{2},...,x_{n}]$을 문맥적 벡터 representation인 $h(\mathbf{x})=[h_{1},...,h_{n}]$으로 매핑하는 Transformer network의 encoder로 이루어져 있다. position t가 주어지면, $(x_{t} = [MASK])$ generator는 softmax 레이어로 특정 토큰 $x_{t}$를 생성할 확률을 출력한다. 

 

수식 1. generator 수식

여기서 $e$는 token embedding을 가리킨다. position t가 주어지면, discriminator는 sigmoid 출력 레이어와 함께 token $x_{t}$를 'real'로 예측한다. 'real'이라는 의미는 generator로 생성된 분포보다는 데이터에서 온 token이라는 의미이다. 

 

수식 2. discriminator 수식

generator는 masked language modeling$($MLM$)$을 수행하기 위해 학습된다. 입력 $\mathbf{x} = [x_{1}, x_{2},...,x_{n}]$가 주어지면, MLM은 처음에 mask out $\textbf{m}=[m_{1},...,m_{k}]$할 position을 랜덤 하게 선택한다. 선택된 position의 토큰들은 [MASK] 토큰으로 대체된다. 논문에서는 이것을 $\textbf{x}^{masked}=REPLACE(\textbf{x}, \textbf{m}, [MASK])$으로 나타낸다. 그다음에, generator는 masked-out 된 token의 original 정체성을 예측하기 위해 학습된다. 더욱 자세하게, 손상된 예시 $\textbf{x}^{corrupt}$을 masked-out 된 토큰을 generator sample로 대체함으로써 생성되고, discriminator을 기존의 입력 $\textbf{x}$와 $\textbf{x}^{corrupt}$가 일치하는지 예측하기 위해 학습된다. 모델의 입력들을 공식화하면 다음과 같다.

 

수식 3. model의 inputs

그리고 손실 함수는 다음과 같다.

 

수식 4. loss function

비록 GAN의 학습 방식과 유사하지만, 여기에는 다양한 중요한 차이점이 있다. 첫 번째로, generator가 올바른 토큰을 생성했다면, 그 토큰은 'fake' 대신에 'real'로 고려된다. 이러한 점이 downstream task에서 성능을 향상시킨다는 점을 알아냈다. 더욱 중요한 것은, generator가 discriminator을 속이기 위해 적대적으로 학습되는 것이 아니라, maximum likelihood로 학습된다는 사실이다. generator을 적대적으로 학습시키는 것은 generator로부터의 sampling을 역전파하는 것이 불가능하기 때문에, 어려운 task이다. 비록, 강화 학습을 사용하여 이 문제를 해결해보았지만, maximum-likelihood 학습보다 나쁜 성능을 보여줬다. 마지막으로, 보통 GAN에서 하는 것처럼, generator에 noise vector을 입력으로 주지 않았다.

논문에서는 raw text의 큰 corpus $\textrm{X}$에 대한 combined loss를 최소화한다.

 

수식 5. combined loss

논문에서는 단일 샘플로 예상되는 loss를 추정하였다. 논문에서는 generator을 통해 discriminator을 역전파하지 않았다. pre-training 후에는, generator을 집어치우고, downstream task에 대해 discriminator을 fine-tuning 하였다.

 

3. Efficiency analysis

논문에서는 token의 small subset에서 하는 masked language modeling이 효율적이지 않다는 것을 제기하였다. 하지만, 이것이 사실인지는 완전히 명확하지 않다. 결국에 모델은 적은 수의 masked token만 예측함에도 불구하고, 거대한 양의 입력 token을 받는다. ELECTRA를 통해서 얻어지는 이득을 더 잘 이해하기 위해서, 논문에서는 BERT와 ELECTRA 사이의 "디딤돌" 세트로 설계된 다른 pre-training 목표를 비교하였다.

• ELECTRA 15%: 이 모델은 오직 15%의 masked out 된 입력으로부터 오는 discriminator loss만을 제외하면, ELECTRA와 동일하다. 다른 말로는, 즉, discriminator loss인 $L_{Disc}$의 합은 1에서 n까지가 아니라 i∈m 이상이다.
• Replace MLM: 이 방법 또한 masked language modeling과 똑같지만, masked-out 토큰을 [MASK]로 대체하는 대신에, generator model로부터 생성된 토큰으로 대체한다. 이 테스트는 ELECTRA가 fine-tuning이 아닌 pre-training 중에 [MASK] 토큰에 모델을 노출하는 불일치를 해결함으로써 어느 정도까지 ELECTRA의 이득이 발생하는지를 테스트한다.
• All-Tokens MLM: Replace MLM과 마찬가지로, masked token은 generator의 sample로 변환된다. 게다가, 모델은 masked out 된 하나의 토큰뿐만 아니라, 입력의 전체 토큰에 대해서 정체성을 예측한다. 논문에서는 sigmoid 레이어를 사용하여 각 토큰에 대한 copy probability D를 출력하는 명시적 copy mechanism으로 이 모델을 훈련하는 것이 개선된 결과를 발견했다. 모델의 출력 분포는 입력 토큰에 D 가중치를 더하고 MLM softmax 출력의 1 - D 배를 더한다. 이 모델은 본질적으로, BERT와 ELECTRA의 조합이다. generator replacement가 없다면, 이 모델은 [MASK] 토큰에 대한 어휘에서 예측을 수행하고, 다른 항목에 대한 입력을 복사하는 방법을 사소하게 학습한다.

결과들은 다음의 표 1에 설명되어 있다. 처음으로, 논문에서는 ELECTRA가 하나의 subset에 대해서 loss를 가지기보다는 모든 입력 토큰에 대해서 loss를 가짐으로써 엄청난 이득을 본다는 것을 발견하였다. ELECTRA 15% 모델이 ELECTRA에 훨씬 못 미치는 성능을 낸 것처럼 말이다. 두 번째로, 논문에서는 BERT의 성능이 [MASK] 토큰 때문에 발생하는 pre-train과 fine-tune 간의 불일치로 인하여 성능이 살짝 감소한다는 것을 알아냈다. 마치 Replace MLM이 BERT의 성능을 웃도는 것처럼 말이다. BERT는 이미 pre-train과 fine-tune 간의 불일치를 도와주는 trick이 있는데, 그것은 masked token의 10% 정도는 [MASK] 토큰으로 바꾸지 않고, 그대로 놔두는 방식으로 불일치를 조금이나마 해소하려고 했다. 하지만, 논문에서 보여주는 결과는 이렇게 간단한 방법으로는 이 문제를 완전히 해결할 수 없다는 것을 알아내었다. 마지막으로, 논문에서는 All-Tokens MLM이 BERT와 ELECTRA 간의 gap을 가장 잘 메꿨다는 것을 알아냈다. 전체적으로 이러한 결과는 ELECTRA의 많은 개선이 모든 토큰으로부터의 학습에 기인할 수 있고 작은 개선점은 pre-train과 fine-tuning 간의 불일치 완화에 기인할 수 있음을 보여준다.

 

표 1. compute-efficiency 실험 결과

All-Tokens MLM에 비해 LEECTRA의 개선은 ELECTRA의 이점이 단순히 더 빠른 훈련 이상에서 나온다는 것을 보여준다. 논문에서는 이에 대해 BERT와 ELECTRA를 여러 모델 크기에 대해 비교함으로써 추가적으로 연구하였다$($그림 3의 왼쪽$)$. 그 결과, ELECTRA로부터 얻게 된 이점은 모델의 크기가 작아질수록 커진다는 것을 알게 되었다. 작은 모델은 수렴에 대해 완전히 학습된다 $($그림 3의 오른쪽$)$, 보면 ELECTRA가 완전히 학습되었을 때, BERT보다 downstream task에 대해서 더 높은 정확도를 가지는 것을 알 수 있다. 그래서 ELECTRA가 BERT보다 parameter-efficient 하다는 것을 추측해볼 수 있다, 왜냐하면 각 위치에서 가능한 토큰의 전체 분포를 모델링할 필요는 없지만 ELECTRA의 매개변수 효율성을 완전히 설명하려면 더 많은 분석이 필요하다고 생각했기 때문이다. 

 

그림 3. 왼쪽과 중간 그림은 다른 모델 크기에 대한 BERT와 ELECTRA의 비교. 오른쪽 그림은 small ELECTRA 모델이 BERT보다 더 높은 downstream accuracy에서 수렴함, 단지 빠르게 학습되는 것 외에도 더 개선점을 보여줌.

 

 

4. Conclusion

논문에서는 language representation에 대한 새로운 self-supervised task인 replaced token detection을 소개하였다. 메인 아이디어는 text encoder을 학습시켜서 small generator로부터 생성된 high-quality의 negative example로부터 입력 토큰을 구분하는 것이다. masked language modeling과 비교하여, 논문에서 제안된 방법은 더욱 compute-efficient 하고, downstream task에 대해 더 나은 성능을 보여준다는 것을 알 수 있었다. 상대적으로 적은 양의 컴퓨팅을 사용하는 경우에도 잘 작동하므로 컴퓨팅 자원에 대한 액세스가 적은 연구자와 실무자가 pre-trained 된 text encoder을 개발하고 적용할 수 있기를 바란다. 

 

 

 

참고문헌

https://arxiv.org/abs/2003.10555

ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators