VL-BERT: Pre-training of Generic Visual-Linguistic Representations 논문 리뷰

The overview of this paper

 논문에서는 Visual-Linguistic BERT$($VL-BERT$)$라 불리는 visual-linguistic task를 위한 새로운 pre-train 가능한 포괄적인 representation을 소개하였다. VL-BERT는 간단하지만 강력한 Transformer model을 backbone으로 사용하여 시각적 및 언어적 embedded feature을 입력으로 받아서 확장하는 모델을 채택하였다. 입력값은 segment로부터 나온 word와 input 이미지로부터 나온 RoI feature이다. VL-BERT는 더욱 포괄적인 representation을 사용하기 위해 대규모의 Conceptual Captions 데이터셋과 text-only corpus를 함께 사용하여 pre-train 되었다. 그 결과 VL-BERT는 VCR 벤치마크에서 SoTA를 달성할 수 있었다.
 
 

Table of Contents

1. Introduction
2. VL-BERT

   2-1. BERT
   2-2. Model Architecture
   2-3. Pre-training VL-BERT
   2-4. Fine-tuning VL-BERT

3. Experiment

   3-1. Pre-training
   3-2. Fine-tuning on Downstream Task

4. Ablation Study
 
 

1. Introduction

 다양한 task에 대해서 각 task에 대해 포괄적인 feature representation을 pre-training 함으로써 다양한 deep network는 성공적인 performance를 보여줬다. 이와 같은 방식을 사용하여 image & language task 두 분야 모두에서 성공적인 결과를 얻을 수 있었다.
 
 반면에 vision과 language의 교차에 관한 task에 대해서는 pre-trained feature representation의 부족을 겪고 있다. 이전의 시도들은 base network의 pre-train을 task-specific한 방법으로 이미지 이해와 NLP 각각을 결합하는 방식을 사용하였다. task-specific model은 어떠한 포괄적인 visual-linguistic pre-training 없이, 구체적인 target task에 대해 직접 fine-tune된다. 그래서 task-specific model은 target task에 대한 데이터가 부족하면 오버피팅을 겪을 수 있다. 또한 task-specific한 모델 디자인 때문에, pre-training으로부터 이익을 얻기 힘들다. 
 
 VL-BERT의 가장 핵심적인 목표는 시각적 및 언어적 도메인에서 multi-modal 정보를 효과적으로 종합하기 위한 것이다. 예를 들어서, VQA task에서 알맞은 대답을 뽑기 위해서, 네트워크는 질문과 대답으로부터 언어 정보를 통합하는 권한을 줘야하고 입력 이미지로부터 시각적 정보를 종합해야 한다. 이렇게 함으로써 시각적 정보를 사용하여 언어적 의미를 정렬할 수 있었다. 따라서 논문에서는 효율적으로 시각적 및 언어적 정보를 종합하고 정렬할 수 있게 포괄적인 representation을 얻을 수 있도록 노력하였다.
 
 BERT로부터 영감을 받아서 visual-linguistic task를 위한 pre-train 가능한 포괄적인 representation인 VL-BERT를 개발하였다$($그림 1$)$. VL-BERT의 backbone은 Transformer module로 시각적 및 언어적 embedded feature을 입력으로 받는다. 이 입력 embedded feature은 입력 문장으로부터 나온 word와 입력 이미지로부터 나온 RoI로 이루어져있다. 여러 Transformer attention module을 거치면 'visual-linguistic' 단서를 모으고 정렬하는 풍부한 능력을 얻었다. 그리고 구체적 visual-linguistic task 위에 task-specific branch가 추가될 수 있다.
 
 포괄적 representation을 잘 활용하기 위해서, 논문에서는 거대한 visual-linguistic corpus와 text-only dataset과 함께 pre-train 된다. visual-linguistic corpus에서 pre-training loss는 랜덤하게 masking된 word 또는 RoI를 예측하면서 발생한다. 이러한 pre-training은 visual-linguistic 단서를 종합하고 정렬하는 VL-BERT의 능력을 더욱 강렬하게 만들어 준다. text-only corpus 에서의 loss는 BERT의 MLM loss이고, 이것은 길고 복잡한 문장에 대해서 정규화를 향상시켜준다. 
 
 

2. VL-BERT

2-1. BERT
 

 VL-BERT의 backbone이 되는 BERT에 대해서 알아보는 섹션이다. BERT에 대한 내용은 BERT paper review 포스트로 대체하도록 하겠다.
 
BERT paper review: https://cartinoe5930.tistory.com/entry/Pre-trained-Language-Modeling-paper-reading2-BERT-Pre-training-of-Deep-Bidirectional-Transformers-for-Language-Understanding

Pre-trained Language Modeling paper reading(2) - BERT: Pre-training of Deep Bidirectional Transformers for Language Understandin

 

2-2. Model Architecture
 

그림 1. VL-BERT를 위한 pre-training 구조

 

 그림 1은 VL-BERT의 구조를 묘사하고 있다. 기본적으로 VL-BERT는 visual content를 수용하기 위해 기존의 BERT 모델에 새로운 요소와 input feature embedding에 새로운 유형의 visual feature을 추가하였다. BERT와 유사하게 backbone은 multi-layer 양방향 Transformer encoder인데, 이 구조는 모든 입력 요소에 대해 dependency modeling을 가능하게 해준다. BERT가 문장의 단어만을 처리하는 것과 달리, VL-BERT는 시각적 및 언어적 요소를 입력으로 받는다. 이들은 각각 이미지로부터 나온 RoI와 입력 문장의 sub-word이다. RoI는 object detector에 의해 생성될 수 있는 바운딩 박스 혹은 특정 task의 주석이 될 수 있다.
 
  서로 다른 visual-linguistic task에 대해서 입력 형식은 다양하다. Transformer attention의 순서가 없는 representation 환경에 감사하게도, 입력 요소와 임베딩 기능이 적절하게 설계되는 한 generic representation을 얻을 수 있다. 입력 요소로는 3개가 들어오는데 각각 visual, linguistic, 서로 다른 입력 형식의 모호함을 없애기 위한 스페셜 요소이다. 그 다음에 입력 시퀀스는 항상 스페셜 분류 요소 $($[CLS]$)$로 시작한 다음에, linguistic 요소가 오고, visual 요소가 온다. 마지막에는 스페셜 엔딩 요소 $($[END]$)$로 끝난다. linguistic 요소에서 서로 다른 문장을 구분하기 위해 스페셜 분리 요소 $($[SEP]$)$가 서로 다른 문장 안에 들어가고, linguistic과 visual 요소 사이에도 들어간다. 각각의 입력 요소에 대해, 이들의 embedding feature은 token embedding, visual feature embedding, segment embedding, sequence position embedding 이렇게 4개의 embedding의 합이다. 이들 중에 visual feature embedding은 visual 단서를 캡처하기 위해 새롭게 소개되었다. 이 외에 다른 3개의 embedding은 기존의 BERT 논문의 디자인을 따랐다.
 
Token Embedding  BERT를 따라서 linguistic word는 WordPiece embedding을 사용하여 임베딩되었다. 스페셜 토큰은 각각의 스페셜 요소에 할당된다. visual 요소를 위해 스페셜 [IMG] 토큰은 그들 각각에 할당된다.
 
Visual Feature Embedding  visual appearance feature & visual geometry embedding이 있는데, 이 둘을 합쳐서 visual feature embedding을 만들었다.
 
 RoI에 해당하는 시각적 요소에 대해, visual appearance feature은 Fast R-CNN detector를 적용함으로써 추출하였다. 여기서 각 RoI의 출력 레이어 이전의 feature vector는 visual feature embedding으로 사용된다. 비시각적 요소에 대해 visual appearance feature에 해당하는 feature는 전체 입력 이미지에서 추출되었다. 이들은 전체 입력 이미지를 덮는 RoI에 Faster R-CNN을 적용하여 얻어졌다.
 
 visual geometry embedding은 VL-BERT에세 이미지에서 각 입력 시각적 요소의 geometry location을 알려주기 위해 디자인 되었다. 각각의 RoI는 $(\frac {x_{LT}}{W}, \frac {y_{LT}}{H}, \frac {x_{RB}}{W}, \frac {y_{RB}}{H})$의 4차원 벡터로 이루어져 있다. 여기서 $(x_{LT}, y_{LT})$는 왼쪽 맨위를 나타내고, $(x_{RB}, y_{RB})$는 오른쪽 아래를 나타낸다. 당연히 W는 width, H는 height를 나타낸다. 이 4차원 벡터는 고차원 representation으로 변형을 위해 서로 다른 wavelength의 sine & cosine function을 계산한다.
 
 visual feature embedding은 각 입력 요소에 부착된다. 이것은 visual appearance feature와 visual geometry embedding의 조합을 입력으로 받는 fully connected layer의 출력이다.
 
Segment Embedding  A, B, C 3개의 segment는 서로 다른 소스로부터 얻은 별개의 입력 요소를 정의한다. 여기서 A와 B는 각각 첫 번째 입력 문장과 두 번째 입력 문장들로부터의 단어이고, C는 입력 이미지로부터 얻은 RoI이다. 예를 들어 <Question, Answer, Image> 입력 형식에 대해, A는 Question, B는 Answer, C는 Image를 의미한다. <Caption, Image>에 대해서는, A가 Caption, C는 Image를 의미한다. 학습된 segment embedding은 모든 입력 요소에 추가되서 어떤 segment인지를 가리켜준다.
 
Sequence Position Embedding  BERT와 똑같이 학습 가능한 sequence position embedding은 input sequence의 순서를 가리키기 위해 모든 입력 요소에 추가된다. 입력 시각적 요소에는 자연적 순서가 없기 때문에 입력 시퀀스에 어떤 순열이 오든 간에 똑같은 결과가 나온다. 따라서 모든 시각적 요소를 위한 sequence position embedding은 똑같다.
 

2-3. Pre-training VL-BERT

 
 VL-BERT의 generic feature representation은 적절하게 디자인된 pre-training task를 사용하여 대규모의 데이터셋에서 pre-train을 가능하게 하였다. 논문에서는 VL-BERT를 visual-linguistic과 text-only 데이터셋에서 pre-train 하였다. 여기서 visual-linguistic corpus로 Conceptual Caption 데이터셋을 활용하였다. Conceptual Caption 데이터셋의 caption은 주로 간단한 구절로 이루어져 있어서 downstream task에 적용하기에는 너무 짧고 간단하다. 짧고 간단한 text scenario에서 발생하는 overfitting을 피하기 위해 long & complex 문장이 있는 text-only corpus에서도 pre-train 되었다. 이를 위해 BERT의 pre-training에도 사용되는 BooksCorpus와 English Wikipedia 데이터셋을 활용하였다.

SGD training에서 각각의 mini-batch 안의 샘플들은 Conceptual Captions와 Books-corpus & English Wikipedia로부터 랜덤하게 뽑아진다 $($1:1의 비율$)$. Conceptual Captions로부토 뽑아진 샘플인 VL-BERT의 입력 형식은 <Caption, Image>이다. 여기서 이미지의 RoI는 pre-trained Faster R-CNN object detector에 의해 위치가 찾아지고 카테고리화 된다. 두 개의 pre-training task는 loss를 활용하기 위해 사용된다.

Task #1: MLM with Visual Clues.  이 task는 BERT에서 활용되는 MLM과 유사하다. 가장 큰 차이점은 visual과 linguistic content 간의 의존성을 캡처하기 위해 visual clue가 VL-BERT에 사용된다. pre-training 중에 입력 문장의 각 단어들은 랜덤하게 마스킹된다. 모델은 masked word를 unmasked word와 visual feature에 기반해서 예측하기 위해 학습된다. 이 task는 네트워크에게 sentence word의 의존성을 모델링할 뿐만 아니라 visual content와 linguistic content를 정렬한다. pre-training 중에 masked word에 해당하는 최종 출력은 전체 vocabulary 위로 classifier에 들어간다. 이 값은 Softmax cross-entropy loss로 얻어진다.

Task #2: Masked RoI Classification with Linguistic Clues.  이 task는 Task #1의 이중 태스크이다. 이미지의 RoI는 랜덤하게 mask out 되고, pre-training task는 서로 다른 증거로부터 masked RoI의 카테고리 라벨을 예측한다. 서로 다른 요소의 visual feature embedding으로부터 발생하는 visual clue 누수를 피하기 위해 masked RoI에 있는 픽셀들은 Fast R-CNN이 적용되기 이전에 zero out 된다. pre-training 중에 masked RoI에 해당하는 최종 output feature는 object category 분류를 위해 softmax cross-entropy loss를 사용하여 classifier에 들어간다. pre-trained Faster R-CNN에 의해 예측된 카테고리 라벨은 ground-truth로 설정된다.

요약하면 visual-linguistic corpus에서의 pre-training은 visual content와 linguistic content 간의 정교한 정렬을 향상시켜준다. 반면에 text-only corpus에서의 pre-training은 길고 복잡한 문장에 대한 이해가 필요한 downstream task를 용이하게 해준다.

2-4. Fine-tuning VL-BERT

VL-BERT는 다양한 visual-linguistic task를 위해 generic feature representation이 되도록 설계되었다. 이는 VL-BERT가 다양한 downstream task에 대해 비교적 간단하게 fine-tune할 수 있게 해준다. 이를 위해 VL-BERT에 적절한 형식의 입력과 출력을 사용하여 모든 네트워크 파라미터에 대해 종단 간에 fine-tune 되어야 할 필요가 있다. VL-BERT는 또한 더 많은 문장과 더 많은 이미지를 사용하기 위해 적절한 segment embedding을 사용하였다. 출력에서 보통 [CLS] 요소의 최종 출력 feature는 sentence-image-relation level의 예측을 위해 사용되었다. 그리고 입력과 출력의 형식에 따라 task-specific loss 함수와 학습 전략은 따로 튜닝되어야 한다.

 

 

3. Experiment

3-1. Pre-training

 

 섹션 2-3. 에서 VL-BERT는 Conceptual Captions를 visual-linguistic corpus로, BooksCorpus & English Wikipedia를 text-only corpus로 해서 공동으로 pre-train 하였다. VL-BERT는 기존의 BERT model에서 시각적 정보를 캡처하기 위해 새로운 입력을 추가하였다. 그리고 파라미터들은 기존의 BERT와 똑같이 초기화하였다. 

 

 Conceptual Captions 에서 pre-training 하기 전에 pre-trained Faster R-CNN을 RoI를 추출하기 위해 적용하였다. 특히 각각의 이미지에 대해 score가 0.5를 능가하는 최대 100 개의 RoI를 선택하였다. 최소로는, score 기준점을 생각하지 않고 이미지에서 10개의 RoI를 선택하였다. 

 

3-2. Fine-tuning on Downstream Tasks

 

 pre-trained VL-BERT는 다양한 downstream visual-linguistic task에 대해 fine-tune 되었다. 그리고 이때 입력 형식과 출력 예측, loss 함수, 학습 전략에 간단한 조정을 가하였다. 다음의 그림 2는 각각의 visual-linguistic downstream task에 대해 서로 다른 입력과 출력 형식을 보여준다.

 

그림 2. 서로 다른 visual-linguistic task의 fine-tuning에 대한 입력 및 출력 형식

 

실험 결과에 대해서는 표만 첨부하고 따로 설명은 하지 않겠다.

 

VCR$($VIsual Commonsense Reasoning$)$

 

표 1. VCR 데이터셋에 대한 SoTA 모델과 VL-BERT의 성능 비교

 

VQA$($Visual Question Answering$)$

 

표 2. VQA 데이터셋에 대한 SoTA 모델과 VL-BERT의 성능 비교

 

Referring Expression Comprehension

 

표 3. Referring Expression Comprehension 데이터셋에 대한 SoTA 모델과 VL-BERT의 성능 비교

 

4. Ablation Study

 다음의 표 4는 VL-BERT pre-training의 중요한 디자인 선택에 대한 변형을 주었을 때의 결과를 보여준다. 

 

표 4. VL-BERT를 위한 ablation study

 

 전반적으로 VL-BERT의 pre-training은 3개의 downstream task에 대해 전반적으로 성능을 향상시켰다. 성능 향상의 정도는 task에 따라서 상이하였다. 그 결과 이 모든 세팅을 종합한 VL-BERT가 가장 좋은 성능을 보여줬다.

 

 

 

 

출처

https://arxiv.org/abs/1908.08530

VL-BERT: Pre-training of Generic Visual-Linguistic Representations