ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Visual-and-Language Tasks

The overview of this paper

 논문에서는 image와 language의 task-agnostic joint representation을 학습하기 위한 모델인 ViLBERT를 제안하였다. 이 모델은 NLP 분야에서 유명한 BERT architecture를 multi-modal two-stream model로 확장한 모델이다. 이로 인해 ViLBERT는 co-attentional transformer를 통해 상호작용하는 개별의 stream에서 시각적 및 언어적 입력을 함께 처리한다. 논문에서는 ViLBERT를 기존의 base architecture에 사소한 추가만을 하고 두 개의 proxy task를 자동으로 수집된 거대한 Conceptual Captions 데이터셋을 통해 pre-train 시키고, pre-trained model을 여러 개의 vision-language task에 적용해 보았다. 그 결과 기존의 task-specific model과 비교해서 상당히 향상된 성능을 보여줬다$($심지어 4개의 task에서 모두 SoTA를 달성했다$)$. 논문의 작업에서는 task training의 일부로만 vision과 language 사이의 학습에서 벗어나 시각적 기초를 사전 훈련 가능하고 양도 가능한 기능으로 취급하는 방향으로의 전환을 나타냈다.

 

 

Table of Contents

1. Introduction

2. Approach

   2-1. Preliminaries: BERT

   2-2. ViLBERT: Extending BERT to Jointly Represent Images and Text

3. Experimental Settings

   3-1. Training ViLBERT

   3-2. VIsion-and-Language Transfer Tasks

4. Results and Analysis

 

 

1. Introduction

 말을 시작하기 전에 유명한 프로젝트부터 함께 살펴보자.

 

 

 위의 글은 어떤 연구 프로젝트의 목표를 가져온 것인데, 해석해보면 "카메라를 컴퓨터와 연결하고 컴퓨터가 본 것에 대해서 설명할 수 있도록 만들어라."라는 문장이다. 이 내용, 어디선가 들어본 것 같지 않은가? 그렇다, vision-and-language task이다! 이러한 task는 이미지가 입력되고 그 이미지에 대한 자연어를 생성함으로써 컴퓨터가 그 이미지를 이해하게 하려는 것이다. 하지만 자연어와 시각적 자극들을 조정하려는 필요에도 불구하고, vision-and-language task에 대한 방식은 이러한 능력을 얻기 위한 통합된 토대가 부족하다. 이 대신에 지배적인 전략은 분리된 language model과 vision model을 다른 large-scale의 task에 대해 pre-train 시키고, 그다음에 task training처럼 기초 내용을 학습시키는 것이다. 이런 방식을 사용하면 짝을 이루는 visiolinguistic 데이터가 부족하거나 편향적일 때 종종 제대로 일반화시키지 못하는 근시안적인 내용을 내놓는다. 

 

 vision-and-language task에 대한 pretrain-and-transfer 학습 방식은 computer vision과 NLP 분야에서 널리 사용되어 사용 용이성과 강력한 표현력으로 인해 사실상 표준이 되었다. 이러한 도메인에서 pre-trained model은 target task에 대한 유용한 정보를 제공할 수 있다. 이와 같이 시각적 및 언어적 이해는 vision-and-language task에서 본질적으로 중요한데, 이만큼 중요한 것이 이들 서로를 어떻게 연관지으냐 이다. 그래서 논문에서는 vision 모델과 language 모델의 연결성을 학습해서 광범위한 vision-and-language task에 사용할 수 있는 일반적인 모델을 개발하고자 하였다.

 

 공동 visual-linguistic representation을 학습하기 위해서, 논문에서는 최근에 성공을 거두고 있는 모델을 학습시켜서 'proxy' task를 수행함으로써 거대한 unlabelled 데이터로부터 학습하여 풍부한 semantic과 구조적 정보를 캡처하는 self-supervised 학습 방식을 알아보았다. 이러한 proxy task는 supervised task를 자동적으로 생성하기 위한 데이터에서 구조를 활용한다. visual grounding을 self-supervised learning과 비슷한 방법으로 학습하기 위해, vision과 language 간의 정렬이 가능한 적합한 데이터 소스를 확인해야 한다. 이를 위해 3,300,000개의 이미지와 alt-text로부터 자동적으로 수집된 약한 연관성을 가진 설명 캡션을 포함하고 있는 Conceptual Captions 데이터셋을 사용하였다.

 

 논문에서는 visiolinguistic 짝 데이터로부터 task-agnostic visual grounding을 위한 joint model인 Vision & Language BERT$($ViLBERT$)$을 제안하였다. 논문의 방식은 BERT를 텍스트와 이미지에 대해서 공동으로 추론할 수 있도록 확장시켰다. 논문에서 말하는 핵심적인 혁신은 co-attentional layer을 통해 소통하는 vision과 language 처리를 위한 개별 stream을 소개한 것이다. 이 구조는 각 modality의 다양한 처리 요구 사항을 수용할 수 있으며 다양한 representation depth에서 modality 간의 상호 작용을 제공한다. 논문에서는 이러한 구조가 single-stream 통합 모델을 능가하는 성능을 보여준다고 말했다.

 

 ViLBERT는 Conceptual Captions에서 2개의 proxy task에 대해 학습하였다: unmasked 입력이 주어지면, masked word와  이미지 영역의 의미 예측과 이미지와 텍스트 세그먼트가 알맞은지 확인. 이렇게 2가지의 proxy task를 사용한다. 그 결과 이전의 SoTA 모델들에 비해 2~10% 정도 향상된 결과를 얻을 수 있었고, ViLBERT의 구조는 각각의 task에 대해서 쉽게 조정될 수 있다. 따라서 여러 개의 vision-language task에서 visual grounding을 위한 일반적인 토대로 여겨진다.

 

 

2. Approach

 이 섹션에서는 BERT에 대해서 간략하게 살펴보고$($2-1$)$, vision과 language 데이터를 공동으로 표현하기 위해 어떻게 확장시켰는지에 대해 설명하였다$($2-2$)$.

 

2-1. Preliminaries: BERT

 

 BERT는 attention 기반의 양방향 LM이다. 거대한 언어 corpus에서 pre-train 될 때, BERT는 여러 개의 NLP task에 대해 효과적인 전이 학습이 가능하다는 것을 보여줬다. BERT에 대해서는 따로 자세히 다루지 않고 BERT의 논문 리뷰에 관한 포스트 링크를 달아두도록 하겠다.

 

BERT paper review: https://cartinoe5930.tistory.com/entry/Pre-trained-Language-Modeling-paper-reading2-BERT-Pre-training-of-Deep-Bidirectional-Transformers-for-Language-Understanding

Pre-trained Language Modeling paper reading(2) - BERT: Pre-training of Deep Bidirectional Transformers for Language Understandin

 

 BERT도 기본적으로 Transformer을 사용하기 때문에 attention block을 사용하는데, 결과로 나온 가중치 평균 value vector는 attention block의 출력을 구성한다. 나중에도 설명하겠지만, 논문에서는 ViLBERT를 위한 multi-modal co-attentional transformer 모듈을 만들기 위해 이 query-conditioned key-value attention 메커니즘을 조정하였다$($그림 2 b$)$. 

 

 2-2. ViLBERT: Extending BERT to Jointly Represent Images and Text

 

 BERT가 NLP 분야에서 성공한 것에 영감을 받아 논문에서는 짝 데이터로부터 language와 visual content의 공동 representation을 학습하기 위해 유사한 모델과 training task를 개발하였다. 특히 정적 이미지와 그에 해당하는 설명 텍스트를 공동으로 표현하는 방법에 대해 고려하였다.

 

 하나의 직관적인 방법은 BERT에 사소한 변화를 주는 것이다 - visual input을 군집하를 통해 visual 'token'을 text input 같이 다루고 pre-trained BERT model로부터 시작하는 것이다. 이 architecture는 몇 개의 결점을 가진다.

 

1. 초기의 군집화에 오류가 있을 수 있다.
2. 두 입력 modality를 동일하게 다룬다. 이는 representation을 해칠 수 있다.
3. pre-trained 가중치에게 추가적 visual 'token'을 수용하게 하는 것은 학습된 BERT LM에 대미지를 줄 수 있다.

 

 그 대신에, 논문에서는 각각의 modality에 대해 모델링을 개별적으로 하고 작은 세트의 attention 기반의 상호작용을 통해 융합하는 two-stream architecture을 개발하였다. 이 방식은 각각의 modality에 대해 변동 가능한 네트워크 depth를 허용해 주고 서로 다른 depth에서 cross-modal connection을 가능하게 해 줬다.

 

그림 1. ViLBERT의 구조. 이미지에 대한 BERT와 텍스트에 대한 BERT가 서로 상호작용 하는 구조를 가지고 있음.

 

 ViLBERT가 그림 1에 묘사되어 있고, 이 그림을 살펴보면 ViLBERT는 이미지 영역과 텍스트 세그먼트에 대해 연산을 하는 두 개의 병렬 BERT-style model로 이루어져 있음을 알 수 있다. 각각의 stream은 여러 개의 Transformer block$($TRM$)$과 modality 간의 정보 교환을 가능하게 해주는 새로운 co-attentional transformer layer$($Co-TRM$)$으로 이루어져 있다. 주어진 이미지 $I$는 region feature $v_1, ..., v_{T}$와 text input $w_0, ..., w_{T}$의 세트로 표현된다. 그리고 모델은 최종 representation $h_{v0}, ..., h_{vT}$와 $h_{w0}, ..., h_{wT}$을 출력한다. 두 stream 간의 정보 교환은 특정 레이어에서만 가능하고 text stream은 visual feature과 상호작용하기 전에 상당히 더 많은 양의 처리가 필요하다 - 선택한 visual feature이 이미 상당히 high-level이며 문장의 단어와 비교하여 제한된 context-aggregation가 필요하다는 직관과 일치한다.

 

Co-Attentional Transformer Layers.  논문에서는 그림 2 b에서 보이는 것처럼 co-attentional transformer layer을 소개하였다. 중간 visual & linguistic representation $H_{V}^{(i)}$와 $H_{W}^{(j)}$가 주어지면, 모듈은 기존의 transformer block처럼 query, ket, value 행렬을 계산한다. 하지만, 각 modality로부터 나온 key와 value는 다른 modality의 multi-headed attention block의 입력으로 들어간다. 결과적으로 attention block은 각 modality가 서로의 modality에 조정되기 위해 attention-pooled feature을 생성한다 - visual stream에서 image-conditioned language attention을 수행 & linguistic stream에서 language-conditioned image attention을 수행. 후자는 vision-and-language model에서 찾을 수 있는 일반적인 attention 메커니즘을 흉내 낸 것이다. 그리고 남은 Transformer layer는 이전처럼 정상적으로 수행되고 결과로는 multi-modal feature를 얻게 된다.

 

그림 2. co-attention transformer. 각 modality의 key & value 쌍이 공유된다.

 

Image Representations.  논문에서는 바운딩 박스와 pre-trained 객체 탐지 네트워크로부터 얻은 visual feature를 추출함으로써 이미지 영역 feature를 생성하였다. 텍스트에서 단어와 달리, 이미지 영역은 자연적인 순서가 부족하다. 논문에서는 대신에 공간적 장소를 인코딩하고, region position과 커버된 이미지 영역의 비율로부터 5차원 벡터를 만들었다. 그다음에 이것들은 visual feature의 차원과 맞추기 위해 project 되고 합쳐진다.

 

 논문에서는 이미지 영역 시퀀스의 시작에 전체 이미지를 표현하는 스페셜 토큰인 IMG token을 마킹하였다. 

 

Training Tasks and Objectives.  이전 섹션에서 설명한 것과 유사하게 2개의 pre-training task를 고려하였다: masked multi-modal modeling & multi-modal alignment prediction.

 

그림 3. ViLBERT의 Training 방식

 

 masked multi-modal modeling task$($그림 3 a 참고$)$는 기존의 BERT에서의 MLM task를 따라 하였다. 15% 확률로 word와 image 영역을 마스킹하고 모델이 주어진 남은 입력값으로 mask 이전의 값을 찾을 수 있도록 학습시켰다. 이미지 영역이 마스킹될 경우 90% 확률로 image feature가 모두 0으로 바뀌고, 남은 10% 확률로 바뀌지 않는다. 이는 BERT의 MLM 방식과 유사하다. 그리고 masked text는 BERT에서 처럼 다뤄진다. 직접적으로 masked feature value를 퇴행시키기보다는 대신에 해당하는 이미지 영역에 대해 semantic class의 분포를 예측하게 한다. 이를 지도하기 위해, feature extraction에 사용되는 똑같은 pre-trained detection model로부터 영역에 대한 출력 분포를 이용한다. 이를 이용해서 모델이 이 두 분포 간의 KL divergence$($두 분포의 차이 측정법$)$를 최소화하는 방향으로 학습된다. 이 선택은 language가 종종 visual content의 high-level의 의미만 식별하고 정확한 image feature을 재구성할 수 없을 가능성이 있다는 개념을 반영한다. 또한 회귀 손실을 적용하면 마스킹된 이미지와 텍스트 입력으로 인해 발생하는 손실의 균형을 맞추기 어려울 수 있다.

 

 multi-modal alignmen task$($그림 3 b 참고$)$에서 모델은 image-text 쌍이 ${IMG, v_1, ..., v_{T}, CLS, w_1, ..., w_{T}, SEP}$로 들어오면 이미지와 텍스트가 정렬되었는지 예측한다$($텍스트가 이미지를 설명하고 있는지 확인$)$. 결과적으로 visual과 linguistic input의 representation으로 $h_{IMG}$와 $h_{CLS}$의 출력값을 가진다. 다른 vision-and-language model로부터 다른 일반적인 구조를 빌려와서, 논문에서는 전반적인 representation을 $h_{IMG}$와 $h_{CLS}$ 간의 element-wise product처럼 계산하고 이미지와 텍스트가 정렬되어 있는지를 판단하는 이진 분류를 하기 위해 선형 레이어를 학습하였다. 하지만, Conceptual Captions 데이터셋은 오직 정렬된 image-caption 쌍을 포함하고 있기 때문에, negative image-caption 쌍을 생성하기 위해, 이미지 또는 캡션을 다른 것으로 랜덤 하게 대체하였다.

 

 

3. Experimental Settings

 이 섹션에서는 어떻게 모델을 학습시켰는지와 vision-and-language task에 학습된 모델을 전이시켰을 때 어떠했는지에 대한 개요를 설명하도록 하겠다.

 

3-1. Training ViLBERT

 

 ViLBERT를 학습시키기 위해 논문에서는 Conceptual Captions 데이터셋을 적용시켰다. 그리고 language와 vision을 위한 모델로는 다음의 모델들을 사용하였다.

 

• linguistic stream은 BERT_BASE model을 사용하였다.
• 이미지 영역 추출을 위해 Faster R-CNN을 사용하였다.

 

3-2. Vision-and-Language Transfer Tasks

 

 논문에서는 pre-trained ViLBERT을 4개의 vision-and-language task와 하나의 diagnostic task에 적용시켜보았다$($그림 4 참고$)$. 사용된 4개의 vision-and-language task는 아래와 같다. 이 task들에 대한 설명은 따로 하지 않겠다. 논문에서는 pre-trained base model을 수정하여 새 task를 수행한 다음 전체 모델을 종단 간 훈련하는 fine-tuning 전략을 세웠다.

 

• VQA, VCR, Referring Expressions, Caption-Based Image Retrieval

 

그림 4. ViLBERT에 적용시킨 4개의 vision-and-language task

 

 그리고 하나의 diagnostic task로 'Zero-shot' Caption-Based Image Retrieval을 남겨뒀다. 이전의 task는 데이터셋 특화 fine-tuning을 거친 task들이다. 이 'zero-shot' task에서는, pre-trained multi-modal alignment 예측 메커니즘을 바로 caption-based image retrieval에 적용시켰다. 이 task의 목표는 pre-training이 텍스트를 ground 하는 능력을 개발했으며 이것이 task별 fine-tuning 없이 시각적 및 언어적 변화를 일반화할 수 있음을 입증하는 것이다.

 

 

4. Results and Analysis

Baselines.  논문에서는 pre-trained ViLBERT 모델을 두 개의 ablative baseline에 대해 비교하였다. 이 baseline들과 ViLBERT에 대해서 이전 섹션에서 설명했던 것처럼 transfer task를 fine-tune 하였다.

 

• Single-Stream: 하나의 BERT로 두 modality 입력을 똑같은 Transformer의 block을 통해 처리 - 파라미터를 공유하고 시각적 및 언어적 입력 모두의 스택을 처리. BERT의 구조에 변화를 주는 것을 피해서 더욱 깊은 visual processing과 modality 간의 이른 상호 작용을 가져옴. two-stream archtecture의 효과를 파악하기 위해 이 baseline을 활용함.
• ViLBERT†: 똑같은 ViLBERT인데 pre-training task를 거치지 않은 모델이다. task-specific으로 얻을 수 있는 이점을 비교하기 위해 활용함.

Task-Specific Baselines.  ViLBERT를 다른 모델들과도 비교하기 위해 각 task에 특화된 모델들 또한 구현하였다.

 

Results.  표 1은 모든 transfer tak에 대한 결과를 보여주고 있다.

 

• ViLBERT는 single-stream model보다 향상된 성능을 보여줌: ViLBERT는 pre-trained model과 non-pretrained model이 task에 대해서 single-stream baseline보다 향상된 성능을 보여줬다. 대부분의 상당한 성능 향상은 VQA와 RefCOCO+에서 보였다.
• ViLBERT이 pre-training task는 향상된 visiolinguistic representation을 보여줌: proxy task에서 pre-train 된 ViLBERT 모델은 기존의 모델들보다 task에 대해 2%에서 13% 정도 향상된 성능을 보여줬다. 그리고 single-stream baseline에 proxy task를 적용해 본 결과 향상된 성능을 얻을 수 있었다. 이는 proxy task를 사용하면 서로 다른 model architecture에 대해서 더 잘 일반화할 수 있다는 걸 알 수 있었다.
• ViLBERT로부터 fine-tuning 하는 것은 vision-and-language task에 대한 강력한 전략: single base architecture와 함께 논문의 transfer task 성능은 4개의 task에 대해서 SoTA task-specific model보다 향상된 성능을 보여줬다. 실제로 VCR, RefCOCO+, image retrieval에 대해서 상당한 마진을 갖고 SoTA를 달성하였다. 또한 이러한 task로 확장하는 것은 간단했는데, 각 작업에 대해 단일 분류자를 추가하기만 하면 됐다.

 

표 1. ViLBERT 모델의 transfer task 결과

 

 전반적으로 이러한 결과들은 ViLBERT가 downstream task에 사용될 수 있는 중요한 visual-linguistic 관계를 학습할 수 있다는 것을 설명해 줬다.

 

Effect of Visual Stream Depth.  표 2에서는 ViLBERT 모델의 여러 depth로부터 전달된 결과를 비교하였다. 논문에서는 depth를 모델에서 CO-TRM → TRM block이 반복된 횟수로 생각하였다. 논문에서는 VQA와 Image Retrieval task가 더욱 깊은 depth로부터 이익을 얻는 것을 알아내었다 - 이 성능 향상은 depth가 6일 때까지 점진적으로 향상했다. 이와 같이 zero-shot image retrieval은 depth가 증가하면 증가할수록 성능이 계속 향상하는 것을 알 수 있었다. 이와 반대로, VCR과 RefCOCO+는 낮은 모델에서 이익을 얻는 것을 볼 수 있었다.

 

표 2. model의 depth에 따른 성능 변화

 

Benefits of Large Training Sets.  논문에서는 pre-training 데이터셋의 크기가 주는 영향에 대하여 연구하였다. 이 실험을 진행하기 위해, 논문에서는 conceptual caption dataset의 25%, 50% 랜덤 서브셋을 사용하고 앞선 세팅과 똑같은 셋업을 사용해서 ViLBERT를 pre-train 하고 fine-tune 하였다. 논문에서는 데이터의 양이 증가하면 증가할수록 정확도가 점진적으로 증가하는 것을 보여줬다. 이는 ViLBERT가 더욱 많은 pre-training data로부터 이익을 얻는다고 생각할 수 있다.

 

표 3. Conceptual Caption 데이터셋을 어떤 비율로 사용하느냐에 따른 ViLBERT의 성능 변화

 

What does ViLBERT learn during pre-training?  ViLBERT가 Conceptual Captions pre-training 중에 어떤 것을 학습하는지 알아보기 위해 zero-shot caption-based image retrieval과 몇 개의 qualitative example을 살펴보았다. zero-shot 성능$($표 1 오른쪽$)$은 fine-tuned model보다 훨씬 낮지만 Flickr30K 이미지나 캡션을 보지 않고 합리적으로 수행한다 - 이는 ViLBERT가 pre-training 중에 vision과 language 간의 의미 있는 정렬을 학습했다고 볼 수 있다. 논문에서는 또한 pre-trained ViLBERT 모델을 검사하기 위해 이미지를 입력으로 주고 image-conditioned 텍스트를 출력하게 하였다. 이는 본질적으로 image captioning이다. 모델을 깨끗하고, 사람이 라벨링 한 captioning data에서 fine-tuning 하지 않으면 출력의 퀄리티가 그리 높지 않다. 그러나 여전히 pre-trained model이 학습한 내용을 검사하는 메커니즘 역할을 한다. 그림 5는 몇 가지 샘플링된 caption을 보여주고 있다. BERT-style model로부터 텍스트를 생성하는 것은 열려있는 연구 분야이고 샘플링 과정은 다음을 따랐다 - text stream은 모든 MASK token을 사용해서 초기화하고 그다음에 Markov Chain Monte Carlo 방식에서의 예측된 출력 토큰을 순차적으로 리샘플링하였다. 논문에서는 많은 이미지들이 이미지 콘텐츠를 설명하는 캡션을 생성하는 것을 찾아내었다. 하지만, web-image alt-text로부터 데이터를 가져오는 Conceptual Captions의 수집 과정 때문에 많은 캡션들은 사견이 섞여있는 것을 볼 수 있다. $($다음 그림의 왼쪽 위에 있는 예시를 보라$)$ 그리고 non-visual concept에 대한 참조를 포함하고 있기도 하다.

 

 

5. Conclusion

 논문에서는 image 콘텐츠와 text 콘텐츠를 위한 joint model을 개발하고 visual grounding을 학습하기 위해 거대하고 자동적으로 수집된 데이터셋에서 pre-train 하였다. ViLBERT 모델은 co-attentional transformer block을 사용하는 새로운 two-stream architecture을 소개하였는데, 이는 여러 개의 vision-and-language task에 대해 적용되었을 때 기존의 SoTA 모델을 능가하고 그럴듯한 ablation도 능가하였다. 게다가, ViLBERT를 이러한 task에 전달하는 것은 구현하기 쉽고 간단하다 - 실험을 진행한 각 task에 대한 분류기의 추가만을 필요로 한다. 논문에서는 ViLBERT를 다른 vision-and-language task로 확장시키는 것뿐만 아니라 multi-task learning 또한 흥미로운 future work라고 생각하였다.

 

 

 

 

출처

https://arxiv.org/abs/1908.02265

ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks