LXMERT: Learning Cross-Modality Encoder Representations from Transformers 논문 리뷰

The overview of this paper

 vision-and-language 추론은 시각적 개념과 언어적 의미에 대한 이해를 필요로 하고, 가장 중요한 것은 이 두 modality 간의 정렬을 필요로 한다. 따라서 논문에서는 이러한 vision-and-language 연결성을 학습하기 위해 LXMERT$($Learning Cross-Modality Encoder Representation from Transforer$)$를 제안하였다. LXMERT는 3개의 인코더로 구성된 대규모의 Transformer model을 사용하고, vision과 language semantic을 연결하기 위해 5개의 다양한 representative pre-training task를 사용하였다. 이 task들은 intra-modality와 cross-modality 간의 관계를 학습하는데 도움을 주었다. 그 후에 pre-trained 파라미터로부터 fine-tuning을 한 후에 VQA와 GQA task에서 SoTA를 달성하였다. 그리고 LXMERT의 일반화성을 증명하기 위해 어려운 visual-reasoning task인 NLVR에 적용시켜 본 결과 이전 최고 결과에서 22% 더 향상된 결과를 얻을 수 있었다.

 

 

Table of Contents

1. Introduction

2. Model Architecture

   2-1. Input Embeddings

   2-2. Encoders

   2-3. Output Representations

3. Pre-Training Strategies

   3-1. Pre-Training Tasks

   3-2. Pre-Training Data

   3-3. Pre-Training Procedure

4. Experiments

5. Analysis

   5-1. BERT vs. LXMERT

   5-2. Effect of the Image QA Pre-training Task

   5-3. Effect of VIsion Pre-training tasks

 

 

1. Introduction

 vision-and-language 추론은 시각적 개념과 언어적 의미에 대한 이해와 이 둘 간의 cross-modal 정렬과 관계를 학습해야 한다. 지난 몇 년 동안 이 각각의 시각적 개념을 이해하려는 모델과 언어적 의미를 이해하려는 모델들은 정말 수도없이 쏟아져 나왔고 상당히 좋은 성능을 보여주고 있다. 이러한 single-modlaity의 성공에도 불구하고 vision과 language의 modality-pair에 대한 대규모 pre-training과 fine-tuning 전략은 아직 under-develop 되어 있다.

 

 그래서 논문에서는 pre-trained vision-and-language cross-modality 프레임워크를 만들어서 여러 데이터셋에서 강력한 성능을 보여주고 있음을 보여줬다. 논문에서는 이 모델의 이름을 "LXMERT: Learning Cross-Modality Encoder Representations from Transformers"로 지었다. 이 모델은 vision-and-language의 상호작용에 집중하고, 특히 하나의 이미지와 그에 대한 설명 문자의 representation에 대해 집중하였다. LXMERT는 3개의 Transformer encoder로 이루어져 있다: object relationship encoder, language encoder, cross-modality encoder. vision과 language 간의 더 나은 cross-modal 정렬을 학습하기 위해 LXMERT를 5개의 다양한 representative task에 대해서 pre-train 하였다: masked cross-modality language modeling, RoI-feature regression을 통한 masked object prediction, detected-label classification을 통한 masked object prediction, image question answering. single-modality pre-training과 달리, 이 multi-modality pre-training은 모델이 동일 modality와 다른 modality 둘 모두로부터 masked feature을 추론할 수 있게 하였다. 이와 같은 방식이 intra-modality와 cross-modality 관계를 만드는데 도움을 주었다.

 

 이렇게 학습된 LXMERT를 두 개의 유명한 visual question-answering 데이터셋인 VQA와 GQA에 적용시켜본 결과, SoTA를 달성하였다. LXMERT의 일반화성을 검증하기 위해 NLVR 데이터셋에 적용시켜 본 결과, 이전의 성능보다 22% 더 향상된 성능을 얻을 수 있었다. 이러한 성능을 얻을 수 있었던 이유에 대해 분석하였고, 여러 ablation study도 진행하였다.

 

 

2. Model Architecture

논문에서는 기존의 NLP 디자인 프로그레스를 따라서 self-attention과 cross-attention layer을 사용해서 cross-modality model을 만들었다. 그림 1에 나와있는 것처럼 LXMERT는 2개의 입력을 받는다: 이미지 & 관련된 문장$($캡션 or 질문$)$. 각각의 이미지는 object의 나열로 표현되고, 각각의 문장은 word의 나열로 표현된다. self-attention과 cross-attention의 세밀한 디자인과 조합을 통해 LXMERT는 입력값으로부터 language representation, image representation, cross-modality representation을 생성할 수 있었다.

 

그림 1. LXMERT의 구벼교

 

2-1. Input Embeddings

 

 LXMERT의 input embedding layer는 입력값을 두 개의 feature sequence로 변환하다: word-level sentence embedding & object-level image embedding. 이러한 embedding feature는 후자의 encoding layer를 통해 추가적으로 처리된다.

 

Word-Level Sentence Embeddings  문장은 BERT에서 사용하는 것과 똑같은 WordPiece tokenizer에 의해 문장이 길이 $n$의 단어들 ${w_1, ..., w_n}$으로 나눠진다. 그다음에, 그림 1에 보이는 것처럼 word $w_i$와 그 인덱스 $i$는 embedding sub-layer에 의해 벡터로 투영되고, index-aware word embedding에 추가된다.

 

 

Object-Level Image Embeddings  합성곱 신경망을 통해 나온 feature map을 사용하는 대신에 감지된 객체의 feature을 이미지의 임베딩처럼 다루었다. 특히, object detector는 이미지로부터 $m$개의 object ${o_1, ..., 0_m}$을 탐지한다. 각각의 object $o_j$는 이 object의 position feature $p_j$와 object의 2048차원 region-of-interest$($RoI$)$ feature $f_j$에 의해 표현된다. 논문에서는 2개의 fully-connected layer의 출력을 더함으로써 position-aware embedding $v_j$를 학습하였다.

 

 

 visual reasoning에서 공간적 정보를 제공하는 것 대신에, positional 정보를 포함하는 것이 masked object prediction pre-training task를 위해 필수적이다. 이미지 임베딩 레이어와 다음 attention 레이어는 입력의 absolute index에 구애받지 않기 때문에 객체의 순서가 지정되지 않는다. 마지막으로 위의 object-level image embedding의 수식에서 layer normalization이 feature들이 합쳐지기 전에 적용되는데, 이는 두 개의 서로 다른 유형의 feature의 에너지 밸런스를 맞추기 위함이다.

 

2-2. Encoders

 

 논문에서는 self-attention과 cross-attention을 기반으로 해서 language encoder, object-relationship encoder, cross-modality encoder를 만들었다. 먼저 attention에 대해서 알아보고, 이 encoder들을 어떻게 만들었는지에 대해 알아보도록 하겠다.

 

Background: Attention Layers  attention layer는 query vector $x$와 연관된 context vector ${y_j}$의 세트로부터 정보를 검색하는데 목표를 둔다. attention layer는 처음에 query vector $x$와 각 context vector $y_j$ 간의 matching score $a_j$를 계산한다. 그다음에 score는 softmax를 통해 정규화된다.

 

 

 attention layer의 출력은 context vector의 가중합이다$($softmax normalized score$)$: $Att_{X \to Y}(x, {y_i}) = \sum_{j}\alpha_{j}y_{j}$. query vector $x$와 context vector ${y_i}$가 일치하면 self-attention이라 한다. 논문에서는 Transformer를 따라서 multi-head attention을 사용하였다.

 

Single-Modality Encoders  embedding layer 후에, 처음으로 2개의 transformer encoder을 적용하였다: language encoder & object-relationship encoder. 그리고 이 각각의 encoder는 single modality에만 집중한다. BERT와 달리 encoder를 텍스트 뿐만 아니라 이미지에도 적용시켰다. single-modality encoder에서 각각의 레이어는 self-attention layer$($'Self'$)$와 feed-forward layer$($'FF'$)$를 포함하고 있다. 여기서 feed-forward layer는 2개의 fully-connected layer로 구성되어 있다. 논문에서는 $\textbf{N}_{\textbf{L}}$과 $\textbf{N}_{\textbf{R}}$ 레이어를 각각 language encoder와 object-relationship encoder로 받아들였다. 논문에서는 각각의 sub-layer 후에 residual connection과 layer normalization을 추가하였다.

 

Cross-Modality Encoder  cross-modality encoder에서 각각의 cross-modality layer$($그림 1에서 오른쪽의 점선 블록$)$는 2개의 self-attention layer, 1개의 양방항 cross-attention, 2개의 feed-forward layer로 구성되어 있다. 논문에서는 encoder 구현에서 $\textbf{N}_{\textbf{X}}$에 이러한 cross-modality layer을 쌓았다. $k$번째 레이어 안에서, 2개의 단방향 cross-attention layer로 이루어진 양방향 cross-attention layer$($'Cross'$)$가 먼저 적용된다: 하나는 language to vision에서 온 것이고, 다른 하나는 vision to language에서 온 것이다. query와 context vector는 $(k-1)$번째 레이어의 출력이다. 

 

 

 cross-attention layer은 두 modality 간에 정보를 교환하고, entity를 정렬하기 위해 사용된다. 추가적으로 내부 연결을 만들기 위해 self-attention layer$($'Self'$)$는 cross-attention layer의 출력에 적용된다.

 

 

 마지막으로, $k$번째 레이어의 출력인 ${h_{i}^{k}}$와 ${v_{j}^{k}}$는 ${\hat{h}_{i}^{k}}$와 ${\hat{v}_{j}^{k}}$ 위에서 feed-forward layer$($'FF'$)$에 의해 생성된다. 논문에서는 single-modality encoder와 유사하게 하기 위하여 각각의 sub-layer에 residual connection과 layer normalization을 추가하였다.

 

2-3. Output Representations

 

 그림 1의 가장 오른쪽에서 보이는 것처럼 LXMERT는 각각 language, vision, cross-modality의 출력을 갖는다. language와 vision의 출력은 cross-modality encoder에 의해 생성된 feature sequence이다. cross-modality 출력을 위해, 논문에서는 sentence word 이전에 스페셜 토큰 [CLS]를 추가하고 language feature sequence에서 스페셜 토큰의 해당하는 feature vector는 cross-modality 출력으로 사용된다.

 

3. Pre-Training Strategies

 vision과 language 간의 연결성을 이해하기 위한 더 나은 초기화를 학습하기 위해 논문에서는 거대한 종합 데이터셋에서 서로 다른 modality pre-training task를 사용하여 모델을 pre-train 하였다.

 

그림 2. LXMERT의 Pre-training

 

3-1. Pre-Training Tasks

 

Language Task: Masked Cross-Modality LM  language 측면에서, 논문에서는 masked cross-modality LM task를 사용하였다. 그림 2의 아래쪽에서 보여지는 것처럼 task 셋업이 거의 BERT와 똑같다: 단어는 15% 확률로 masking 되고 모델은 masked word를 예측할 수 있도록 학습된다. BERT처럼 masked word는 language modality에서 non-masked word로부터 예측된다. LXMERT의 cross-modal model architecture에서는 masked word가 모호함을 해결하기 위해 vision modality로부터도 예측될 수 있다. 이러한 과정은 vision modality로부터 language modality로의 연결성을 만드는데 도움을 준다. 그리고 이러한 차이점을 강조하기 위해 이 task를 cross-modality LM이라고 부른다. 나중에 5-1에서 LXMERT에 BERT의 파라미터를 불러오는 것이 pre-training 프로시저에 해를 가한다는 것을 보여주는데, 이는 왜냐하면 BERT가 비교적 cross-modality 연결에 대한 학습 없이 language modality에서 잘 수행되었기 때문이다.

 

Vision Task: Masked Object Prediction 위 그림 2의 위쪽을 보면 vision 측면에 대해서 0.15의 확률로 랜덤하게 object를 masking 하고 모델에게 masked object의 예측을 물어보는 방식으로 학습하였다. language task와 유사하게 모델은 masked object에 대해서 visible object와 language modality로부터 추론할 수 있다. vision 측면으로부터 object를 추론하는 것은 object 관계를 학습하는데 도움을 주고 language 측면에서 추론하는 것은 cross-modality 정렬을 학습하는데 도움을 준다. 그래서 논문에서는 2개의 sub-task를 수행하였다: RoI-Feature Regression은 L2 loss를 사용하여 object RoI feature $f_j$를 퇴행시켰고, Detected-Label Classification은 cross-entropy loss를 사용하여 masked object의 라벨을 학습한다. Detected-Label Classification task에서, 비록 대부분의 pre-training 이미지는 object-level 주석을 가지고 있지만, 주석이 달린 object의 ground truth label은 서로 다른 데이터셋에서 내용이 다르다. 이러한 이유에서, 논문에서는 Faster R-CNN에 의해 감지된 라벨 출력을 사용하였다. 비록 감지된 라벨들은 noise가 섞여 있지만, 실험 결과는 이러한 라벨들이 pre-training에 공헌한다는 것을 보여주고 있다.

 

Cross-Modality Tasks  그림 2의 가장 오른쪽 중간에서 보여지는 것처럼 강력한 cross-modality representation을 학습하기 위해 language와 vision modality를 함께 필요로 하는 2개의 task에서 LXMERT를 pre-train 하였다.

 

• Cross-Modality Matching: 각각의 문장에 대해, 0.5의 확률을 사용하여 이 문장들을 어울리지 않는 문장을 대체한다. 그다음에 이미지와 문장이 서로 어울리는지 예측하는 분류기를 학습시킨다. 이 task는 BERT의 Next sentence prediction$($NSP$)$와 유사하다.
• Image Question Answering$($QA$)$: pre-training 데이터셋을 확장하기 위해서, pre-training 데이터에서 1/3에 해당하는 문장들은 이미지에 대한 질문이다. 논문에서는 모델에게 이미지와 질문이 일치할 때 이러한 이미지 관련 질문에 대한 답변을 예측하도록 모델에게 요청한다. 논문에서는 이렇게 image QA를 사용하여 pre-training을 하는 것이 더 나은 cross-modality representation을 이끌어 준다는 것을 보여줬다.

 

3-2. Pre-Training Data

 

 표 1에서 보여지는 것처럼 논문에서는 5개의 vision-and-language 데이터셋으로부터 pre-training 데이터를 모아 왔다. 여기에는 이미지를 가져온 2개의 original captioning data$($MS COCO, Visual Genome$)$가 있고, 3개의 거대한 imgae question answering 데이터셋$($VQA, GQA, VG-QA$)$을 합쳤다. 논문에서는 정렬된 image-and-sentence 짝을 생성하기 위해 5개의 데이터셋에 사소한 전처리를 진행하였다. 각각의 image question answering 데이터셋에 대해, mage-and-sentence 데이터 짝으로부터 질문을 문장으로 받아들이고 대답을 image QA pre-training task에서의 라벨로 받아들였다. 이는 거대한 정렬된 vision-and-language 데이터셋을 제공해 줬다.

 

표 1. pre-training을 위한 데이터의 양

 

3-3. Pre-Training Procedure

 

 논문에서는 LXMERT model을 거대한 통합 데이터셋에서 pre-training task를 통해 pre-train 하였다. 입력 문장은 WordPiece tokenizer로 나눠진다. object들은 Faster R-CNN에 의해 감지되었다. 그리고 이렇게 감지된 object는 각각의 이미지에 대해 36개의 object 까지만 유지시켰는데, 이는 padding을 피해서 pre-training computing 이용을 최대화하기 위한 것이다. model architecture에 대해 레이어 $\textbf{N}_{\textbf{L}}, \textbf{N}_{\textbf{X}}, \textbf{N}_{\textbf{R}}$의 수는 각각 9, 5, 5로 설정하였다. language encoder에 더 많은 레이어가 사용된 이유는 visual feature와 밸런스를 맞추기 위해서였다. 

 

 

4. Experiments

논문에서는 LXMERT의 성능을 평가하기 위해 VQA와 GQA, NLVR 데이터셋을 사용하였다. 그에 대한 결과는 다음과 같다.

 

• VQA: LXMERT는 이전의 SoTA 모델보다 정확도 측면에서 'Binary'/'Other' 질문 카테고리에 대해 2.1%와 2.4%의 향상을 보여줬다. LXMERT는 계산 모듈을 사용하지 않았으나 계산 관련 질문에서 결과는 같거나 더 좋아졌다.
• GQA: LXMERT는 이전의 SoTA 모델보다 3.2% 더 향상된 정확도를 보여줬다. 이는 VQA에서보다 더 향상된 정확도인데, 이는 GQA가 더 visual적인 추론을 필요로 하기 때문이라고 생각한다. 심지어는 open-domain question에 대해서는 4.6% 더 향상된 성능을 보여줬다.
• NLVR: NLVR은 상당히 어려운 visual reasoning 데이터셋으로 많은 시도들이 실패했는데, 기존 방법의 실패는 대규모 pre-training 없이는 복잡한 시각 및 언어 task에서 시각과 언어 간의 연결이 종단 간 학습되지 않을 수 있음을 나타낸다. 하지만, 논문의 새로운 pre-training 전략을 사용하면 상당히 향상된 결과를 얻을 수 있었다. 무려 이전의 SoTA 모델보다 22% 더 향상된 정확도이다!

 

표 2. Test-set result

 

5. Analysis

 이 섹션에서는 LXMERT 프레임워크를 다른 대안책과 비교하거나 또는 모델의 특정 요소/pre-training 전략을 배제하면서 분석하였다.

 

5-1. BERT vs. LXMERT

 

 표 3에서 보이는 것처럼 논문에서는 BERT_BASE pre-trained model을 vision-language task에 통합할 수 있는 여러가지 방법에 대해 논의하였고 이것을 LXMERT와 비교해보았다. LXMERT는 NLVR에서 74.9%의 정확도를 달성하였지만, LXMERT pre-training 없이는 모든 결과들이 22% 가량 더 낮아졌다. 

 

표 3. BERT를 사용했을 때의 Dev-set 정확도

 

BERT+BUTD  Bottom-Up & Top-Down$($BUTD$)$ attention은 GRU를 사용하여 질문을 인코딩한 다음에 대답을 예측하기 위해 object RoI feature ${f_j}$를 참조한다. 논문에서는 GRU language encoder를 BERT로 대체함으로써 BUTD에 BERT를 적용했다. 표 3의 첫 번째 블록에서 보여지는 것처럼, BERT encoder의 결과는 LSTM encoder와 비슷하다.

 

BERT+ CrossAtt  BUTD는 오직 raw RoI feature ${f_j}$만을 object position ${p_j}$과 object relationship을 고려하지 않고 받아들이기 때문에, 새로운 position-aware object embedding$($2-1$)$과 cross-modality layer$($2-2$)$를 사용하여 BERT+BUTD를 향상시켰다. 표 3의 두 번째 블록에서 보이는 것처럼, 하나의 cross-modality layer의 결과는 BUTD보다 낫다. 그리고 cross-modality layer을 쌓으면 쌓을수록 성능은 향상된다. 하지만 cross-modality pre-training이 없으면, 3개 이상의 cross-attention layer을 추가한 후에는 결과가 정체되었다. 최종 결과는 LXMERT 프레임워크와 3.4% 정도의 갭을 가지고 있었다.

 

BERT+LXMERT  논문에서는 BERT의 파라미터를 LXMERT로 불러오는 시도를 하였고, 이것을 model training에 사용하거나 pre-training에 사용하였다. 그에 대한 결과를 표 3의 마지막 블록에 나타냈다. from-scratch와 비교해서 BERT는 fine-tuning 결과를 향상시켰지만, full model보다 더욱 약한 결과를 보여줬다. BERT를 사용하여 초기화된 LXMERT를 pre-training 하는 것은 첫 3개의 pre-training epoch에서는 낮은 pre-training loss를 보여줬지만 금방 from-scratch에게 따라 잡혔다. 가능한 이유는 BERT가 이미 single-modality masked LM으로 pre-train 되었기 때문에 vision-modality과의 연결을 고려하지 않고 language-modality만으로 잘 수행할 수 있기 때문이다.

 

5-2. Effect of the Image QA Pre-training Task

 

 논문에서는 image QA pre-training task의 중요성을 image QA를 없애거나 다른 대안책으로 대체함으로써 보여줬다: data augmentation.

 

표 4. image-QA pre-training task의 중요성을 Dev-set 정확도를 통해 보여줌

 

Pre-training w/ or w/o Image QA  공정하게 original pre-training 프로시저를 비교하기 위해, LXMERT를 image QA task를 20 epoch 동안 사용하지 않고 pre-train 하였다. 표 4의 2행과 4행에서 보이는 것처럼 QA loss를 사용하여 pre-training 하는 것은 3개의 모든 데이터셋에 대한 결과를 향상시켰다. NLVR에서 보인 2.1%의 향상은 image-QA pre-training을 사용하여 학습된 강력한 representation을 보여준다. 왜냐하면 NLVR의 모든 데이터는 pre-training에 사용되지 않기 때문이다.

 

Pre-training vs. Data Augmentation  data augmentation$($DA$)$는 여러 개의 VQA 구현에 사용되는 기술이다. 이것은 다른 image QA 데이터셋으로부터 질문을 추가함으로써 학습 데이터의 양을 증가시킨다. LXMERT 프레임워크는 대신에 pre-training에서 multiple QA 데이터셋을 사용하고 하나의 구체적 데이터셋에서 fine-tune 된다. pre-training과 DA에서 사용되는 전반적인 데이터의 양은 비슷하기 때문에, 이 두 개의 전략을 공정하게 비교할 수 있다. 결과는 QA pre-training 방식이 DA를 능가하는 결과를 보여줬다.

 

5-3. Effect of Vision Pre-training tasks

 

 논문에서는 서로 다른 vision pre-training task의 효과에 대해 분석하였다$($표 5 참고$)$.  pre-training에서 어떠한 vision task를 수행하지 않았을 경우, 결과는 BERT + 3 CrossAtt$($표 3$)$과 유사하였다. 두 개의 visual pre-training task인 RoI-feature regression과 detected-label classification은 이들만으로도 적정한 결과$($2행 & 3행$)$를 얻어냈다. 그리고 이 두 개의 task를 사용한 공동 pre-training은 가장 높은 결과를 달성하였다$($4행$)$.

 

표 5. 서로 다른 vision pre-training task의 Dev-set 정확도

 

 

 

 

출처

https://arxiv.org/abs/1908.07490

LXMERT: Learning Cross-Modality Encoder Representations from Transformers