BLIP: Bootstrapping Language-Image Pre-training fro Unified Vision-Language Understanding and Generation 논문 리뷰

The overview of this paper

대부분의 Vision-Language Pre-training(VLP)는 다양한 vision-language task에서 향상된 성능을 보여줬지만, 대부분의 odel들은 understanding 기반 이거나 generation 기반 둘 중에 하나에서 작동한다. 게다가, 성능 향상은 대부분 웹에서 수집된 noisy image-text  쌍을 사용한 데이터셋의 규모를 늘림으로써 얻어지게 되는데, 이것은 차선의 supervision이다.

 

 이 논문에서는 vision-language understanding & generation을 유동적으로 전달하는 새로운 VLP 프레임워크인 BLIP을 소개하였다. BLIP은 캡션을 bootstrapping 함으로써 noisy web data를 효과적으로 활용하는데, 여기서 captioner는 캡션을 생성하고 filter는 noisy 캡션을 제거한다. bootstrap은 주어진 데이터에서 복원 추출을 통해 새로운 샘플 데이터를 생성하는 방법이다.

 

 

Table of Contents

1. Introduction

2. Method

   2-1. Model Architecture

   2-2. Pre-training Objectives

   2-3. CapFilt

3. Experiments & Discussions

4. Comparison with State-of-the-arts

5. Ablation Study

 

1. Introduction

 Vision-language pre-training은 다양한 multi-modal downstream task에서 엄청난 성공들을 보여주고 있다. 하지만, 기존의 method들은 다음의 2개의 한계점을 가지고 있다.

 

1. 모델 관점: encoder 기반 모델은 generation task에 대해서 좋은 결과를 보여주지 못 함 & encoder-decoder 모델은 image-text retrieval task에 대해서 좋은 결과를 보여주지 못 함.
2. 데이터 관점: SoTA 모델들인 CLIP, ALBEF, SimVLM은 웹에서 수집된 image-text 쌍에서 pre-train 되었음. 논문에서는, 데이터셋의 규모를 늘림으로써 성능 향상이 있었음에도 불구하고 noisy web text가 vision-language 학습에서 차선적이라는 것을 보여줬음.

 

 이것을 위하여, 논문에서는 BLIP: 통합 vision-language understanding & generation을 위한 Bootstrapping Language-Image Pre-training 을 소개하였다. BLIP은 모델 및 데이터적 관점에서 2개의 contribution을 소개하였다.

 

• Multimodal mixture of Encoder-Decoder(MED): 효과적인 multi-task pre-training과 유연한 transfer learning을 위한 새로운 모델 아키텍처. unimodal encoder & image-grounded text encoder & image-grounded text decoder를 구동 가능하게 만듦. 이 모델은 3개의 vision-language objective를 사용하여 pre-train 됨: image-text contrastive learning(ITC), image-text matching(ITM), image-conditioned language modeling.
• Captioning & Filtering(CapFilt): noisy image-text 쌍으로부터의 학습을 위한 데이터셋 bootstrapping method. 다음의 그림 1에서 CapFilt의 예시를 보여주고 있다. 논문에서는 pre-trained MED를 두 개의 모듈에서 fine-tune 함: captioner - 웹 이미지가 주어지면 종합 캡션 생성 & filter - 기존 웹 텍스트와 종합 텍스트 둘로부터 noisy 캡션을 제거.

 

그림1. CapFilt 예시

 

 논문에서는 광범위한 실험과 분석을 통해 다음의 핵심 논평을 만들어냈다.

 

• captioner & filter 모두 작동했을 때 다양한 downstream task에서 상당한 성능 향상을 달성함. 더욱 다양한 캡션이 더 많은 성능 향상을 가져다 줌.
• BLIP은 광범위한 vision-language task에서 SoTA를 달성함.

 

2. Method

 논문에서는 noisy image-text 쌍으로부터 학습하기 위한 통합된 VLP 프레임워크인 BLIP을 제안하였다.

 

2-1. Model Architecture

 

 논문에서는 image encoder로 ViT를 사용하였다. ViT를 사용하면 pre-trained object detector를 사용하는 것보다 visual feature 추출에 대해 계산적으로 더 착해진다.

 

 understanding & generation 능력이 있는 통합 모델을 pre-train 하기 위해, 논문에서는 다음의 3가지 기능 중 하나에서 작동할 수 있는 multi-task model인 multimodal mixture of encoder-decoder(MED)를 제안하였다. 다음의 그림 2에서 이 구조를 좀 더 자세하게 알 수 있다.

 

1. Unimodal encoder: 이미지와 텍스트를 개별로 인코딩 함. 텍스트 인코더는 BERT와 똑같고, 문장을 요약하기 위해 [CLS] 토큰이 텍스트 입력 앞부분에 추가됨.
2. Image-grounded text encoder: 텍스트 인코더의 각각의 transformer 블록에 대해 self-attention(SA) layer와 feed forward network(FFN) 사이에 하나의 추가적인 cross-attention(CA) layer가 추가됨으로써 visual 정보를 추가함. task-specific한 [Encode] 토큰이 텍스트에 추가되고, [Encode]의 출력 임베딩은 image-text 쌍의 multimodal representation으로 사용됨.
3. Image-grounded text decoder: image-grounded text encoder에서 bi-driectional self-attention 레이어를 일반적인 self-attention 레이어로 대체함. [Decode] 토큰은 시퀀스의 시작을 알리도록 사용되고, end-of-sequence 토큰이 끝을 알리는데 사용됨.

 

2-2. Pre-training Objectives

 

논문에서는 pre-training 중에 3개의 objective를 공동으로 최적화하였다. 각각의 image-text 쌍은 하나의 computational-heavy한 visual transformer를 통한 하나의 forward pass를 필요로 하고, text transformer를 통한 3개의 forward pass를 필요로 한다. 여기서 서로 다른 기능들은 다음에 설명되어 있는 3개의 loss를 계산하기 위해 활성화된다. 각각의 loss에 대한 자세한 설명은 생략하고, 이 loss를 통해 모델이 얻게 되는 것들에 중점을 두고 설명하였다. 다음의 그림 2는 pre-training 모델 아키텍처와 objective들을 보여주고 있다.

 

그림 2. pre-training model architecture & BLIP의 objectives

 

• Image-Text Contrastive Loss(ITC): unimodal encoder를 활성화 시킴. vision & language 이해를 향상시키는데 매우 효과적인 objective. ALBEF의 ITC loss를 따라서 momentum encoder를 사용하여 ITC loss를 계산하였음.
• Image-Text matching Loss(ITM): image-grounded text encoder를 활성화 시킴. vision & language 간의 fine-grained 정렬을 캡처하는 image-text multimodal representation을 학습. ALBEF의 IMT loss를 따라서 hard negative mining 전략을 적용함.
• Language Modeling Loss(LM): image-grounded text decoder를 활성화 시킴. 이미지가 주어지면 그 이미지에 대한 설명 텍스트를 생성함.

 

 논문에서는 multi-task learning을 활용하는 반면에 효율적인 pre-training을 수행하기 위해, 텍스트 인코더와 텍스트 디코더는 SA layer를 제외하고는 모든 파라미터를 공유한다. 그 이유는 인코딩과 디코딩 task 간의 차이가 SA layer에 의해 가장 잘 캡처되기 때문이다. 특히, 인코더는 현재 입력 토큰에 대한 representation을 짓기 위해 bi-directional self-attention을 사용하는 반면, 디코더는 다음 토큰을 예측하기 위해 일반적인 self-attention을 사용한다. 이와는 반대로, 임베딩 레이어에서는, CA layer와 FFN 함수가 encoding task와 decoding task에서 유사하기 때문에, 이 레이어들을 공유하는 것은 multi-task learning으로부터 이익을 얻으면서 학습 효율성을 향상시킬 수 있다.

 

2-3. CapFilt

 

 라벨링 비용이 매우 비싸기 때문에, 좋은 퀄리티의 human-annotated image-text 쌍 $\left\{ (I_{h}, T_{h}) \right\}$의 수는 매우 제한되어 있다. 최근의 연구들은 웹에서 자동적으로 수집된 더 많은 수의 image & alt-text 쌍 $\left\{ (I_{w}, T_{w}) \right\}$을 활용한다. 하지만, alt-text는 이미지의 visual content를 정확하게 묘사하지 못할뿐더러, noisy signal을 포함하고 있기도 한다.

 

 논문에서는 text corpus의 퀄리티를 향상시키기 위한 새로운 method인 Captioning Filtering(CapFilt)를 제안하였다. 그림 3은 CapFilt를 묘사하고 있다. CapFilt는 다음의 2가지 모듈을 소개한다. 이 captioner와 filter는 똑같은 pre-trained MED model로부터 초기화되고, COCO dataset에서 개별적으로 fine-tune 된다. 

 

• captioner: 웹 이미지가 주어지면 캡션을 생성.
• filter: noisy image-text 쌍을 제거

 

그림 3. BLIP의 학습 프레임워크

 

 captioner는 image-grounded text decoder이다. captioner은 이미지가 주어지면 텍스트를 디코딩하기 위한 LM objective를 사용하여 fine-tune 된다. 웹 이미지 $I_{w}$가 주어지면, captioner은 한 이미지 당 하나의 종합 캡션 $T_{s}$를 생성한다. filter는 image-grounded text encoder이다. filter는 텍스트가 이미지와 맞는지 학습하기 위한 objective인 ITC와 ITM을 사용하여 fine-tune 된다. filter는 기존 웹 텍스트 $T_{w}$와 종합 텍스트 $T_{s}$ 둘 모두에서 noisy text를 제거한다. 여기서 텍스트가 noisy 하다고 판단되면 ITM head는 이미지와 일치하지 않는다고 예측한다. 마지막으로, 논문에서는 새로운 데이터셋을 생성하기 위해 필터링된 image-text 쌍을 human-annotated 쌍과 함께 조합하였다. 이렇게 생성된 데이터셋은 새로운 모델을 pre-train 하기 위해 사용된다.

 

3. Experiments & Discussions

3-1. Effect of CapFilt

 

 표 1에서 downstream task에서 CapFilt의 효능을 설명하기 위해 서로 다른 데이터셋에서 pre-train된 모델들과 비교하였다. 여기에는 image-text retrieval과 fine-tune 되고 zero-shot 세팅에서의 image captioning을 포함하고 있다. CapFilt의 효능을 요약하면 다음과 같다.

 

• captioner과 filter를 따로 써도 성능 향상은 있지만, 함께 사용하면 서로가 서로를 보완하여 상당한 성능 향상을 가져옴.
• 더 큰 데이터셋 & 더 큰 vision backbone을 사용하면 더 큰 성능 향상이 가능함.

 

표 1. 데이터 bootstrapping에 대한 captioner와 filter의 효과 평가

 

3-2. Diversity is Key for Synthetic Captions

 

CapFilt에서 종합 캡션을 생성하기 위해서 nucleus sampling을 사용하였다. nucleus sampling은 확률적 디코딩 method로, 각 토큰은 누적 확률 질량이 임계값 $p$를 초과하는 토큰 세트에서 샘플링된다. 표 2에서는 nucleus sampling과 결정론적 디코딩 method로 가장 높은 확률의 캡션을 생성하는 데 목표를 둔 beam search을 비교하였다. 그 결과, nucleus sampling이 필터로부터 높은 noise 비율이 나왔음에도 불구하고 확실히 더 나은 성능을 보여줬다. 논문에서는 이에 대한 이유가 nucleus sampling이 모델이 이익을 얻을 수 있는 새로운 정보를 포함하는 더욱 다양하고 놀라운 캡션들로 이루어져 있기 때문이라고 가정하였다. 이와는 반대로, beam search는 데이터셋에 흔히 있는 안전한 캡션을 생성하는 경향이 있고, 따라서 더 적은 외부 지식을 제공한다.

 

표 2. beam search와 nucleus sampling 간의 비교

 

3-3. Parameter Sharing and Decoupling

 

 pre-training 중에 텍스트 인코더와 디코더는 self-attention 레이어를 제외하고 모든 파라미터를 공유한다. 표 3에서는 서로 다른 파라미터 공유 전략을 사용하여 pre-train된 모델의 성능을 평가하였다. 여기서 pre-training은 웹 텍스트와 14M image를 사용하여 수행되었다. 결과에서 보이는 것처럼, SA layer를 제외한 모든 레이어를 공유하는 것은 아무것도 공유하지 않는 것보다 더 나은 성능을 보여줬다. 그리고 모델의 사이즈가 줄게 되면 학습의 효율성이 높아지게 된다. SA layer가 공유되면, 모델의 성능은 encoding task와 decoding task 간의 충돌로 인해 성능이 다운그레이드된다.

 

표 3. pre-training 중에 텍스트 인코더와 디코더를 위한 서로 다른 파라미터 공유 전략 간의 비교

 

 CapFilt 중에, captioner와 filter는 end-to-end로 모든 COCO에서 개별적으로 fine-tune 된다. 표 4에서는 captioner와 filter가 pre-training에서 처럼 똑같이 파라미터를 공유하면 어떤 효과가 나타나는지 연구하였다. downstream task에서 성능은 감소하는데, 이는 주로 확증 편향에 기여한다. 파라미터 공유 때문에, captioner에 의해 생성되는 noisy 캡션은 낮은 noisy ratio로 표시된 것처럼 filter에 의해 걸러질 가능성이 적다. (25%에 비해 8%로 적음)

 

표 4. captioner와 filter 간의 파라미터 공유의 효과

 

 

4. Comparison with State-of-the-arts

이 섹션에서는 BLIP을 기존의 VLP method들과 여러 가지 downstream task에서 비교하였다. 본 포스트에서는 자세하게 다루지 않고 각각의 task에서 BLIP이 어떠한 성능을 보여주는지 정도만 다뤄보도록 하겠다.

 

Image-Text Retrieval

 

표 5. COCO와 Flickr30K 데이터셋에서 fine-tune된 SoTA image-text retrieval method들과의 비교

 

 기존의 model들에 비해서 BLIP은 상당한 성능 향상을 보여줬다. 여기서 더 특별한 점은 다른 모델들과 비슷한 14M의 pre-train image를 사용했을 때에도 기존의 모델들을 능가하는 성능을 보여줬다는 점이다.

 

Image Captioning

 

표 6. NoCaps와 COCO Caption에서 SoTA image captioning method들과의 비교

 

 BLIP은 heavy-detector & 고해상도 이미지에 pre-train 된 LEMON에 비해 detector-free & 저해상도 이미지 & ↓ 추론 시간을 가지고도 더 좋은 성능을 보여줬음.

 

Visual Question Answering(VQA) & Natural Language Visual Reasoning(NLVR2)

 

표 7. VQA와 NLVR2에서 SoTA인 method들과의 비교

 

 논문에서는 VQA와 NLVR task를 수행하기 위해 모델의 아키텍처에 변형을 가하였는데 그 변형에 대해 살펴보겠다.

 

 논문에서는 VQA를 2개의 대답 중에서 하나를 고르는 분류 task로 생각한 것이 아니라 하나의 답변을 생성해 내는 생성 task로 생각하였다. 이는 open-ended VQA를 가능하게 만들어준다. 그림 5의 a에 보이는 것처럼, fine-tuning 중에는 pre-trained model을 재조정해서, image-question이 먼저 multimodal embedding으로 먼저 인코딩 되고, 그다음에 그 값이 answer decoder에 주어진다. VQA model은 ground-truth answer을 타깃으로 사용해서 LM loss와 함께 fine-tune 된다.

 

 논문에서는 NLVR2 task를 진행할 때 pre-trained model에 간단한 조정을 가했는데, 이것이 이전 모델보다 더욱 계산 효율적인 아키텍처를 만들어 줬다. 그림 5의 b에서 보이는 것처럼, image-grounded text encoder에서 각 transformer 블록에 대해, 여기에는 두 개의 입력 이미지를 처리하기 위해 두 개의 cross-attention layer가 존재하고, 이들의 출력은 합쳐져서 FFN에 들어가게 된다. 두 개의 CA layer는 똑같은 pre-trained 가중치로부터 초기화된다. merge layer는 인코더의 첫 6 레이어에서 간단한 평균 풀링을 수행하고, 뒤따라서 6-12 레이어에서 linear projection을 함으로써 조합된다. MLP 분류기는 [Encode] 토큰의 출력 임베딩에 적용된다.

 

Visual Dialog(VisDial)

 

표 8. VisDial v1.0 validation set에서 SoTA 모델들과의 비교

 

 그림 5의 c에서 보이는 것처럼, 논문에서는 이미지 임베딩과 캡션 임베딩은 조합하였고, cross-attention을 통해 dialog encoder에 들어가게 된다. dialog encoder는 전체 dialog history와 image-caption 임베딩이 주어지면 질문에 대한 대답이 true인지 false인지 구별하기 위해 학습된다.

 

그림 5. downstream task에 대한 model architecture

 

 

5. Ablation Study

 이 섹션에서는 CapFilt에 대해서 ablation study를 진행하였다.

 

• CapFilt의 성능 향상은 더욱 긴 학습 때문이 아님: 표 9를 보면 noisy web data를 사용한 더욱 긴 학습은 성능을 향상시키지 않는다.
• 새로운 모델들은 bootstrapped 데이터셋에서 학습되어야 함: 표 10을 보면 contunie training은 도움이 되지 않음.

 

표 9. CapFilt의 성능 향상 분석. 이 표의 결과는 CapFilT의 성능 향상이 더욱 긴 학습 시간으로 인해 얻게 된 것이 아님을 나타냄.

 

표 10. continue training으로 pre-train된 모델은 bootstrapped 데이터셋에서 학습된 모델보다 더 적은 성능 향상을 보여줌.

 

 

 

 

출처

https://arxiv.org/abs/2201.12086

BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation