CLIP: Learning Transferable Visual Models From Natural Language Supervision 논문 리뷰

 OpenAI에서 공개했던 CLIP의 논문을 읽고 리뷰해보았다. 전체 논문을 읽어보고 싶었으나 전체 논문의 분량이 너무 길어서 논문에서 중요하다고 생각되는 부분과 블로그를 참고하여 포스트를 작성하였다. OpenAI의 CLIP 소개 블로그는 여기를 참고하길 바란다. 자 그럼 지금부터 포스트를 시작해보도록 하겠다!! 🔥

 

 

CLIP: text와 image를 연결하다

 OpenAI에서는 CLIP이라는 새로운 신경망 네트워크를 소개하였다. 이 CLIP은 자연어 supervision으로부터 visual concept를 효율적으로 학습하였다. CLIP은 단순히 인식할 visual category의 이름을 제공하여 GPT-2와 GPT-3처럼 'zero-shot'으로 모든 visual classification 벤치마크에 적용할 수 있다.

 

 딥러닝은 computer vision 분야에서 혁명을 일으켰지만, 현재의 방식들은 몇 가지 중요한 문제점들을 가지고 있다. 일반적인 vision dataset은 좁은 visual concept를 가르치지만, 노동을 필요로 하고 비용도 많이 든다. 기존의 vision model은 오직 한 가지 task에 대해서만 좋은 성능을 보여주고, 새로운 task에 적용하기 위해서는 많은 노력을 필요로 한다. 그리고 벤치마크에서 좋은 성능을 보여주는 모델도 stress test에서는 실망스러운 성능을 보여줘서, 현재 computer vision의 학습 방식에 대한 우려를 불러일으키고 있다.

 

 그래서 이러한 우려를 해결하고자 제안한 모델이 바로 CLIP이다. CLIP은 인터넷에 존재하는 다양한 종류의 이미지와 자연어로 학습되었다. 디자인 구조에 의하면, 네트워크는 자연어로 가르침을 받아서 다양한 분류 벤치마크에 대해, 벤치마크 성능에 대한 최적화 없이도 GPT-2와 GPT-3의 ' zero-shot'으로 수행이 가능하다. 이것이 중요한 바뀐 점이다. 벤치마크에 대해 직접적으로 최적화한 것이 아니라, 이것이 더욱 대표성이 있다고 생각한다. CLIP은 원본의 1.28M 레이블 예제를 사용하지 않고 ImageNet zero-shot에서 원본 ResNet-50의 성능을 일치시키면서 이 'robustness gap'의 격차를 75%로 좁혔다. 다음의 그림 1은 ImageNet ResNet-101과 CLIP ViT-L의 성능 비교이다.

 

그림 1. 두 모델은 ImageNet 테스트셋에 대해서 똑같은 성능을 가지지만, CLIP의 성능은 ImageNet이 아닌 다른 설정에서 정확도를 측정하는 데이터셋에서 어떻게 작동하는지 훨씬 더 잘 나타냈다. 예를 들어, ObjectNet은 object가 어떤 포즈나 환경에 있어도 인식할 수 있는 능력을 확인하지만, ImageNet Rendition과 Sketch는 object의 더욱 추상적인 묘사를 확인한다.

 

Approach

 간단한 pre-training task를 scaling하는 것으로도 다양한 분야의 이미지 분류 데이터셋에 대해 경쟁력있는 zero-shot performance를 얻기에 충분하다는 것을 보여줬다. CLIP은 사용 가능한 풍부한 supervision을 사용하였다. 이 데이터셋은 인터넷에서 찾은 text와 image가 짝을 이루는 데이터들로 이루어져 있다. 이 데이터는 CLIP을 위한 proxy training task를 생성하는데 사용된다. image가 주어지면, 32,768개의 랜덤하게 샘플링된 text snippet중에서 실제로 이미지와 짝을 이루는 text를 예측해야 한다.

 

 이 task를 해결하기 위해, CLIP은 이미지에서 다양한 종류의 visual concept를 인식하도록 학습해야 하고, 이 visual concept들을 이들의 이름과 연결 지을 수 있어야 한다. 결과적으로, CLIP model은 임시적인 visual classification task에 적용될 수 있다. 예를 들어, 데이터셋의 task가 고양이와 강아지의 사진을 분류해야 한다고 할 때, 각 이미지에 대해 CLIP 모델이 '고양이 사진' 또는 '강아지 사진'이라는 텍스트 설명이 해당 이미지와 짝을 이룰 가능성이 더 높은지 예측해야 한다.

 

 다음의 그림 2는 CLIP의 구조에 대한 대략적인 개요를 보여준다.

 

그림 2. CLIP은 데이터셋에서 어떤 이미지가 어떤 텍스트와 짝을 이루는지 예측하는 image encoder와 text encoder을 pre-train한다. 그리고 이러한 특성이 CLIP을 zero-shot 분류기로 바꿔버린다. 데이터셋의 모든 클래스를 '강아지 사진'과 같은 캡션으로 변환하고 캡션의 클래스를 예측하게 하였다. CLIP은 주어진 이미지와 가장 좋은 짝을 추정하도록 하였다.

 

 1개의 batch는 $N$개의 $($image, text$)$ 쌍으로 구성되어 있다. 그러면, $N$개의 쌍을 모든 $i, j$에 대해 비교하면 $N$개의 positive pair와 $N^{2}-N$개의 negative pair을 얻을 수 있다. 그리고 다음과 같은 과정을 통해 CLIP은 multi-model embedding spave를 학습하게 된다.

 

• image와 text를 하나의 공통된 sapce로 보냄
• positive pair에서 cosine similarity는 최대화 🔺
• negative pair에서 cosine similarity는 최소화 🔻
• Cross Entropy을 사용하여 학습

 

 논문에서는 이해를 돕기 위해 다음의 코드를 제공해주었다. 한 번 찬찬히 살펴보길 바란다.

 

그림 3. CLIP의 학습 방식 코드

 

 CLIP은 기존의 computer vision에 대한 딥러닝 방식들의 몇 가지 주요 문제점들을 완화시키기 위해 디자인되었다.

 

비용이 많이 드는 데이터셋 💸

 

 딥러닝은 많은 데이터를 필요로 하고, vision model은 통상적으로 비용도 많이 들고 한정된 수의 visual concept에 대해서 supervision을 제공하는 수동으로 라벨링된 데이터셋에서 학습된다. ImageNet 데이터셋은 이러한 공간에서 하나의 커다란 노력이었다. 왜냐하면 25,000명이 넘는 작업자들이 22,000개의 object category에서 1,400만 개의 이미지에 대해 라벨링을 했기 때문이다. 이와는 반대로, CLIP은 인터넷에서 손쉽게 구할 수 있는 text - image 쌍으로 학습되었다. 이렇게 만들어진 데이터셋은 약 4억개의 $($image, text$)$쌍으로 이루어진 WebImageText$($WIT$)$ 데이터셋이다.

 

제한된 능력 ⚠️

 

 ImageNet 모델은 1,000개의 ImageNet 카테고리를 잘 예측하지만, 이 범주에서 벗어난 것들에 대해서는 말짱 도루묵이었다. 또다른 task에 대해 수행하게 하려면, ML practitioner는 새로운 데이터셋을 만들어서, output head에 추가하고, 모델을 fine-tune해야 한다. 이와는 반대로, CLIP은 다양한 종류의 visual classification task에 대해 추가적인 training example 없이 수행할 수 있다. CLIP을 새로운 task에 적용하기 위해서 필요한 모든 것은, 그저 CLIP의 text encoder에 task의 visual concept 이름을 알려주면, CLIP은 CLIP의 visual representation의 선형 분류기를 출력할 것이다. 이러한 분류기의 정확도는 완전하게 지도 학습된 model과 경쟁할 수 있을 만큼 된다.

 

 다음은 다양한 데이터셋에서의 example에 대한 zero-shot CLIP 분류기의 예측들이다.

 

그림 4. zero-shot CLIP의 predictions

 

떨어지는 real-world performance 🔻

 

 딥러닝 시스템은 종종 vision 벤치마크에서 사람 수준이나 사람을 초월하는 수준의 성능을 보여주기도 하지만, 실세계에 적용했을 때는 아직 벤치마크에서 보여줬던 것과는 거리가 있는 성능을 보여준다. 한 마디로, 'benchmark performance'와 'real performance'에는 차이가 있다는 것이다. 이러한 성능 차이가 발생하는 이유는 모델이 오직 벤치마크에 대한 성능을 향상시키기 위해 학생이 시험을 통과하기 위해 지난 시험의 기출문제를 공부하는 것처럼 '부정 행위'를 하기 때문이라고 추측한다. 이와는 반대로, CLIP model은 데이터를 학습하지 않고도 벤치마크에서 평가할 수 있기 때문에, 이러한 방식으로 '부정 행위'를 할 수가 없다. 이것으로 CLIP의 벤치마크 성능이 실세계에서도 비슷한 수준의 성능을 보여준다는 것을 알 수 있었다. '부정 행위 가설'을 증명하기 위해, CLIP이 ImageNet에 대해 학습할 수 있을 때, CLIP의 성능 변화도 측정하였다. CLIP의 feature 위에 선형 분류기를 장착하면 ImageNet 테스트셋에서 CLIP의 정확도가 거의 10% 향상된다. 하지만, 이 분류기는 평균적으로 7개의 다른 데이터셋에 대해 robust performance를 평가할 때 더 좋은 성능을 보여주지 못 했다.

 

 

핵심 요약

 

1. CLIP은 매우 효율적임 ✅

 

 CLIP은 필터링되지 않은 매우 다양하고 잡음이 많은 데이터에서 학습하여 zero-shot 방식으로 사용하도록 되어 있다. GPT-2와 GPT-3와 같이 이런 데이터에서 학습된 모델은 강력한 zero-shot performance를 보여줬다. 하지만, 이러한 모델들은 상당한 학습 비용을 필요로 한다. 필요한 컴퓨팅을 줄이기 위해, CLIP의 학습 방식의 학습 효율성을 향상시키는 알고리즘적 방법에 집중하였다.

 

 그 결과, 두 개의 알고리즘적 선택이 상당한 계산 비용을 아끼는 것을 알아냈다. 첫 번째 선택은 text와 image를 연결하기 위한 contrastive objective의 채택이다. 논문에서는 원래 VirTex와 유사한 image-to-text 방식을 조사하였지만, 이를 이용하여 SOTA를 달성하는데 어려움을 겪었다. 중소 규모의 실험에서 우리는 CLIP에서 사용하는 contrastive objective가 zero-shot ImageNet 분류에서 4배에서 10배 더 효율적이라는 것을 발견했다. 두 번째 선택은 Vision Transformer을 적용하는 것이었는데, 이는 기존의 ResNet보다 3배 더 계산적으로 효율적이었다. 마지막으로, 가장 좋은 성능을 낸 CLIP 모델은 현존하는 large scal image model과 비슷한 성능을 보여줬다.

 

그림 5. 원래 image-to-caption LM을 조사하였으나, 이 방식이 zero-transfer에서 어려움을 겪는 것을 알았다. 16 GPU day 실험에서 LM은 4억 개의 이미지에 대한 학습 후 ImageNet에서 16%의 성능 향상만을 달성하였다. CLIP은 더 효율적이고 10배 더 빠른 속도로 똑같은 정확로를 달성하였다.

 

2. CLIP은 유연하고 일반적 😁

 

 CLIP은 자연어로부터 직접 다양한 종류의 visual concept를 학습하기 때문에, 다른 ImageNet model들보다 유연하고 일반적이다. 그리고 CLIP은 서로 다른 많은 task에 대해서 zero-shot을 수행할 수 있다는 것을 알아냈다. 이를 검증하기 위해 30개의 서로 다른 데이터셋에 대해서 zero-shot performance를 측정하였다. 특히, OCR을 학습하는 것은 기존의 ImageNet model에서 발생하지 않는 흥미로운 특성이다. 위에서 각각의 zero-shot 분류기로부터 랜덤한 non-cherry picked 예측을 시각화하였다.

 

 이러한 발견은 기존의 linear probes를 사용한 representation learning 평가에서 또한 나타나었다. 가장 성능이 좋은 CLIP model은 가장 성능이 좋은 ImageNet model의 성능을 능가하였다.

 

그림 6. 27개의 데이터셋에서 CLIP 모델이 보다 광범위하게 유용한 이미지 표현을 학습한다는 사실을 발견했다. CLIP 모델은 또한 이전의 10가지 접근 방식 모델보다 더 효율적이었다.

 

한계

 CLIP은 보통 일반적인 사물을 잘 인식하지만, 사물의 개수를 세는 것과 같은 추상적이거나 체계적인 task와 사진에서 자동차가 얼마나 가깝게 있는지를 예측하는 더욱 복잡한 task에 대해서 어려움을 겪고 있다. 이러한 두 개의 데이터셋에서 zero-shot CLIP은 고작 random guessing보다 살짝 나은 결과를 보여줬다. Zero-shot CLIP은 fine-grained classification에 대해 task specific한 모델에 비해 어려움을 겪었다. 

 

 CLIP은 pre-training dataset으로 커버되지 않은 이미지에 대해 좋지 않은 일반화를 가지고 있다. 예를 들어, CLIP은 가능한 OCR 시스템을 학습하지만 MNIST 데이터셋에서 손으로 쓴 숫자로 평가할 때 zero-shot CLIP은 데이터셋에서 인간의 99.75%보다 훨씬 낮은 88% 정확도만 달성했다. 마지막으로, CLIP의 zero-shot 분류기는 wording과 phrasing에 민감하고, 가끔은 잘 수행하기 위해 'prompt engineering'의 시행착오를 필요로 한다.

 

결론

CLIP과 함께 최근에 NLP 분야에서 큰 발전을 이룬, 인터넷 규모의 자연어에 대한 작업에 구애받지 않는 pre-training을 활용하여 다른 분야의 딥러닝 성능을 향상시킬 수 있는지 여부를 테스트했다. 이러한 접근 방식을 computer vision에 적용할 수 있다는 결과에 매우 흥미로웠다. GPT 계열과 비슷하게, CLIP은 zero-shot transfer을 통해 시연하는 pre-training 도중에 다양한 종류의 task를 학습한다. 그리고 zero-shot 평가가 model의 능력을 평가하는 더욱 대표적인 수치라는 것을 알아내었다.

 

 

 

 

출처

https://arxiv.org/abs/2103.00020

Learning Transferable Visual Models From Natural Language Supervision

https://openai.com/research/clip

CLIP: Connecting text and images