Grad-CAM: Visual Explanation from Deep Networks via Gradient-based Localization 논문 리뷰

Table of  Contents

1. Introduction

2. Grad-CAM

 

 

1. Introduction

Grad-CAM은 Gradient-weighted Class Activation Mapping의 약자로, CNN을 통해 이미지를 분석할 때 일반적으로 사람들은 그 과정을 볼 수 없지만, Grad-CAM을 활용하면 CNN의 활동 과정을 더욱 명백하고 자세하게 알 수 있다. Grad-CAM은 이전의 모델들과 달리 아무런 구조적 변화와 재학습 없이 CNN의 다양한 모델들에 적용이 가능하다!!

이 논문에서는 Grad-CAM과 fine-grained visualization을 결합하여 high-resolution class-discriminative visulaization을 할 수 있었다. 그리고 이를 이용해 이미지 분류, 이미지 captioning과 VQA의 모델들에 적용하였다.

 

CNN이 세상에 나옴으로써 수많은 성과들을 이룰 수 있었지만, 이들의 decomposability는 CNN을 해석하기 어렵게 만들었다. 앞으로의 인공지능의 발전을 위해 사람들은 어떠한 이유로 머신이 이러한 예측을 내놓았는지 파악할 수 있는 '투명한' 모델을 만들어야 한다. CAM이 fully-connected layer을 포함하지 않는 CNN의 제한된 부분만을 사용하여 이미지에서 특별화된 영역을 찾을 수 있었다. 이 논문에서는 이러한 CAM을 일반화시킨 방법으로 구조적인 변화를 주지 않음으로써 가독성과 성능의 trade-off를 피할 수 있었다.

 

무엇이 좋은 image visualization을 하게 만들었을까?

좋은 visualiztion은 class-discriminative하고 high-resolution임을 의미한다.

 

그림 1. visualization 비교

위의 그림1에서 Guided Backpropagation과 Deconvolution과 같은 pixel-space gradient visualizations를 적용했을 때의 결과는 b와 h이다. (이 둘은 비슷한 모습을 보여준다) 이들은 high-resolution하고 fine-grained details를 강조해주지만, class-discriminative 하지는 않다.

 

이와는 반대로 CAM과 Grad-CAM 같은 localization approach는 아주 정확히 class-discriminative 하다. (c를 보면 '고양이'에 대해서는 잘 강조하지만, '강아지'에 대해서는 강조하지 않는 모습을 볼 수 있다. 이는 i도 마찬가지이다)

 

이 논문에서는 pixel-space gradient visualization과 Grad-CAM을 융합하여 high-resolution 하기도 하고, class-discriminative 하기도 한 Guided Grad-CAM visualization을 만들었다. 이것은 하나의 특정 영역에 여러가지 detail이 있다고 해도 모두 파악해내는 것을 d와 j를 통해 확인할 수 있다. 'tiger cat'에 대해 Guided Grad-CAM을 이용해 강조할 때, 고양이의 영역을 찾아낼 뿐만 아니라, 고양의 줄무늬 또한 강조하는 것을 알 수 있다. 이는 고양이의 종을 분류할 때 유용하게 사용될 수 있다. 

 

 

2. Grad-CAM

이전의 수많은 연구에서 CNN의 깊은 representation에서는 더 높은 수준의 visual constructs를 가지고 있을 것이라고 생각하였다. 게다가, 합성곱 계층의 에서 얻는 공간적 정보는 fully-connected layer을 지나면서 모두 사라지게 되기 때문에 이 논문에서는 마지막 합성곱 계층에 가장 최적의 high-level semantics와 detailed spatial information이 있을 것이라고 예상했다. Grad-CAM은 합성곱 계층에서 마지막으로 넘어온 gradient information을 사용해서 관심이 가는 특정한 판단에 따라 importance value를 각각의 뉴런에 할당한다.

그림 2. Grad-CAM의 개요

위의 그림2에서 알 수 있듯이, class-discriminative localization map을 얻기 위한 과정은 다음과 같다.

convolutional network의 마지막 hidden layer의 size가 폭이 u이고 높이가 v인 어느 class c에 대해 class c에 대한 logit을 yc라 하고, 이에 대한 합성곱 계층의 feature map activation을 Ak 라고 한다. 이 과정에서 폭과 넓이 차원(각각 i와 j로 나뉨)에 대해 global-average-pooled 를 함으로써 다음의 neuron importance weights를 얻을 수 있다.

 

가중치 값은 A로부터의 deep network downstream의 partial linearization, 그리고 target class c에 대한 featue map k의 '중요성'을 포함

 

linear combination에 대해 ReLU함수를 적용해서 positive influence만 검출했다. negative pixel은 이미지의 다른 카테고리에 속하는 부분이라고 생각하면 된다. ReLU가 없다면, 가끔은 원하는 class보다 다른 class를 더욱 강조할 수도 있고, 성능이 악화될 수도 있다. 그림1의 c와 f, i와 l을 보면 강아지와 고양이를 각각 잘 보여주고 있을을 알 수 있다. 

일반적으로 yc의 값은 CNN의 이미지 분류 logit이 아니어도 상관 없다. 다른 어떠한 activation이 되어도 되는데 예를 들어 캡션에 대한 단어나 질문의 대답이어도 상관 없다.

 

Guided Grad-CAM

Grad-CAM이 class-discriminative하고 관련된 이미지 영역을 잘 localize 하지만, fine-grained detail을 잘 강조하지 못한다는 단점이 있다. 따라서 이를 극복하기 위해 Grad-CAM과 Guided Backpropagation을 융합하였다. 이 과정이 그림2의 왼쪽에 나타나있다. 

 

Counterfactual Explanations

Grad-CAM에 살짝의 변형을 주었을 때, 조금 다른 모델의 예측을 얻을 수 있다. 결과적으로, 어떤 영역에 일어나고 있는 concept을 없애면 모델이 더욱 그들의 예측에 자신있게 된다. 이것을 counterfactual explanations라고 부른다. 구체적으로, 합성곱 계층의 feature map A에 관한 yc를 negate 하였다. 따라서 다음과 같은 importance weights를 얻을 수 있었다.

Counterfactual explanations

위 수식을 이용해 다음 그림3과 같은 결과를 얻을 수 있다.

 

Counterfactual explanations 결과

 

출처: Selvaraju, Ramprasaath R., et al. "Grad-cam: Visual explanations from deep networks via gradient-based localization." Proceedings of the IEEE international conference on computer vision. 2017.