Better Reasoning Behind Classification Predictions with BERT for Fake News Detection 논문 리뷰

Why I read this paper?

fake news detection 과정에서 모델이 주어진 데이터의 어떠한 단어 또는 문장에 대해 중요성을 보이는지 파악하기 위해 CAM과 Grad-CAM을 활용하여 Visualization을 진행한 부분을 알기 위해. Grad-CAM은 이미지에 적용하기 위해 개발된 기술인데 이를 어떻게 text data에 적용하는지 궁금해서 읽게 되었다.

 

Table of Contents

1. Introduction

2. Methodology

3. Experiments & Results(일정 부분만)

4. Conclusion

 

 

1. Introduction

이 논문에서는 representation space의 퀄리티를 서로 다른 가짜와 진짜 뉴스 데이터셋에 대한 linear separability의 면에서 분석을 하였다. 그리고 classification model에 해석 능력을 추가시켜주기 위해 수정된 Class Activation Mapping(CAM)을 제안하였다. 수정된 CAM은 prediction에 주요하게 사용된 각각의 word token에 대한 CAM 값을 제공한다. 이를 모두 종합한 결과, 학습 가능한 선형 레이어를 얹은 BERT 모델은 CAM과 호환되면서 강력한 성능을 달성하기에 충분함을 보여줬다.

fake news detection process는 다음과 같다.

• 1) tokenization
  
  • 토큰화 과정에서는 전처리 과정을 거치는데, 여기에는 문장을 단어 단위로 쪼개는 것, 불용어를 제거하는 것, 그리고 어간을 추출하는 것들이 포함된다.

• 2) vectorization
  • 토큰화를 거친 데이터에 대해 벡터화를 진행시켜주는데, 보통 카운트 기반 방식인 TF-IDF 또는 pre-trained 된 word embedding matrix인 Word2Vec, GloVe, BERT 등이 사용된다. 이 모델들의 성능은 BERT가 가장 좋은 성능을 보여주고, 그 뒤를 Word2Vec과 GloVe가 잇고, TF-iDF가 그 뒤를 따른다. 그래서 이 논문에서는 이와 같은 순서로 성능을 보여줄 것이라고 가정했고, 이를 연구 내용에서 보여준다

• 3) classification model
  • 위의 과정을 거친 데이터에 대해 classification model을 이용하여 fake news detection을 진행하는 것이다. 현재 진행되는 연구들을 살펴보면 위에서 사용되는 method들을 이용하여 combination을 만들어 사용한다.

 

지금까지의 연구에서는 뉴스의 어떠한 점이 이 뉴스를 fake news 또는 real news로 분류하는지 알 수 없었다. 하지만, 이 논문에서는 CAM을 사용하여 이 문제를 간단하게나마 해결해 보였다.

이 논문을 요약하면 다음과 같다.

1. classification 성능에 대한 embedding space의 퀄리티 분석
2. CAM을 활용한 real and fake news의 근본적인 패턴 분석
3. simple BERT를 활용한 높은 성능과 해석 가능성

이 논문에서의 Background와 Related Work는 다음과 같다.

• Representation Space, Interpretability, Previous Fake News Detection Methods, 

 

 

2. Methodology

2-1. Models

다음의 그림 1에서는 representation space의 퀄리티에 대한 분석과 fake news detection을 위한 classification model을 보여주고 있다.

그림 1. Model 구조

그림 1의 (a)를 보면 Z의 TF-iDF 값은 이것의 feature vector의 어떠한 semantic과 temporal dependency를 가지고 있지 않다. 그림 1의 (b)를 보면 Z는 서로 다른 두 단어 간에 관계를 파악할 수 있는 relational semantic을 가지고 있기 때문에 이전의 Z의 TF-iDF보다 더 나은 representation을 얻을 수 있다. 하지만, Z는 GAP layer에 의해 줄어들 수 있기 때문에, Z'은 어떠한 temporal dependency를 인코드 하지 않았다. 그림 1의 (c)를 보면 Z의~은 워드 임베딩을 포함시킬 뿐만 아니라, positional embedding과 segment embedding 또한 포함시키고, BERT의 Transformer에 의해 참조된다. 따라서 Z'의B는 relational semantic뿐만 아니라 global temporal dependency 또한 인코드 한다. 그래서 representation의 퀄리티는 Z'의B, Z', Z의TF-iDF 순으로 나타낼 수 있다. 마지막으로, 그림 1의 (d)는 이 논문에서 classification model이 사용하였다.

 

2-2. CAM-based Interpretation Method

CAM은 원래 CNN의 GAP과 linear layer에 적용되기 위해 만들어졌기 때문에, 이 논문에서도 이 양식을 맞추기 위해 그림 1의 (d)처럼 BERT의 뒤에 GAP layer와 linear layer을 추가하였다. CAM의 수식은 다음과 같다. CAM에 대한 설명은 여기를 참고하길 바란다.

 

CAM 수식

 

위 수식의 식(1)의 표기법을 식(2)과 같이 모델에 맞게 수정하였다. 구현과 관련하여 (x, y) 공간 차원 대신 l 공간 차원을 지정하고 채널 차원 대신 D 차원을 지정한다는 점을 제외하고는 모든 것이 동일하게 유지된다. 

 

3. Experiments & Results

3-1. Experimental Setup

• Datasets: Kaggle의 "fake and real news dataset" 사용. 데이터셋은 여기서 구할 수 있다.
• Tokenizers and Embedding Matrics: 그림 1의 (a), TF-iDF vectorizer에는 scikit-learn 라이브러리의 tokenizer가 사용되었고, 그림 1의 (b), Word2Vec과 GloVe에는 nltk.tokenize가 사용되었고, BERT에는 BertTokenizer가 사용되었다. 그리고 각각의 embedding matrix에는 다음이 사용되었다.

        Word2Vec: word2vec-google-news-300

        GloVe: glove-wiki-gigaword-300

        BERT: hugging face 사용됨

 

• Training Settings: optimizer로는 AdamW(lr=0.001, batch_size=128, weight decay={0.1, 0.001, 0.00001}, epochs={1, 2})가 사용되었다. 중괄호 안의 값은 그중 가장 좋은 매개변수가 결과를 보고하는 데 사용됨을 나타낸다. learning rate shceduler로는 cosine learning rate decay가 사용되었다. 

 

3-2. Results and Discussions

Analysis of Representation Space: PCA and Linear Evaluation

모든 실험적 요소들은 표 1에 요약되어 있다. 그리고 2차원 PC 공간에서의 representation의 시각화는 그림 2에 나타나있다.

 

표 1. Linear evaluation 결과

 

그림 2. 2-dimensional PC space에서의 representation 시각화

 

그림 2를 보면 e, f, g는 PCA 시각화에서 좋은 클러스터링을 보여주지만 두 클러스터에는 선형 분리성을 방해하는 일부 겹치는 영역이 있습니다. 결국에 BERT에 모든 임베딩 값을 준 모델이 가장 좋은 성능을 보여줬는데, 그 이유는 contextualized word embedding이 BERT의 transformer encoder에서 이루어졌기 때문이라고 할 수 있다. 

 

Analysis of Representation Space: Z' vs. Z'의B

Z'과 Z'의B의 가장 큰 차이점은 contextualization이다. 왜냐하면 contextualization은 transformer의 self-attention을 통과할 때 생기는데, 따라서 Z'의B의 token은 Z'에 비해 다른 tokens와 semantic relations에 대해 더 높은 상관성을 가질 수 있다. 이를 증명하기 위해 임의로 하나의 문장을 뽑아서 시각화를 하였다. 그 결과가 다음의 그림 3이다.

 

그림 3. Z'과 Z'의B의 correlation matrices 비교

 

그림 3에서 여러 가지 패턴을 찾을 수 있는데, 1) Z'의B에서 전반적인 상관성이 높다 2) 인접한 token은 positional encoding 덕분에 더 높은 상관성을 가진다. 3) Z'에서는 똑같은 단어는 1의 상관성을 가지는데, Z'의B에서는 그렇지 않다. 그 이유는 Z'의B는 positional encoding과 transformer encoder을 수행했기 때문인데, 이것은 word relations를 문맥적으로 해석하기 때문이다.

 

CAM-based Interpretation Method for Pattern Discovery

Mc(l)이 가장 높은 문장에서 단어의 10%는 빨간색으로 표시되고 나머지 단어는 검은색으로 표시된다. 그래서 빨간 단어는 상당히 '주목받아' class c로 분류된 것이다. 다음의 그림 4가 CAM의 결과를 보여준다.

 

그림 4. CAM 결과

 

위의 그림 4를 살펴보면 실제 기사의 경우에는 정형어와 정형어를 위주로 하고, 가짜 기사는 :, (, ), /, @, &, ! 와 같은 비격식어, 비격식어구, 구두점에 주로 초점을 맞춘다. 따라서 CAM을 통한 다양한 클래스에 대한 기본 패턴 발견은 매우 효과적인 것으로 나타났다.

 

 

4. Conclusion

이 논문은 representation spcae와 class-specific pattern discovery 그리고 가짜 뉴스 데이터셋에 대해 간단한 classification model을 적용하는 것에 대해 분석하였다. 이 논문의 main contribution은 다음과 같다.

1. TF-iDF와 Word2Vec, GloVe, BERT를 이용한 representation space에 대한 분석을 PCA 시각화와 linear evaluation을 이용하여 진행하였다.
2. CAM을 활용하여 class-specific pattern을 발견하였다.
3. simple BERT 모델을 활용하여 높은 정확도와 interpretability를 달성하였다.

 

출처: Lee, Daesoo. "Better Reasoning Behind Classification Predictions with BERT for Fake News Detection." arXiv preprint arXiv:2207.11562 (2022).