이 글이 LM이 만들어낸 글일까? 도와줘 DetectGPT!! - DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature 논문 리뷰

 요즘 들어서 가장 뜨거운 감자라고 부를만한 것은 단연코 'ChatGPT'라고 생각한다. 정말이지, ChatGPT의 출현은 온 사회를 뒤집어놓을 만큼 큰 파장을 불러일으켰다. 이전까지 아쉬웠던 성능을 개선하고 민간인에게 처음으로 공개된 LM으로써 사회의 이목을 끌어당기기에는 충분했다. 그리고 성능은 놀라울 정도였으니 말이다. 🔥 필자도 여러 번 질문도 던져보고 시시콜콜한 이야기도 해보았는데, 정말이지 대단하다는 생각이 많이 들었다. 

 

 하지만, 언제나 그렇듯 엄청난 기술의 발전과 출현은 어두운 면도 함께 오게 된다. 나온지 얼마 되지 않았지만, 벌써 이 ChatGPT를 악용하는 사례들이 속속들이 드러나고 있다. 예를 들어, 대학교 과제를 제출할 때, ChatGPT의 힘을 빌려 대신 과제물을 작성하게 한다든가 아니면 잘못된 내용의 뉴스 기사를 작성해 잘못된 정보를 전달한다든가와 같은 문제도 발생하고 있다. 🤒

 

 그래서 이번에 리뷰해볼 논문은 LM이 작성한 글과 사람이 작성한 글을 구분해주는 DetectGPT이다! 😊 그러면 이제부터 DetectGPT의 세상으로 빠져보도록 하자!

 

 

The overview of this paper

 large language model$($LLM$)$은 날이 갈수록 더욱 유창하고 더욱 사실적 정보를 담게 발전되었다. 하지만, 이런 LLM의 발전은 오히려 레포트 대필과 같은 분야에 악용될 수 있음을 보이면서, 이에 대한 경각심을 일으키게 하였다. 이 논문에서는 LLM에 의해 생성된 글이 model의 log probability 함수에서 negative 곡선 영역을 보여준다는 것을 처음으로 설명하였다. 이를 기반으로 새로운 curvature 기반의 기준으로 글이 LLM에 의해 생성된 문장인지 파악하는 DetectGPT를 소개하였다. 이 DetectGPT는 오직 log probability만을 사용하여 분류를 할 수 있었다. 그럼에도 불구하고, 현존하는 model sample detection을 위한 zero-shot method들보다 더욱 뛰어난 분별력을 보여줬다! 🔥

 

 

Table of Contents

1. Introduction

2. Zero-Shot Machine-Generated Text Detection Problem

3. DetectGPT: Zero-shot Machine-Generated Text Detection with Random Perturbations

4. Experiments

   4-1. Main Results

   4-2. Variants of Machine-Generated Text Detection

   4-3. Evaluating scaling properties of DetectGPT

5. Discussion

 

 

1. Introduction

 LLM은 발전에 발전을 거듭해 대부분의 사람의 업무도 할 수 있을 만큼의 성능을 이끌어냈다. 예를 들어, 요즘에 핫한 GPT-3, PaLM, ChatGPT 등은 매우 심도있는 질문에도 질서정연하게 대답하는 등의 놀라운 모습을 보여주고 있다. 😲 하지만, 최근의 연구들에 의하면 LLM이 제공하는 설득력있는 말들이 사실은 종종 잘못된 대답이라는 것을 밝혀내었다. 그럼에도 불구하고, 학생들은 이 LLM을 사용하여 과제를 대필하거나, AI가 작성한 뉴스들이 쏟아져 나오고 있는 현재이다. 이는 학생들의 제대로 된 평가를 불가능하게 만들고, 사람들에게 잘못된 정보를 제공할 수 있는 등의 많은 문제점을 가지고 있다. 이러한 문제점이 대두되면서 model이 생성한 글을 자동적으로 감지해낼 수 있는 기술의 필요성 또한 대두되고 있다.

 

 지금까지는 이를 위해 또 다른 deep network model을 학습시켜서 감지해내려고 하였다. 하지만, 이 방법은 다음의 두 가지 단점을 가지고 있다.

 

• topic에 대해서 과적합이 될 위험성이 있음
• 매 시도 때마다 새로운 model을 학습시켜야 하는 문제점이 있음

 그래서 이를 위해 machine-generated detection의 zero-shot 버전을 고안하였다. 그 방법은 각 토큰당 평균 log probability를 평가하는 것이다. 하지만, 그렇게 할 경우에는 유용한 정보를 포함하는 local structure을 무시하게 되버린다. 

 

 이 논문에서는 다음의 간단한 가설을 제안하였다. model-generated text의 사소한 재작성은 기존의 샘플보다 낮은 log probability를 가지는 반면에, human-written text의 사소한 재작성은 기존의 샘플보다 높거나 낮은 log probability를 보여줬다. 한 마디로, model-generated text는 log probability function에서 negative curvature을 가진다는 의미이다. 

 

 이를 검증하기 위해, 다음과 같이 DetectGPT를 테스트하였다. source model $p_{\theta}$에서부터 나온 글인지 확인하기 위해, DetectGPT는 $p_{\theta}$ 하에서 후보 구절의 log probability를 $p_{\theta}$ 하에서 구절의 여러 perturbations의 평균 log probability와 비교한다. 만약 perturbed 구절이 기존의 것보다 평균 log probability가 어느 정도 마진으로 낮은 값을 가지면, 후보자 구절은 아마도 $p_{\theta}$로부터 나온 것일 것이다. 다음의 그림 1이 이 DetectGPT의 전반적인 개요이다.

 

그림 1. DetectGPT overview

 

 그리고 다음의 그림 2는 가설에 대한 설명이다.

 

그림 2. hypothesis illustration

 

 

Contribution

 

 이 논문의 contribution은 다음과 같다.

 

• model-generated text는 human-generated text에 비해 더욱 negative한 log probability를 보여줬음
• 이 가설에 기반한 DetectGPT 개발

 

2. The Zero-Shot Machine-Generated Text Detection Problem

 zero-shot mahcine-generated text detection은 text 조각이나 후보자 구절 $x$가 source model $p_{\theta}$에 의해 생성된 문장인지 파악하는 문제이다. zero-shot 문제의 특성상 모델은 generated text나 human-written text에 대해 접근할 수 없게 된다.

 

 이 논문에서는 whitebox setting을 사용하였는데, whitebox setting은 모델의 구조 또는 파라미터에 접근할 수 없게 하는 방식이다.

 

 논문에서 제안하는 detection criterion인 DetectGPT는 후보 구절에 가까운 구절을 생성하기 위해 일반적인 사전 훈련된 mask filling model을 사용하였다. 그러나 이러한 mask filling model은 대상 도메인에 대한 fine-tuning이나 적응 없이 off0the-shelf로 사용하였다.

 

3. DetectGPT: Zero-shot Machine-Generated Text Detection with Random Perturbations

 DetectGPT는 기본적으로 source model $p_{\theta}$의 샘플은 human text와 달리, 보통 $p_{\theta}$의 log probability 함수의 negative curvature에 있다는 가설에 기반하였다. 한 마디로, $\tilde{x}$을 생산하는 구절 $x ~ p_{\theta}$에 사소한 변동을 가하게 되면, $log_{p_{\theta}}(x) - log_{p_{\theta}}(\tilde{x})$는 human-written보다 model-generated에 비해 더욱 클 것이다. 이 가설을 입증하기 위해, 살짝 변경되긴 했지만, $x$와 의미는 유사한 $\tilde{x}$에 대한 분포를 제공하는 perturbation 함수인 $q(\cdot | x)$을 생각해냈다. 한 마디로, perturbation function은 $x$의 문장 중 하나를 paraphrase하는 느낌이다. 이 perturbation function을 사용해서 perturbation discrepancy $\textbf{d}(x, p_{\theta}, q)$를 다음과 같이 정의할 수 있다.

 

수식 1. perturbation discrepancy

 

 논문에서 세운 가설을 좀 더 자세히 정립하여 다음의 가설을 세웠다.

 

Hypothesis 4.1  만약 $q$가 data manifold에서 샘플을 생성한다면, $\textbf{d}(x, p_{\theta}, q)$는 샘플 $x ~ p_{\theta}$에 대해 높은 확률로 positive이다. 하지만, human-written text에 대해서 $\textbf{d}(x, p_{\theta}, q)$는 모든 $x$에 대해 0값을 가지는 경향이 있다.

 

 이를 이용하면 text가 모델 $p_{\theta}$에 의해 생성된 text인지 perturbation discrepancy에 기준점을 두어 간단하게 구분할 수 있다. 실제로 perturbation discrepancy가 변별력이 있는지 실험을 통해 이를 증명하였다. 다음의 그림 3을 보면 확실히 human-written text는 model-generated text에 비해 log probability에 대한 average drop이 낮은 걸 알 수 있다.

 

그림 3. perturblation discrepancy 분석 그래프

 

 

이렇게 해서 다음의 알고리즘 1에 DetectGPT가 요약되어 있다.

 

알고리즘 1. DetectGPT Algorithm

 

 4. Experiments

 DetectGPT의 성능이 얼마나 좋은지 확인하기 위해 여러 조건을 적용하여 실험을 진행하였다.

 

Comparisons  DetectGPT를 현존하는 다른 machine-generated text를 감지하기 위한 zero-shot method들과 비교하였다. 이 method들에는 token log probability, token rank 또는 entropy에 대한 통계적 테스트들이 있다. 각각은 다음과 같다.

 

• token log probability: 후보자 구절이 machine에 의해 생성되었는지 확인. log probability가 높을수록 model의해 생성되었다는 의미.
• token rank & log rank: 조건부 확률에 따른 rank의 평균 사용. 낮은 average rank는 machine-generated text라는 의미.
• entropy 기반: model-generated text는 in-distribution적임. 높은 average entropy는 model-generated text라는 의미.

 

Hyperparameters  DetectGPT의 주요한 하이퍼파라미터는 perturbation을 위한 word mask, masked span의 길이, mask filling에 사용할 model 선정, mask filling model을 위한 sampling 하이퍼파라미터 이다. 

 

4-1. Main Results

 

Zero-Shot Machine-Generated Text Detection  DetectGPT와 다른 zero-shot method들 간의 비교 결과는 다음의 표 1에 나타나 있다. 표 1을 보면 DetectGPT가 대부분의 데이터셋에서 더 좋은 모습을 보여주는 것을 알 수 있다. 이로써 log-rank 기준점이 log probability 기준점보다 더욱 강력하다는 것을 알 수 있었다.

 

표 1. DetectGPT와 다른 zero-shot method들의 성능 비교

 

Comparison with Supervised Detectors  Supervised Detector와 DetectGPT의 성능을 비교하였다. supervised learning은 새로운 domain이나 언어에 대해서 잘 적응하지 못하는 모습을 보여주지만, zero-shot method는 새로운 언어와 domain에 대해 손쉽게 일반화되는 모습을 보여줬다. 예를 들어, DetectGPT는 영어에서 독일어로 언어가 바뀌었음에도 별로 영향을 받지 않는 모습을 보여줬다. 다음의 표 2는 DetectGPT가 supervised detector에도 견줄 만한 성능을 보여준다는 것을 보여준다.

 

표 2. Supervised Detector vs. DetectGPT

 

4-2. Vatiants of Machine-Generated Text Detection

 

Detecting Revised Machine-Generated Text  사람들은 자기의 task를 해결하기 위해 model이 생성한 글을 맹목적으로 사용하기도 하지만, 때로는 모델이 생성해낸 글을 직접 수정하거나 바꾸기도 한다. 따라서 이렇게 수정된 글에 대해서는 Detector가 어떤 성능을 보여주는지 실험을 통해 확인하였다. entropy baseline은 이러한 세팅에서 강력한 모습으로 성능 향상을 보여줬고, DetectGPT는 모든 부문에서 최고의 성능을 보여줬다. 다음의 그림 4가 그 결과이다.

 

그림 4. revised text 분류 성능

 

Impact of Alternative Decoding Strategies on Detection  이미 표 1에서 DetectGPT는 machine-generated text를 분류하는데 효과적임을 보여줬다. 하지만 이전 연구들에 의하면 decoding 전략이 detection의 어려움 정도에 영향을 준다고 밝혔다. 이를 분석하기 위해 top-k modeling과 nucleus sampling을 사용하였다. top-k sampling은 샘플링 분포에서 가장 높은 확률값을 가지는 k개의 토큰으로 줄이고, nucleus sampling은 결합 확률이 p를 초과하는 가장 작은 토큰 세트에서만 샘플링한다. 이러한 top-k sampling과 nucleus sampling은 detection을 더욱 쉽게 만들어주었다.

 

Using Likelihoods from Models other than the Source  이 섹션에서는 과연 모델 A가 생성해낸 글에 대해서 모델 B가  candidate passage를 잘 분류할 수 있을지 알아보았다. 다음의 그림 5는 생성 모델과 분류 모델이 다를 때, detection performance가 감소되는 모습을 보여준다. 이를 통해 DetectGPT는 whitebox-setting이 알맞다는 것을 알 수 있었다.

 

그림 5. 생성 모델과 분류 모델이 다를 때 성능 비교

 

4-3. Evaluating scaling properties of DetectGPT

 

Impact of Source and Mask-FIlling Model Scale  여기에서는 source model과 mask-filling model의 크기가 DetectGPT의 성능에 어떠한 영향을 미치는지 분석하였다. 더욱 큰 mask filling model은 DetectGPT가 잠재적인 semantic 공간에서 log probability의 curvature을 측정하게 함으로써 더욱 향상된 성능을 이끌어냈다. 그리고 더욱 큰 사이즈의 모델은 이러한 잠재적 공간을 더욱 잘 표현하게 해주었다. 이는 다음의 그림 6을 보면 확인할 수 있다.

 

그림 6. source & mask-filling model의 크기에 따른 성능 변화

 

Impact of Number of Perturbations for DetectGPT  마지막으로 DetectGPT에 사용되는 perturbation의 수에 따른 성능 변화를 분석하였다. 그 결과, perturbation이 증가함에 따라 성능도 향상되는 모습을 보여줬지만, 100 perturbation부터는 성능이 수렴하는 모습을 보여줬다. 다음의 그림 7은 이를 보여주고 있다.

 

그림 6. Perturbation의 수에 따른 성능 변화. 100에서 성능이 수렴하는 모습을 보여줌.

 

 

5. Discussion

 LLM이 발전에 발전을 거듭함에 따라서 LLM은 더욱 매력적인 툴이 되어갈 것이다. 하지만, 이는 양날의 검인 것이 이를 잘 사용한다면 이만큼 유용할 수가 없는데, 만약 이를 악용하게 된다면 사회에 치명적인 영향을 끼칠 것이다. 이를 방지하기 위해 human-written text인지 model-generated text인지 구분하는 기술이 필요하다.

 

 이 논문에서는 이를 위해 zero-shot machine-generated text detection으로 접근하여 오직 log probability만을 사용하여 text가 생성된 문장인지 아닌지를 감지하는 방법을 제안하였다.  

 

DetectGPT and Watermarking  perturbation function의 한 가지 해석은 기존의 문장과 구문적으로 유사하게 rephrase한다는 것이다. 이러한 표현이 기존의 passage보다 체계적으로 확률이 낮다면 모델은 사용된 특정 표현에 대한 편향을 노출하고 있는 것이다. 다른 말로 하면, LLM이 아직 사람 수준으로 흉내내지를 못해서 암암리에 워터마크를 남긴다는 것이다. 이러한 해석에 의하면, model의 output에 수동으로 워터마크를 추가하는 것이 DetectGPT의 성능을 향상시킬 수 있을 것이다.

 

Limitations  DetectGPT와 같은 zero-shot model-generated text detection을 위한 확률 기반 방법의 한 가지 제한은 문제의 모델의 log probability를 평가할 수 있다는 whitebox-setting이다. 결과적으로 DetectGPT는 다른 detection method보다 compute 의존적이라서 많은 비용을 요구하게 된다는 한계가 있다.

 

 

 

 

 

출처

https://arxiv.org/pdf/2301.11305v1.pdf

https://velog.io/@jhbale11/DetectGPT2023%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0

DetectGPT(2023)_논문 리뷰