ChatGPT의 hallucination, 어떻게 해결해야 할까? - Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback

 이제 주변에서 ChatGPT를 써본 사람보다 안 써본 사람을 찾기 힘들 정도로 우리 사회에 깊이 스며들었다. 필자도 이 ChatGPT에 관한 논문에 대해서도 여러 번 리뷰를 했다. 이런 논문을 리뷰할 때마다 느끼지만 ChatGPT는 정말 혁신적인 기술이라고 생각한다. 하지만, 이런 ChatGPT도 여러가지 흠을 가지고 있는데, 예를 들어 가장 큰 문제점 중 하나인 hallucination$($환각$)$이 있다. 이 hallucination은 모델이 모르고 있는 정보에 대한 query가 들어왔을 때 이 query를 모름에도 불구하고 아는 것처럼 없는 사실을 만들어내는 증상을 의미한다. 또는 실제로 없는 정보임에도 불구하고 있는 것처럼 주장해서 사용자에게 잘못된 정보를 제공해주는 등의 문제들을 말한다. 이러한 ChatGPT의 hallucination을 개선하기 위해 Microsoft Research에서는 이 논문을 통하여 개선 방안을 내놓았다.

 

 

The overview of this paper

 ChatGPT 같은 large language model$($LLM$)$은 다양한 task에 대해서 마치 사람과 비슷하게 유창한 응답들을 내놓는다. 하지만, LLM을 실세계에 적용하는 것은 아직 힘든데, 이는 아직 LLM이 hallucination을 일으키고 외부 지식을 사용하는데 무능하기 때문이다.

 

 논문에서는 블랙박스 LLM을 Plug-and-Play 모듈을 사용하여 증가시킴으로써 이러한 문제점을 해결하고자 한 LLM-Augmenter을 소개하였다. 이 시스템은 LLM이 외부 지식에 근거하여 응답을 생성하도록 만들어주고, 또한 utility function으로 생성된 피드백을 이용하여 모델의 응답을 개선시키기 위해 반복적으로 LLM의 prompt를 수정하였다.

 

 

Table of Contents

1. Introduction

2. LLM-Augmenter

3. Experiments

   3-1. Information Seeking Dialog

   3-2. WikiQA

4. Ablation Study

 

 

1. Introduction

 GPT-3와 ChatGPT 같은 LLM들은 정말 유창한 실력과 성능을 가지게 되었다. 하지만 LLM의 지식 인코딩은 손실성이 있고 지식 일반화는 '기억 왜곡'을 일으킨다. 결과적으로 이러한 모델은 hallucinate를 일으키고 있다. 이는 중요한 task에 적용될 때, 그리고 모델의 크기가 커짐에 따라 문제가 커진다. 왜냐하면 LLM은 많은 응용에 대한 모든 정보를 인코딩할 수는 없기 때문이다. 이렇게 되자 외부 지식$($external knowledge$)$을 사용해서 LLM을 개선하고자 하는 시도들이 생기기 시작했다. 

 

 이 논문에서는 외부 지식과 PnP module을 사용한 자동화된 피드백을 사용하여 LLM을 향상시키기 위한 LLM-Augmenter을 소개하였다. 다음의 그림 1에 묘사되어 있는 것처럼 사용자의 쿼리 $q$가 주어지면, LLM-Augmenter는 외부 지식으로부터 증거를 찾고, 관련된 context를 사용하여 연결 지음으로써 증거를 확고히 만든다. 그리고 evidence chain을 만들기 위해 추리를 수행한다. 그 다음에 LLM-Augementer는 외부 지식에 근거한 후보자 응답을 생성하기 위해 ChatGPT에 대한 구체화된 증거를 포함하는 prompt를 사용해서 고정된 LLM에 질문한다. LLM-Augmenter는 후보자 응답에 대해 증거를 haluucinate하는지 안 하는지를 확인하고 입증한다. 만일 그렇다면, LLM-Augmenter는 피드백 메시지를 생성한다. 이 메시지는 ChatGPT에 질문하기 위한 prompt를 수정하는데 사용된다. 이러한 프로세스는 후보자 응답이 검증을 통과해서 사용자에게 보내질 때까지 반복된다.

 

그림 1. LLM-Augmenter가 fixed LLM을 향상시키는 방법

 

 

2. LLM-Augmenter

 LLM-Augmenter의 architecture는 다음의 그림 2에 묘사되어 있다. LLM-Augmenter는 외부 지식과 자동화된 피드백을 사용해서 fixed LLM을 향상시키기 위해 여러 개의 PnP module 세트로 이루어져 있다. 이렇게 만들어진 LLM-Augmenter는 hallucination 같은 생성 문제를 완화시킨다.

 

그림 2. LLM-Augmenter architecture

 

 논문에서는 사람과 시스템과의 대화를 Markov Decision Process$($MDP$)$처럼 표현하기 위해 $(S, A, P, R, \gamma)$ 이렇게 5개의 튜플로 나타내었다. 각각의 튜플은 $S$는 상태, $A$는 행동, $P$는 변환 확률, $R$은 보상, $\gamma$는 할인 인자이다:

 

• $S$: Working Memory에 저장되어 있는 정보를 인코딩한 무한 개의 대화 상태 세트이다.
• $A$: 정책$($Policy$)$가 실행할 액션의 세트이다. 여기에는 $(1)$외부 지식으로부터 증거를 확고하게 하는 Knowledge Consolidator 선언과 $(2)$후보 응답을 생성하기 위한 prompt engineering 선언이 있다.
• $P(s'|s, a)$는 상태 $s$에서  행동 $a$이 수행된 후 새로운 상태 $s'$에 진입하는 변환 확률이다.
• $R(s, a)$는 상태 $s$에서 행동 $a$를 취한 후에 얻어지는 외부 보상이다.
• $\gamma \in (0, 1]$은 할인 인자이다.

 

 이제 LLM-Augmenter의 구조에 대해서 더 자세하게 알아보도록 하자.

 

2-1. Working Memory

 

 이 모듈은 대화에서 모든 필수적인 정보들을 캡처하는 대화 상태를 뒤쫓는다. 상태는 $(q, e, o, u, f, h_{q})$ 이렇게 6개의 튜플을 사용해서 표현한다:

 

• $q$는 현재 사용자의 쿼리
• $e$는 $q$에 대한 증거. Knowledge Consolidator에 의해 외부 지식으로부터 구체화 됌.
• $o$는 LLM이 생성한 $q$에 대한 후보자 응답들의 세트이다.
• $u$는 각 요소 $o$를 평가하는 utility이고, $f$는 utility로부터 LLM을 향상시키기 위한 피드백이다. $u$와 $f$ 둘은 Utility module에 의해 생성된다.
• $h_{q}$는 $q$ 이전의 대화 히스토리이다.

 

 사용자 쿼리 $q$가 주어지면, LLM-Augmenter는 응답을 수정하기 위해 여러 번의 반복을 수행하는데, 각 반복은 증거, 피드백, utility에 기반해서 응답을 수정한다. 이 과정이 그림 1에서 처럼 최종 응답을 사용자에게 보내기 전까지 반복된다. 

 

2-2. Policy

 

이 모듈은 가장 최적의 예측 보상 $R$을 내놓는 다음 시스템 행동을 선택한다. 이러한 행동에는 다음의 것들이 있다.

 

1. 외부 지식으로부터 $q$에 대한 증거 $e$를 얻음
2. 후보자 응답을 생성하기 위해 LLM을 불러옴
3. Utility Module이 검증을 패스하면 user에 응답을 보냄

 

 정책은 손수 제작된 규칙을 사용하거나 사람-시스템 상호작용에서 학습됨으로써 구현될 수 있다. 논문에서는 학습 가능한 정책 $\pi$를 $\theta$에 의해 파라미터화된 신경망 모델처럼 구현할 수 있다. $\pi_{\theta}$는 강화를 사용해서 예측 보상을 최대화할 수 있다:

 

 

 논문에서는 pre-trained model을 사용하여 $\pi$를 구현하는 것이 효과적이라는 것을 알아내었다. 이것은 다음과 같은 이점을 준다.

 

• pre-trained model의 용량 leverage
• fine-tuning을 통해 추가적 정보 포함

 

 정책을 통한 학습은 사람과 머신 간의 상호작용이 많을 수밖에 없다. 따라서 이는 많은 비용을 불러일으키기도 한다. 이러한 문제점을 해결하기 위해 정책 학습은 다음과 같은 3개의 단계로 이루어진다.

 

• 규칙 기반 정책으로부터 bootstrap
• 사용자 시뮬레이터와 함께 학습. LLM-Augmenter의 유효한 응답은 Utility module에 평가되서 학습 예시로 사용될 수 있음 → self-inprove
• LLM-Augmenter는 정책을 개선하기 위해 사람 사용자와 함께 상호작용한다.

 

 정책 외에도 LLM-Augmenter의 다른 학습 가능한 모듈은 똑같은 학습 메소드를 사용해서 최적화될 수 있다. 

 

2-3. Action Executor

 

 이 모듈은 정책에 의해 선택된 행동을 수행한다. 이것은 Knowledge Consolidator와 Prompt Engine 이렇게 2개의 요소로 구성되어 있다.

 

Knowledge Consolidator  LLM이 외부 지식을 사용해서 응답에 근거를 대서 hallucination을 완화하도록 도와준다. Knowledge Consolidator는 다음의 3개의 모듈로 구성되어 있다.

 

• knowledge retriever
• entity linker
• evidence chainer

 

 retriever는 $q$와 $h_{q}$에 기반해서 검색 쿼리를 생성하고 다양한 외부 지식 소스에서 raw evidence를 되찾는다.

 

 이렇게 되찾아진 raw evidence는 가끔 불완전하고 잡음을 포함하고 있기도 한다. 따라서 entity linker는 연관된 context를 연결해서 raw evidence를 풍족하게 해준다. 그 다음에 chainer는 불필요한 evidencer를 가지치기 해준다. 이렇게 함으로써 가장 연관되어 있는 query를 얻게 된다. 결과적으로 구체화된 evidence $e$는 Working Memory로 보내진다. 그림 1에서 구체화된 증거의 예시를 보여주고 있다. 

사용자

Prompt Engine  $q$에 대한 응답 $o$를 생성하기 위해 LLM에 질문하는 prompt를 생성한다. prompt는 task 지침, 사용자 쿼리 $q$, 대화 기록 $h_{q}$, Knowledge Consolidator에서 사용할 수 있는 경우 증거 $e$, Utility module에서 사용할 수 있는 경우 피드백 $f$로 구성된 텍스트 문자열이다. 

 

2-4. Utility

 

 후보자 응답 $o$가 주어지면 Utility module은 task-specific한 utility function을 사용해서 utility 점수 $u$와 그에 상응하는 피드백 $f$를 생성한다.

 

 이러한 utility function은 사용자 예측 또는 특정한 비즈니스 요구와 함께 LLM 응답의 정렬에 접근한다. 예를 들어, information seeking dialog에서 모든 LLM의 응답들은 잘못되거나 부정확한 정보를 제공하는 것을 피하기 위해 지나치게 외부 지식에 근거를 두고 있다. 음식점 예약 대화에서 LLM 응답은 대화적이어야 하고 사용자가 예약 절차를 통해 일상 생활에서 대화할 때 off-topic이 나지 않도록 도와주고 있다. 여기에는 두 가지 유형의 utility function이 있다.

 

• Model-based utility function: 응답의 서로 다른 차원에서 선호도 점수를 매김
• Rule-based utility function: 응답이 특정한 규칙을 따르는지를 측정

 

 게다가, 논문에서는 utility function을 정보적이고 실행 가능한 피드백을 생성할 수 있게 해서 LLM이 더 나은 응답을 내놓을 수 있도록 prompt를 수정하였다. 그림 1에서처럼 utility function은 피드백을 생성한다. 이러한 utility function은 $\psi$에 의해 파라미터화된 텍스트 생성 모델 $Q$이고, seq2seq 또는 auto-regression LM처럼 구현될 수 있다. 이 모델은 입력으로 사용자 쿼리 $q$, 증거 $e$, 후보자 응답 $o$, 대화 히스토리 $h_{q}$가 주어지면 피드백 텍스트 $f$를 다름과 같이 생성한다.

 

$f = Q_{\psi}(q, e, o, h_{q})$

 

 그 대신에, LLM과 rule-based 자연어 생성기는 피드백 생성에 사용될 수 있다.

 

 

3. Experiments

 논문에서는 information seeking dialog와 Wiki QA 데이터셋에 대해서 실험을 진행하였다. 데이터셋은 각각의 task에 대한 데이터셋을 사용하여 진행하였고, 이 부분에 대해서는 자세히 다루지 않도록 하겠다. Experiment setup에 대해서는 자세히 다루지 않겠지만, Utility에 대해서는 한 번 짚고 넘어가도록 하겠다.

 

Utility  Information seeking dialog와 Wiki QA에 대한 Utility는 거의 차이가 없으므로 한 가지에 대해서만 설명하도록 하겠다. 이 task의 목표는 일관성 있고 논리 정연하고 외부 지식에 근거를 둔 context를 생성하는 것이다. 생성된 응답이 구체화된 증거에 근거를 둔 건지를 확인하게 위해 utility score인 Knowledge F1을 사용하였다. 이 점수는 Knowledge Consolidator에 의해 통합되거나 golden 지식으로 제공되는 예측과 증거 간의 중복을 측정한다. 피드백 생성은 template-based 자연어 생성기를 사용해서 성취할 수 있다. 게다가, 논문에서는 ChatGPT를 utility function으로 사용하였는데, 이는 ChatGPT가 후보자 응답을 평가하고 이를 개선하는 방법에 대한 피드백을 제공하도록 유도하여 피드백을 수집하는 self-criticism이다.

 

3-1. Information Seeking Dialog

 

 다음의 두 표는 information seeking dialog의 결과이다.

 

표 1. News Chat 데이터셋에 대한 평가 점수

 

표 2. Customer Service 데이터셋에 대한 평가 점수

 

 평가 결과는 다음과 같다.

 

The impact of using external knowledge  표 1과 2에서 보여주는 실험 결과는 위와 같다. 논문에서는 ChatGPT가 zero-shot 환경에서도 합리적인 성능을 달성하였음을 보여줬다. 하지만, golden knowledge를 접하게 되면 성능은 드라마틱하게 향상되었다. 이것은 LLM의 파라미터들은 거대한 양의 일반 지식들에 대해서 인코드할 수 있는 반면, 더욱 구체적인 지식으로부터 이득을 볼 수 있음을 보여준다. 논문의 실험은 LLM에게 task-specific한 지식을 제공해주는 것이 모델이 생성해낸 응답의 유창성과 정보성을 잃지 않고 hallucination을 완화할 수 있도록 도와줌을 보여줬다. 

 

The impact of using automated feedback  표 1과 2에서 나타나있는 것처럼 golden knowledge 세팅을 사용하는 것의 결과는 Utility module로부터 피드백을 포함시키는 것은 상당한 성능 향상을 가져온다는 것을 보여준다. 이와 비슷하게, Knowledge Consolidator로부터 제공된 증거를 사용하면 상당한 성능 향상을 가져온다.

 

The impace of using trainable Prolicy  그림 3은 고객 서비스 task에 대한 LLM-Augmenter의 학습 커브를 보여준다. 실제 사용자로부터 데이터를 수집해야 하는 외부 보상이 없기 때문에 여기서 보상 $R$을 KF1 utility function으로 정의한다. 이것은 LLM-Augmenter의 강화 학습 세팅에서 LLM-Augmented의 효과를 설명해준다. 이러한 상호작용을 통해 LLM-Augmenter는 보상을 최대화하기 위해 효과적으로 다음 시스템 행동을 선택할 수 있게 된다. 이것은 시스템이 유창하고 정보성있는 응답을 내는 반면에 hallucination을 줄이는데 도움을 준다.

 

그림 3. ChatGPT와 policy 모듈의 학습 커브 비교

 

 추가적으로 ChatGPT에 LLM-Augmenter을 사용하고 안 사용하고의 성능을 비교하였다. 그 결과가 다음의 표 3과 같다. 결과를 살펴보면 ChatGPT 혼자 있는 것보다 LLM-Augmenter를 더 선호하는 모습을 보여줬다. 이는 유용성과 인간성 측면을 생각하였기 때문이다.

 

표 3. ChatGPT와 LLM-Augmenter에 대한 사람의 평가

 

3-2. WikiQA

 

 이렇게 해서 Information seeking dialog에 대해서 알아보았고, 이제 WikiQA에 대한 결과를 알아보도록 하겠다. 다음의 표 4를 보면 WikiQA에 대한 평가 결과를 보여주고 있다. 예상했던 것처럼 closed-book 모델 혼자는 매우 안 좋은 성능을 보여준다. 에러가 발생하는 경우에 대해서 조사를 해본 결과 hallucination이 가장 많았고, 그 뒤로 ChatGPT가 답하지 못한 경우도 많았다. 논문에서는 DPR과 CORE로부터 얻게 된 지식이 F1 score를 상당히 향상시켰음을 보여줬다. closed-book ChatGPT 모델에서 보여준 상당한 성능 향상은 외부 지식을 사용하여 LLM을 향상시키는 것의 중요성을 보여주고 있다. 그리고 information seeking dialog와 마찬가지로 자동화된 피드백을 사용해서 ChatGPT를 증가시키는 것이 성능을 향상시키고 상당히 향상된 recall과 F1 score를 보여줌을 알 수 있다.

 

표 4. WikiQA에 대한 평가 결과

 

 WikiQA에 대한 평가 결과를 살펴보면 DPR보다 CORE을 사용하는 것이, 피드백을 사용하지 않는 것보다 피드백을 사용하는 것이 더 나은 결과를 보여준다는 것을 알 수 있다.

 

 

4. Ablation Study

 논문에서는 knowledge consolidator의 이용에 대한 다양한 정책의 효과를 평가하기 위해 ablation study를 진행하였다.

 

 다음의 그림 4는 정책의 서로 다른 3개의 변형에 대한 결과를 보여주고 있다. 결과는 self-ask 정책이 no-knowledge consolidator보다 상당히 나은 KF1 score를 얻을 수 있음을 보여줬다. 하지만, always-use 정책이 가장 좋은 KF1 score를 보여줬다. 이러한 결과는 훈련 가능한 정책 모델을 사용하여 외부 지식을 사용할 시기를 학습해야 함을 보여준다. 

 

1. no-knowledge consolidator
2. self-ask
3. always-use

 

그림 4. LLM-Augmenter의 서로 다른 정책

 

 게다가 LLM-Augmenter에 대한 서로 다른 유형의 피드백에 대한 평가 결과는 다음의 표 5에 나타나 있다. 그 결과 self-criticism이 더욱 근거에 기반하는 응답을 내놔서 응답의 퀄리티를 향상시켜줌을 보여줬다. 성능은 rule-based 피드백과 비슷하지만 더욱 디테일한 제안을 제공해준다. 논문에서는 self-criticism이 복잡한 task에 더욱 도움이 됨을 보여줬다. 

 

표 5. LLM-Augmenter의 서로 다른 피드백

 

 논문에서는 utility function의 영향과 LLM-Augmenter의 성능에서 feedback-augmented prompting의 영향을 이해하기 위해, 각각의 요소들을 사용하거나 사용하지 않음으로써 분석을 수행하였다. 다음의 그림 5는 각 변형의 결과를 보여주고 있다. 그 결과 utility function과 feedback-augmented prompting의 조합을 사용하는 것이 가장 좋은 성능을 보여주는 것을 알 수 있었다.

 

그림 5. LLM-Augmenter는 utility function과 피드백을 이용한 반복적인 개선의 조합으로부터 이득을 얻음

 

 

 

 

출처

https://arxiv.org/abs/2302.12813

Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback