WebGPT: Browser-assisted question-answering with human feedback 논문 리뷰

WebGPT: 웹 브라우징을 통한 LM의 Factual Accuracy 향상

 GPT-3를 fine-tune 하여 text 기반의 웹브라우저를 사용하여 open-ended 질문을 더욱 정확하게 답하도록 하였다. WebGPT의 프로토타입은 사람이 온라인에서 질문에 대한 답변을 조사하는 방법을 복사하였다. 여기에는 검색 쿼리 제출 및 링크 따라가기, 웹 페이지 위아래로 스크롤과 같은 행동을 포함하고 있다. WebGPT는 정보의 출처를 밝히기 위해 학습되었는데, 이 출처는 factual accuracy를 향상시키기 위한 좋은 피드백을 쉽게 제공해줄 수 있게 만든다. 이와 같은 과정을 통해 더욱 정직한 AI를 만들 수 있을 것이라 생각했지만, 친숙하지 않은 유형의 질문을 복사해오는 문제 같은 문제들이 남아있다. 😢

 

 GPT-3 같은 LM은 서로 다른 여러 가지 task에 대해서 매우 유용하지만, task가 불분명한 real-world 지식을 요구할 때, 정보를 '환각(hallucinate)'하는 경향이 있다. 이를 해결하기 위해, text 기반의 웹브라우저를 사용하여 GPT-3를 가르쳤다. model에게는 open-ended 질문과 브라우저 상황의 요약이 제공되며, "Search...", "Find in page...", "Quote..."과 같은 명령을 실행해야 한다. 이 방법으로, model은 웹페이지로부터 글을 수집하고, 이를 사용해서 대답을 구성한다. 

 

 model은 이전에 사용했던 방법들과 똑같이 GPT-3를 human feedback & human preference로부터 fine-tune하였다. text 기반의 브라우저를 사용해서 질문에 대답할 수 있도록 하는 능력을 주는 사람의 demonstration을 복사해서 model을 학습시킨다. 그 다음에, reward model$($RM$)$을 학습시켜 human preference를 예측하고, RL & rejection sampling을 사용해서 human reference에 대해 최적화 시키는 방법을 통해 model의 대답의 도움성$($helpfulness$)$와 정확도$($accuracy$)$를 향상시켰다. 🔥

 

 WebGPT의 사용 예시는 OpenAI의 블로그를 참고하면 확인할 수 있다. 여기에서 한 번 확인해보길 바란다.

 

 

ELI5 결과

WebGPT는 "Explain Like I'm FIve" subreddit으로부터 open-ended 질문을 스크랩해온 데이터셋인 ELI5의 질문에 응답하기 위해 학습되었다. 이를 위해 총 3개의 서로 다른 모델을 훈련시켰는데, 각각 서로 다른 추론 시간 컴퓨팅 예산을 사용하였다. 가장 뛰어난 모델은 유사한 수준의 사실 정확도로 human demonstrator가 작성한 답변보다 56% 더 선호되는 결과를 보여줬다. 모델 훈련에 사용된 것과 동일한 종류의 demonstration이었지만 human feedback을 사용하여 모델의 답변을 개선함으로써 이를 능가할 수 있었다. 

 

그림 1. ELI5 결과

 

TruthfulQA 결과

 학습 분포에서 가져온 질문에 대해 최고의 모델의 답변은 평균적으로 human demonstrator가 작성한 답변만큼 사실적으로 정확하다. 하지만, 학습 분포 외의 질문에 대해서는 매우 어려워했다. 이를 조사하기 위해, 모델을 TruthfulQA에 대해서 평가해보았다. TruthfulQA는 모델이 일반적인 오해와 같은 것에 희생되는지 여부를 테스트하도록 설계된 짧은 형식의 질문으로 구성된 적대적인 데이터셋이다. 대답들은 진실성$($truthfulness$)$와 정보성$($informativeness$)$ 양면으로 측정된다. 예를 들어, "I have no comment"와 같은 문장은 진실성은 있지만, 정보성은 없는 문장으로 분류된다.

 

 WebGPT는 TruthfulQA에 대해 GPT-3를 능가하고, 보다 유리한 scaling 특성을 나타냈다. 하지만, WebGPT도 사람보다는 뒤처지는 성능을 보여줬는데, 왜냐하면 가끔 신뢰할 수 없는 소스로부터 인용해왔기 때문이다. 이러한 실수의 빈도를 줄이기 위해 적대적 학습과 같은 기술을 사용하였다.

 

그림 2. TruthfulQA 결과

 

Factual Accuracy 측정

 factual accuracy를 향상시키기 위해 feedback을 제공하기 위해서 사람은 모델이 생성한 주장의 factual accuracy를 평가할 수 있어야 한다. 이것은 매우 어려울 수 있는데, 왜냐하면 모델의 주장은 기술적일 수도 있고, 편향적일 수도 있고, 모호할 수도 있다. 이와 같은 이유 때문에, 모델에게 정보의 출처를 요구하도록 하였다. 이를 통해, 사람은 모델의 factual accuracy를 모델의 주장이 신뢰할 수 있을만한 출처로부터 만들어진 건지 확인할 수 있었다. 이는 task를 더욱 관리하기 쉽게 만들 뿐만 아니라, 덜 모호하게 만들었다. 이것은 라벨 잡음을 줄이는데 중요하다.

 

 하지만, 이러한 접근법은 여러 의문을 떠오르게 한다. 무엇이 출처가 신뢰할 수 있는지를 나타내는 것일까? 어떠한 주장이 뒷받침 없이도 충분히 신뢰할 수 있는 주장인 걸까? factual accuracy에 대한 평가와 coherence와 같은 서로 다른 기분 사이에 어떤 절충안이 이루어져야 할까? 이런 것들은 모두 명확히 정의하기 어렵다.. 😢 논문에서는 WebGPT가 이러한 뉘앙스의 많은 부분을 해결했다고 생각하지 않는다. 왜냐하면 WebGPT도 아직 기본적인 실수들을 하기 때문이다. 😅 하지만, AI 시스템의 발전이 중요한 만큼 이러한 정의들도 중요하다고 생각한다. 또한, 투명성과 같은 추가 고려 사항이 중요할 것으로 기대된다.

 

 결국, 출처는 모델의 factual accuracy를 측정하기에는 적합하지 않다는 것을 알았다. 충분히 유능한 모델은 증거에 대한 공정한 평가를 반영하지 않더라도 사람이 설득력을 찾을 것으로 기대하는 소스를 선별한다. 모델이 작동하는 것을 보면, 이러한 것에 대한 사인이 있다.

 

 

효율적 사용 및 학습의 위험

 WebGPT는 일반적으로 GPT-3에 비해서 더욱 진실하지만$($잘못된 주장을 더욱 적게 함$)$, 아직 몇 가지 리스크를 제기한다. 인용이 있는 답변은 종종 그럴 듯한 분위기를 만들어서 모델이 기본적 오류를 범했다는 사실을 모호하게 만들어 준다. 또한, 모델은 사용자의 신념을 강화하는 경향이 있다. 논문에서는 이와 같은 문제점들과 다른 문제점들 또한 어떻게 가장 잘 해결할 지 연구하였다.

 

 이러한 효율적 사용의 위험 외에도 논문의 접근 방식은 모델에 웹 액세스 권한을 부여하여 훈련 시간에 새로운 위험을 도입한다. 논문에서 사용한 웹브라우징 환경은 모든 웹에 대해 접근을 허가하지는 않지만, 모델이 Microsoft Bing Web Search API에 쿼리를 보내는 것을 허가하고, 웹에 이미 존재하는 링크를 따라가게 하였는데, 이는 부작용이 있을 수 있다. GPT-3와 함께한 실험에서, 모델은 이러한 부작용을 위험하게 악용할 만큼 충분히 능력이 있는 것으로 보이지는 않았다. 😌 하지만, 이러한 위험은 모델 기능에 따라 증가하며, 이에 대한 내부 보호 장치를 구축하기 위해 노력해야 한다. 🔥

 

 

 

 

출처

https://arxiv.org/abs/2112.09332

WebGPT: Browser-assisted question-answering with human feedback

https://openai.com/blog/webgpt/

WebGPT: Improving the Factual Accuracy of Language Models through Web Browsing