사람의 피드백을 통한 강화학습 - Reinforcement Learning from Human Feedback $($RLHF$)$

 Language Model$($LM$)$은 지난 몇 년 동안 사람의 입력을 통해 다양하고 그럴 듯한 text를 생성해내면서 강렬한 인상을 남겼다. 하지만, 어떤 점이 이렇게 좋은 text를 출력할 수 있게 하는지는 자세히 정의할 수 없었다. 왜냐하면 LM이 subjective하고 context dependent하기 때문이다. 이 LM을 응용한 사례는 정말 많은데, 창의성을 필요로 하는 소설 쓰기, 진실성을 필요로 하는 정보 전달, 실행 가능한 코드 생성과 같은 예들이 있다.

 

 손실함수를 작성해서 이러한 특성들을 끄집어내는 건 매우 어려워 보이고, 많은 LM들은 아직도 매우 간단한 next token prediction loss를 통하여 학습되고 있다. 이러한 단점을 보완하기 위해, 사람들은 사람의 선호를 더욱 잘 잡아내기 위한 방법인 BLEU와 ROUGE를 개발하였다. 이러한 방법들은 이전의 손실 함수보다 성능을 측정할 때 더 적합하지만 이러한 방식은 생성된 텍스트를 간단한 규칙이 있는 참조와 단순히 비교하므로 제한적이다. 그렇다면 생성된 텍스트에 대해 사람의 피드백을 사용하여 성능을 평가하면 어떨까? 한 술 더 떠서 이 피드백을 loss로 사용하여 모델을 최적화시키면 어떨까? 이것이 바로 Reinforcement Learning from Human Feedback 즉, RLHF의 기본 원리이다: 강화 학습의 방식을 사용하여 사람의 피드백과 함께 LM을 최적화 시키는 것이다. RLHF는 단순한 텍스트로부터 학습된 LM이 좀 더 복잡한 사람의 가치에 따라 조정될 수 있도록 해준다.

 

 RLHF의 가장 성공한 사례 중 하나는 바로 ChatGPT이다. 사실 이 포스트를 작성하고 있는 이유도 ChatGPT에 사용된 InstructGPT에 대해 공부해보기 위해, 선행으로 필요한 과정인 RLHF에 대해 공부하기 위해서이다. 다시 본론으로 돌아와서, ChatGPT는 실로 엄청난 성능을 보여주고 있는데, 이 ChatGPT에 사용된 기술인 RLHF에 대해 좀 더 자세하게 다뤄보겠다.

 

 

RLHF: 차례차례 살펴보자!

 RLHF는 매우 어려운 주제인데, 왜냐하면 여러 단계의 학습 프로세스와 서로 다른 전개 단계를 가지고 있기 때문이다. 본 포스트에서는 이 학습 프로세스를 3개의 핵심 스텝으로 쪼개서 설명하고자 한다.

 

1. LM Pre-training 하기
2. 데이터 수집 및 reward model 학습
3. LM을 강화학습을 이용하여 fine-tuning

 

 시작하기에 앞서, 어떻게 LM이 pre-train되는지 살펴보도록 하자.

 

Pre-training LM

 

 RLHF도 기존의 LM들과 똑같이, 일반적인 pre-training 목표로 사전 학습된 모델을 사용한다. OpenAI에서는 조금 작은 버전의 GPT-3을 사용하여, 유명한 RLHF 모델인 InsrtucGPT를 개발하였다.

 

 이러한 초기의 모델들은 추가적인 텍스트 또는 상황에 따라 fine-tuning 될 수 있지만, 굳이 그러지 않아도 된다. 예를 들어, OpenAI는 사람이 생성한 텍스트를 이용하여 fine-tuning 하였지만, 이는 기호에 따라 하지 않을 수도 있는 것이다. 왜냐하면, 이 과정은 많은 비용을 필요로 하기 때문이다.

 

 다음으로, LM과 함께, reward model을 설계할 필요가 있다. 이 reward model은 인간의 기호가 시스템에 통합되게 해준다.

 

그림 1. reward model 설명

 

Reward model 학습

 

 사람의 선호도로 조정된 reward model$($RM$)$을 생성하는 것은 RLHF에서 상대적으로 새로운 연구가 시작되는 곳이다. 근본적인 목표는 모델 또는 시스템이 text sequence를 입력으로 받아, 사람의 선호도를 숫자로 표현한 스칼라 값을 얻는 것이다. 이 시스템은 end-to-end LM 또는 reward를 출력하는 모듈식 시스템일 수도 있다. $($예를 들어, 모델은 출력에 순위를 매기고, 순위는 reward로 변환된다.$)$ 스칼라 reward인 출력은 RLHF 프로세스에서 나중에 원활하게 통합되는 기존 RL 알고리즘에 매우 중요하다.

 

 이렇게 reward modeling을 위한 LM은 또 다른 fine-tuned LM이거나 선호 데이터로부터 처음부터 학습된 LM이 되게 된다. 예를 들어, Anthropic은 fine-tuning보다 샘플이 더 효율적이라는 것을 알았기 때문에 사전 훈련 후 이러한 모델을 초기화하기 위해 fine-tuning의 특수한 방법을 사용하지만 reward modeling의 어떤 변형도 명확히 최고로 간주되지 않았다. 

 

 RM을 위한 prompt-generation 짝의 학습 데이터셋은 사전에 정의된 데이터셋에서 샘플링을 통해 제작되었다. prompt는 새로운 텍스트를 생성하기 위해 초기의 LM 속을 지나간다.

 

 human annotator는 LM으로부터 생성된 텍스트 출력을 평가한다. 사람이 바로 스칼라 값을 점수로 매길 수 있다면 좋겠지만, 이는 매우 힘들다. 사람마다 다른 가치의 개념 때문에, 이 점수에 잡음을 섞을 수 있기 때문이다. 그 대신에, 여러 모델의 출력을 비교하는 방식으로 더 나은 정규화된 데이터셋을 생성해낸다.

 

 텍스트에 랭킹을 매기는 방법에는 여러가지가 있는데, 가장 성공적인 방법은 똑같은 prompt에 의해 condition된 2개의 LM이 생성한 텍스트를 비교하는 방식이다. 일대일 매치업에서 모델 출력을 비교함으로써 Elo 시스템을 사용하여 서로 상대적인 모델 및 출력의 순위를 생성할 수 있다. 이렇게 랭킹을 매기는 서로 다른 방법은 학습을 위해 스칼라 reward signal로 일반화된다.

 

 성공적인 RLHF 시스템의 흥미로운 점은 text generation에 따라 상대적으로 다양한 크기의 reward lanugage model을 사용한다는 것이다. 이러한 preference model은 해당 텍스트를 생성하기 위해 모델이 필요로 하는 것처럼 그들에게 주어진 텍스트를 이해하는 유사한 능력을 가져야 한다.

 

 RLHF 시스템의 이 시점에서, 우리는 텍스트와 preference model을 생성할 수 있는 초기의 LM을 가지고 있다. 여기서 preference model은 모든 텍스트를 입력으로 받아서 사람이 그것을 얼마나 잘 인식하는지에 대한 점수를 매긴다. 다음으로, 강화학습$($RL; reinforcement learning$)$을 사용하여 기존의 LM을 RM에 대하여 최적화 시킨다.

 

그림 2. Reward model training

 

RL을 사용한 Fine-tuning

 

 강화학습을 사용하여 LM을 학습시키는 것은 기술적으로나 알고리즘적으로나 불가능하다고 여겨졌다. 그동안 시도 되었던 방법은 정책 그라데이션 RL 알고리즘인 PPO$($Proximal Policy Optimization$)$를 사용하여 초기 LM 사본의 일부 또는 모든 매개변수를 미세 조정하는 것이었다. LM의 파라미터들은 변동하지 않는데 왜냐하면, 거대한 크기의 모델을 fine-tuning하는 것은 비용이 매우 많이 들기 때문이다. PPO는 비교적 오랫동안 사용되어왔다. 이 PPO의 relative maturity는 RLHF에 대한 분산 훈련의 새로운 적용으로 확장하는 데 유리한 선택이 되었다. RLHF를 수행하기 위한 많은 핵심 RL 발전은 친숙한 알고리즘으로 이러한 대규모 모델을 업데이트하는 방법을 알아낸 것으로 밝혀졌다.

 

 이제 이 fine-tuning task를 RL 문제로 고안해보도록 하자. 첫 번째로, prompt를 입력으로 받아서 text sequence를 출력하는 LM을 policy이라 한다. 이러한 policy의 action space는 LM의 vocabulary에 대응하는 모든 토큰을 의미하고, observation space는 가능한 입력 token sequence를 의미한다. 그리고 reward function은 선호도 모델과 정책 변화에 대한 제약의 조합이다.

 

 여기서 reward function은 모든 모델을 하나의 RLHF 프로세스로 묶는 시스템을 의미한다. 데이터셋에서 prompt $x$가 주어지면, 두 개의 텍스트 $y1, y2$가 생성된다 - 하나는 초기의 LM로부터 나온 것이고, 다른 하나는 fine-tuned policy의 현재 버전에서 나온 것이다. 현재의 policy로부터 나온 텍스트는 스칼라 값 '선호도' $r_{\theta}$를 돌려주는 preference model로 들어가게 된다. 이 텍스트는 초기의 model로부터 나온 텍스트와 비교하여 두 텍스트 간의 차이에 대한 페널티를 계산한다. OpenAI의 많은 논문들에서는 이 페널티를 토큰 $r_{KL}$에 대한 분배 시퀀스 간의 Kullback–Leibler$($KL$)$ divergence의 확장된 버전으로 설계하였다. KL divergence는 RL 정책이 각 훈련 배치가 있는 초기 사전 훈련된 모델에서 크게 벗어나지 않도록 패널티를 준다. 이는 모델이 합리적으로 일관된 text snippet을 출력하는지 확인하는 데 유용할 수 있다. 이러한 페널티가 없으면, optimization은 횡설수설한 텍스트를 생성하지만, RM을 속여서 높은 reward를 받을 수 있게 된다. 실제로 KL divergence는 두 분포의 샘플링을 통해 근사화된다. RL 업데이트 규칙으로 전송되는 마지막 reward는 $r = r_{\theta} - \lambda r_{KL}$이다. 

 

 어떤 RLHF 시스템은 reward function에 추가적인 term을 넣기도 한다. 예를 들어, OpenAI는 InstructGPT에서 PPO에 대한 업데이트 규칙에 추가적인 사전 학습된 기울기를 섞음으로써 성공적인 실험을 진행하였다. RLHF가 계속 발전되어야 하는 것처럼 이 reward function도 끊임없이 진화해야 한다.

 

 마지막으로, update rule은 현재 데이터 배치의 reward metrics를 최대화하는 PPO의 파라미터를 업데이트이다. PPO는 신뢰 영역 최적화 알고리즘으로 기울기에 제약을 걸어 학습 프로세스를 불안정하게 하지 않도록 업데이트 스텝을 보장한다. 

 

그림 3. RL 적용 방법

 

 이제 RLHF는 이 시점부터 reward model와 policy의 업데이트를 반복하는 것으로 계속할 수 있다. RL policy가 업데이트 됨에 따라, 유저들은 모델의 이전 버전과 지금 버전의 출력을 비교하여 랭킹을 매기는 것을 계속할 수 있다. 이러한 유형의 데이터를 수집하는 데 필요한 deployment mode는 참여 사용자 기반에 대한 액세스 권한이 있는 대화 에이전트에만 작동하기 때문에 대부분의 문서에서는 아직 이 작업 구현에 대해 논의되지 않았다. 

 

 

RLHF, 그 다음은?

 

 RLHF는 유망함과 임팩트를 보여줌으로써 여러 거대한 AI lab의 관심을 끌고 있지만, 여기에는 명확한 제약이 있다. 모델은 더 나은 반면 여전히 유해하거나 사실적으로 부정확한 텍스트를 불확실성 없이 출력할 수 있다. 이러한 결점은 RLHF에게 앞으로의 도전과제와 동기를 주게 될 것이다. 본질적으로 인간의 문제 영역에서 작동한다는 것은 모델이 완전한 것으로 분류되기 위해 교차해야 할 명확한 최종 선이 결코 없다는 것을 의미한다.

 

 RLHF를 이용하여 시스템을 사용할 때, 사람의 선호도 데이터를 모으는 것은 매우 많은 비용을 필요로 한다. RLHF는 사람의 주석이 있을 때만 좋은 성능을 보여준다. 특정 prompt에 응답하는 잘 작성된 사람 텍스트를 생성하는 것은 시간제 직원을 고용해야 하는 경우가 많기 때문에 비용이 많이 든다. 감사하게도, 대부분의 RLHF 응용에서 RM을 학습시키는데 필요한 데이터의 양은 그렇게 비용이 많이 들지 않는다. 하지만, 아직도 학문적 랩에서 사용하기에는 높은 비용이다.. 현재에는, 일반적인 LM에 대해서 RLHF를 적용하기 위한 하나의 큰 데이터셋$($Anthropic$)$과 task-specific한 여러 개의 작은 데이터셋들$($OpenAI$)$이 존재한다. RLHF에 대한 데티어의 두 번째 문제점은 human annotator가 ground truth없이 추가한 데이터는 학습 데이터에 상당한 잠재적인 분산을 추가할 수 있다.

 

 더욱 자세한 내용이 알고 싶다면 이 영상을 참고하길 바란다.

 

 

 

P.S.

 무작정 따라 읽으면서 작성해보긴 했으나 아직 완벽히 이해하지 못한 부분들이 많은 것 같다. 추후에 좀 더 자세하게 공부해보도록 하겠다!!

 

 

 

 

 

출처

https://huggingface.co/blog/rlhf

Illustrating Reinforcement Learning from Human Feedback (RLHF)