Let's verify step-by-step 논문 리뷰

The overview of this paper

 최근 몇 년 동안 LLM은 복잡한 multi-step 추론을 수행하기 위한 능력이 상당히 개선되었다. 하지만, SoTA 모델은 아직 논리적 오류를 만들어 내기도 한다. 더욱 신뢰도 있는 모델을 학습시키기 위해 최종 결과에 대해 피드백을 제공하는 outcome supervision으로 전환될 수 있다.

 

 논문의 실험을 통해 어려운 MATH 데이터셋의 문제를 해결하기 위해 process supervision이 outcome supervision을 상당히 능가하는 모습을 보여줬다. 또한 active learning이 process supervision의 효험을 상당히 개선시킨다는 것을 보여준다. 그리고 80만 개의 step-level human feedback 라벨을 포함하는 완성 데이터셋인 PRM800K를 공개하였다.

 

 

Table of Contents

1. Introduction

2. Methods

3. Large-Scale Supervision

4. Small-scale Synthetic Supervision

5. OOD Generalization

6. Discussion

 

 

1. Introduction

 LLM은 step-by-step CoT 포맷에서 솔루션을 생성함으로써 복잡한 multi-step 추론을 필요로 하는 task를 수행할 수 있다. 하지만 잘못된 정보를 주거나 hallucination을 일으키기도 한다. 따라서 이러한 hallucination을 탐지하고 완화하는 것은 추론 능력을 개선시키는데 필수적이다. 

 

  효과적인 method 중 하나는 바람직한 output 간에 구별을 하기 위한 RM 학습을 포함한다. 이 기술은 유용하지만 결과로 나온 시스템은 RM 자신에게만 신뢰도가 있다. 그래서 어떻게 가장 효과적으로 신뢰도 있는 RM을 학습시키는지에 대한 연구가 중요하다.

 

 이전 연구에서 RM을 학습시키기 위한 2개의 method를 설명한다: outcome supervision & process supervision.

 

• Outcome-supervised reward models(ORM): 모델의 CoT의 최종 결과만을 사용해서 학습함
• Process-supervised reward models(PRM): CoT에서 각 스텝에 대한 피드백을 받음

 

 process supervision을 더 선호하는 이유는 다음과 같다. 오류가 발생하는 정확한 위치를 명시해서 더욱 정확한 피드백을 제공하고, process supervision은 이러한 misaligned 특성을 완화하는 모습을 보여준다. 

 

 하지만 이러한 장점에도 불구하고 outcome supervision과 process supervision은 비슷한 최종 성능을 이끌어낸다. 논문에서는 3개의 주된 차이점을 가지고 디테일한 비교를 진행하였다.

 

• 더 유능한 base model
• 상당히 더 나은 human feedback
• 더욱 어려운 MATH 데이터셋에서의 학습과 테스트

 

 논문의 contribution은 다음과 같다.

 

1. process supervision은 outcome supervision보다 더 신뢰도 있는 RM을 학습시켰음
2. 거대 RM은 smaller RM에 대해 human supervision에 근접할 수 있음
3. active learning은 process supervision 데이터 효율성에서 2.6배의 개선을 이끌었음
4. PRM800K supervision 데이터셋을 공개함

 

2. Methods

 outcome & process supervision의 비교를 수행하였다. outcome supervision은 사람 없이도 간단하게 정답을 확인해서 할 수 있지만, process supervision은 따로 자동화된 method가 없기 때문에 human data-labeler에 의존해서 진행하였다.

 

 논문에서는 2개의 별개의 영역에서 실험을 진행하였다: large-scale & small-scale. 각각은 각각의 장점을 가지고 있다. 논문에서는 가장 신뢰도 있는 ORM과 PRM을 학습시킴으로써 SoTA를 발전시키는데 초점을 맞췄다. 불행하게도 이 RM에 대한 training set는 직접적으로 비교가 불가능한데, 이 결점을 해결하기 위해 더욱 직접적인 비교를 수행할 수 있는 소규모의 모델 또한 학습시켰다. 또한 값비싼 human feedback에 대한 의존도를 제거하기 위해 대규모 모델을 사용해서 소규모 training을 진행하였다.

 

2-1. Scope

 

 각 모델 규모에서, 모든 솔루션을 생성하기 위해 하나의 고정된 모델을 사용하였다. 이 모델을 generator라고 부른다. generator를 개선시키기 위해 따로 RL은 사용하지 않았는데, 이는 RL을 사용해서 학습시키면 generator가 RM으로부터 어떠한 supervision도 받지 않기 때문에, 이는 논문의 취지와 맞지 않아서 배제하였다. 그 대신에 어떻게 가장 신뢰도 있는 RM을 학습시킬 수 있는지에 대해 초점을 두었다.

 

2-2. Base Models

 

 모든 대규모 모델은 base GPT-4 모델로부터 fine-tuned 되었다. 이 모델은 next token prediction으로만 pre-train 되고 RLHF로는 학습되지 않았다. 소규모 모델도 GPT-4와 디자인은 비슷하지만 200배 더 적은 계산량에서 pre-train 되었다. 추가적인 pre-training step으로 모든 모델을 MathMix 데이터셋에서 추가적으로 fine-tune 하였다. 이것이 모델의 수학적 추론 능력을 개선시켰다.

 

2-3. Generator

 

 개별 step의 분석을 쉽게 하기 위해 step-by-step 형식으로 솔루션을 생성하도록 generator를 학습시켰다. 구체적으로 MATH training 문제에 대한 솔루션을 few-shot으로 생성하고, 알맞은 최종 응답에 도달하는지 필터링하고, 이 데이터셋에서 base model을 1 epoch에서 fine-tune 하였다. 이 스텝은 generator가 목표로 하는 형식으로 솔루션을 생성하도록 가르친다.

 

2-4. Data Collection

 

 process supervision 데이터를 수집하기 위해 human data-labeler와 대규모 generator에 의해 샘플링된 MATH problem에 대한 이들의 task는 솔루션과 함께 나타났다. 이들의 task는 그림 1처럼 솔루션에서 각 스텝에 라벨(positive, neutral, negative)을 지정하는 것이다. 논문에서 neutral 라벨을 허락하는 이유는 어떻게 모호성을 다룰 수 있는지에 대한 결정을 달리하는 것을 허락해 주기 때문이다.

 

그림 1. 피드백을 수집하기 위해 사용된 인터페이스의 스크린샷

 

 논문에서는 솔루션을 제한된 human-data 리소스의 값을 최대화하기 위해 대규모 generator로부터 라벨링 하였다. 논문에서는 수집된 step-level 라벨의 전체 데이터셋을 PRM800K 라고 지칭하였다. 이 데이터셋은 12K 개의 문제에 대한 75K 개의 솔루션에 대한 800K 개의 step-level 라벨로 구성되어 있다. 오버피팅을 최소화하기 위해 4.5K 개의 MATH test 문제를 PRM800K training set에 포함시켰다. 그리고 남은 500개의 MATH test 문제에 대해 모델을 평가하였다.

 

 데이터 수집 중에 어떤 솔루션이 데이터 라벨러에게 보여져야 할지 결정되어야만 하는데, 이것은 best RM을 최대한 잘 속이는 솔루션을 선호한다. 그래서 convincing wrong-answer를 선택하였다. 여기서 convincing은 PRM으로부터 높게 평가된 솔루션이고, wrong-answer는 incorrect final answer에 도달하는 솔루션을 말한다. 논문에서는 이 약간 장황한 표현을 사용하여 정확성이 전적으로 final answer를 확인함으로써 결정된다는 사실을 강조하였다. 이 과정은 때때로 잘못된 답으로 이어지기도 한다. convincing wrong answer 솔루션을 라벨링 하는 것으로부터 많은 정보를 얻을 것이라 예상하였는데, 왜냐하면 PRM은 이러한 각 솔루션에서 최소 한 스텝에 대해 실수한다는 것을 알고 있기 때문이다. 

 

 게다가 이러한 선택 전략을 사용해서 데이터 수집 프로세스의 여러 포인트에서 최근의 데이터를 사용해서 PRM을 반복적으로 재학습시켰다. 

 

2-5. Outcome-supervised Reward Models(ORM)

 

 논문에서는 generator로부터 문제 당 고정된 수의 솔루션을 균일하게 샘플링하고, 각 솔루션이 맞는지 또는 안 맞는지 예측하도록 ORM을 학습시켰다. test time에 ORM의 예측을 솔루션에 대한 전반적인 score의 최종 토큰으로 사용하였다. 또한 ORM 타깃이 완벽히 신뢰되는지, 그렇지 않은지를 자동화된 grading을 사용하여 결정하였다: incorrect 추론으로 correct answer에 도달하는 false positive 솔루션은 잘못 grading 될 것.

 

2-6. Process-supervised Reward Models(PRM)

 

 논문에서는 각 스텝에서 최종 토큰 이후의 각 스텝의 정확도를 예측하기 위해 PRM을 학습시켰다. 이 예측은 single token의 형태를 가지고, training 중에 타깃 토큰의 log-likelihood를 최대화시킨다. 테스트 시에 step-level 예측을 결정하기 위해 PRM이 suffix 돼서 전체 솔루션에 대해 하나의 PRM forward pass를 수행한다. 논문에서는 그림 2에 2개의 서로 다른 솔루션에 대한 대규모 PRM score를 시각화하였다. 다양한 솔루션을 비교하기 위해 각 솔루션에 대한 single score 계산은 필수적이다.

 

그림 2. 똑같은 문제에 대해 PRM에 듸해 평가된 2가지 솔루션. 왼쪽의 솔루션은 정확했지만, 오른쪽의 솔루션은 부정확한 모습을 보여준다. 초록색은 높은 PRM score를 말하고, 빨간색은 낮은 PRM score를 의미한다.

 

 process supervision을 제공할 때 의도적으로 첫 번째 잘못된 단계까지만 supervise 하도록 선택하였다. 이것은 outcome supervision과 process supervision 간의 비교를 더욱 직관적으로 만들어줬다. 알맞은 솔루션에 대해 두 method는 모든 스텝이 알맞다는 똑같은 정보를 제공한다. 알맞지 않은 솔루션에 대해 2개의 method는 최소 하나의 실수의 존재를 밝혀내고, process supervision이 제공되면 proces supervision은 더욱 큰 정보적 장점을 가지게 될 것이다. 이러한 결정은 사람과 비슷한 라벨링 비용을 유지한다: 확인하기 쉬운 final answer에 의존하지 않고 솔루션의 정확성을 결정하는 것은 첫 번째 실수를 식별하는 것과 같다. 대부분의 MATH problem은 easy-to-check final anser를 가지지만, 논문에서는 이것이 더욱 복잡한 도메인에서도 유지될 것이라고는 생각하지 않는다고 예상하였다.

 

 

3. Large-scale Supervision

 논문에서는 PRM800K의 step-level 라벨을 사용해서 대규모 PRM을 학습시켰다. 대규모 ORM baseline이 강력하다는 것을 보장하기 위해 문제 당 100개의 generator로부터 생성된 균일한 샘플에서 학습시켰다. 이것은 PRM800K와 오버랩이 없다는 것을 의미한다. 비록 이러한 2개의 training set는 직접적으로 비교할 수 없지만, 각각은 SoTA를 발전시키기 위한 최고의 시도를 나타낸다. 논문에서는 ORM을 학습시키는 것은 문제가 있을 수 있는데, 왜냐하면 active learning 전략이 wrong-anser 솔루션에 대한 데이터셋에 크게 편향되었기 때문이다. 균일하게 샘플링된 솔루션을 묶음으로써 PRM800K 솔루션의 superset에서 ORM의 explore training을 수행하지만, ORM 성능은 개선되지 않았다.

 

 그림 3은 $N$의 함수를 다양하게 함에 따라 각 RM의 best-of-N 성능이 어떻게 달라지는지 보여주고 있다. majority voting은 강력한 baseline으로 알려져 있기 때문에 이 method를 비교의 포인트로 포함하였다. ORM은 majority voting보다 살짝 나은 성능을 보여주지만, PRM은 이 둘을 강하게 능가한다. 이것은 PRM이 많은 수의 model-generated 솔루션에 대해 검색하는데 ORM과 majority voting 보다 더 효과적이라는 것을 가리킨다. PRM과 majority voting의 이익을 묶기 위해 RM-weighted voting을 사용해서 실험을 진행하였다. 하지만, 성능을 눈에 띄게 개선시키지는 않았다. 

 

그림 3. outcome-supervised & process-supervised RM 간의 비교

 

 

4. Small-scale Synthetic Supervision

 PRM은 대규모에서 ORM을 능가하지만, 이 결과 혼자로는 완벽하지 않은 그림을 그린다. outcome & process supervision을 더 잘 비교하기 위해, 여기에는 고립되어야만 하는 2개의 혼란에 빠뜨리는 요인이 있다. 그리고 이 요인들은 ORM의 성능에 해를 가할 수도 있다.

 

1. ORM과 PRM을 위한 training set는 직접적으로 비교가 되지 않음
2. final-answer grading은 correct answer에 도달하지만, 알맞지 않은 추론을 하는 잘못된 솔루션에 대해 positive 라벨을 제공해 줌

 

 human feedback 수집의 비싼 비용 때문에 human labeler를 사용해서 쉽게 ablate 할 수 없다. 그 대신에 대규모 RM을 사용해서 smaller model을 supervise 하는 데 사용함으로써 연관된 ablation을 수행하였다. 이 셋업은 수수한 비용에서 대규모 데이터 수집을 가능하게 해 준다.

 

4-1. Process vs. Outcome Supervision

 

 논문에서는 outcome & process supervision의 직접적인 비교를 수행하였다. 소규모 generator로부터 문제 당 1개부터 200개의 솔루션을 샘플링하였다. 그리고 각 데이터셋에 대해 3가지 형태의 supervision을 제공하였다.

 

• process supervision w/ $PRM_{large}$
• outcome supervision w/ $PRM_{large}$
• outcome supervision w/ final-answer checking

 

 그림 4(a) 에서 process supervision는 모든 데이터 수집 규모에서 outcome supervision의 두 형태를 상당히 능가하였다. 그림 4(b)에서 outcome supervision w/ $PRM_{large}$는 final-answer checking보다 더욱 효과적이었다. 이는 $PRM_{large}$가 incorrect 추론을 사용해서 correct final answer에 도달하는 솔루션에 대한 더 나은 $PRM_{large}$를 제공하기 때문이다.

 

 $PRM_{large}$와 final-answer checking으로부터 얻어진 supervision 중 무엇이 더 적절한 baseline을 나타내는지는 분명하지 않다. final-answer supervision의 주된 약점은 false-positive가 있다는 점인데 $PRM_{large}$로부터 얻은 outcome supervision은 더 적게 false-positive에 기인하는 도메인 내에서의 더 나은 outcome supervision을 나타낸다.

 

4-2. Active Learning

 

 마지막으로 논문에서는 active learning의 효과를 조사하였다. 논문에서는 각 문제로부터 하나의 샘플에서 소규모 RM인 $PRM_{selector}$를 학습시키고, 이 모델을 사용해서 문제 당 1,000개의 샘플에 점수를 매겼다. 선택된 샘플에 대해 $PRM_{large}$를 사용해서 점수를 매기고 이 점수에서 모델을 학습시켰다. 이러한 데이터 라벨링에 대한 성능은 그림 4(a)에 나타나있다. active learning이 있을 때와 없을 때 최적선의 기울기를 비교함으로써, 이런 형태의 active learning 데이터셋에서 학습된 모델은 예상한 트렌드 라인보다 살짝 떨어지는 모습을 보여줬다. 이러한 결과에 대해 논문에서 설명한 가장 best 설명은 200개의 샘플로 전반적인 선택풀의 상당한 부분을 나타내고 비교적 부족한 다양성은 active learning으로부터 가능한 upside를 제안한다는 것이다.

 

 데이터 수집을 하는 동안 $PRM_{selector}$를 반복적으로 재학습시키는 것의 효과에 대해 사전 조사를 수행하였다. 하지만 불행하게도 이 프로세스에서는 불안성이 관찰되었다. 결과로 나온 모델은 위에서 언급한 모델보다 좋은 모습을 보여주지는 않았다.

 

 

5. OOD Generalization

 OOD 일반화를 측정하기 위해, 대규모 ORM과 PRM을 224개의 STEM question에서 평가하였다. 표 1에 ORM, PRM, majority voting의 best-of-100 성능을 기록하였다. 결과는 섹션 3과 유사하다.

 

표 1. STEM test를 사용해서 OOD 일반화를 측정

 

6. Discussion

6-1. Credit Assignment

 

 process supervision은 outcome supervision 보다 더욱 정확한 피드백을 제공해 준다. process supervision은 몇 개의 first step의 fact correct인지 명시할 뿐만 아니라 incorrect step의 정확한 위치를 알아낼 수 있다. 

 

6-2. Alignment Impact

 

 AI alignment와 관련해서 process supervision은 여러 이점을 가진다. process supervision은 더욱 해석 가능한 추론을 생성해 내고, align 된 CoT에 직접적으로 보상을 줘서 본질적으로 더 안전하다.

 

 또한 안전한 모델은 조금 떨어지는 성능을 보여줄 수 있는데, process supervision은 alignment tax 부분에서 더 나은 모습을 보여준다. 이것은 process supervision의 증가된 사용을 이끌게 될 것이라고 믿어진다.

 

 

 

 

출처

https://arxiv.org/abs/2305.20050

Let's Verify Step by Step