Self-Refine: Iterative Refinement with Self-Feedback 논문 리뷰

The overview of this paper

 이 논문에서는 Self-Refine을 소개하였다. Self-Refine은 반복적인 피드백과 개선을 통해 LLM의 초기 output을 개선시키기 위한 방법이다. Self-Refine의 주된 아이디어는 LLM을 사용해 초기 output을 생성하고, 그다음에 똑같은 LLM이 output에 대해 피드백을 제공하고 이 피드백을 사용해 반복적으로 자기 자신을 개선해 나가는 것이다. 한 마디로 Self-Refine은 하나의 LLM을 generator, refiner, feedback provider로 사용하는 것이다.

 

 Self-Refine은 모든 평가된 task에서 Self-Refine으로 생성된 output은 기존의 똑같은 LLM으로 생성된 output보다 human & automatic 평가 metric에서 더 선호되었다. 그리고 GPT-4 같은 SoTA LLM도 test-time에 Self-Refine은 이 방식을 사용해서 추가적으로 개선될 수 있다고 설명하였다.

 

 

Table of Contents

1. Introduction

2. Iterative Refinement with Self-Refine

3. Evaluation

4. Analysis

5. Limitation

 

 

1. Introduction

 논문에서는 LLM이 추가적 학습 없이 반복적인 self-refinement를 제공해서 다양한 task에서 high-quality output을 이끌 수 있다는 것을 설명하였다.

 

 논문에서는 이를 토대로 Self-Refine을 소개하였다. Self-Refine은 feedback과 refinement의 2개의 생성 스텝 간에 번갈아가며 일어나는 반복적 self-refinement 알고리즘이다. 모델 $M$에 의해 생성된 초기 output이 주어지면, 이 output을 다시 똑같은 모델 $M$에게 줘서 피드백을 얻었다. 그다음에 피드백은 똑같은 모델에 들어가서 이전에 생성된 초안을 개선시킬 수 있었다. 그림 1은 '똑같은 모델을 사용해서 피드백을 생성하고 모델의 output을 개선시킨다' 라는 Self-Refine의 high-level 아이디어를 보여준다. 

 

그림 1. input이 주어지면(0), Self-Refine은 output을 생성하고 이것을 똑같은 모델 M에 보내서 피드백을 얻음(①). 피드백은 M에 다시 들어가서 이전에 생성된 output을 개선시킴(②). 스텝 1과 2는 조건을 부합할 때까지 반복됌.

 

 Self-Refine은 강력한 LLM의 direct generation을 능가하는 모습을 보여준다. 그리고 논문의 실험 결과는 LLM이 첫 시도에 최적의 응답을 생성하지 못하더라고, LLM은 종종 유용한 피드백을 제공할 수 있고, 그에 따라 output을 개선시킬 수 있다는 것을 보여준다. 결국, Self-Refine은 어떠한 추가적 학습 없이 반복적 feedback & refinement를 통해 single model로부터 더 나은 output을 얻는 효과적인 방법을 제공해 준다.

 

 

2. Iterative Refinement with Self-Refine

 input 시퀀스가 주어지면, Self-Refine은 초기 output을 생성하고, output에 피드백을 제공해 주고, 피드백에 따라 output을 개선시킨다. Self-Refine은 원하는 조건을 만족할 때까지 feedback & refine을 반복한다. 그리고 Self-Refine은 적절한 LM과 3개의 prompt에 의존하고, training을 따로 필요로 하지 않는다.

 

그림 2. Self-Refine의 예시

 

알고리즘 1. Self-Refine 알고리즘

 

Initial generation.  input $x$, prompt $p_{gen}$, 모델 $M$이 주어지면, Self-Refine은 초기 output $y_{0}$을 생성한다:

 

 

 여기서 $p_{gen}$은 초기 생성을 위한 task-specific few-shot prompt이고, ||는 연결을 의미한다. few-shot prompt $p_{fb}$는 task에 대한 input-output 쌍 $\left< x^{(k)}, y^{(k)}\right>$을 포함하고 있다.

 

Feedback.  그다음에 피드백 생성을 위해 task-specific prompt $p_{fb}$가 주어지면, Self-Refine은 똑같은 모델을 사용해서 output에 피드백 $f_{bt}$를 제공해 준다:

 

 

 직관적으로, 피드백은 output의 여러 측면을 해결할 수 있을 것이다. 여기서 prompt $p_{fb}$는 input-output-feedback $\left< x^{(k)}, y^{(k)}, fb^{(k)}\right>$형태에서 피드백의 예시를 제공해 준다. 논문에서는 모델이 $fb^{(k)}$를 통해 actionable하고 specific한 피드백을 생성하도록 촉진하였다. 여기서 actionable & specific의 정의는 다음과 같다.

 

• actionable: 피드백이 output을 개선시킬 수 있을 것 같은 구체적인 action을 포함해야 함
• specific: 피드백은 변화하기 위해 output에서 구체적인 구문을 판별할 수 있어야 함

 

Refine.  Self-Refine은 피드백이 주어지면 가장 최근의 output을 개선시키기 위해 모델 $M$을 사용한다:

 

 

 여기서 prompt $p_{refine}$은 피드백에 기반한 output 개선의 예시를 제공해준다. 이 prompt의 형태는 input-output-feedback-refined $\left< x^{(k)}, y^{(k)}, fb_{t}^{(k)}, y_{t+1}^{(k)}\right>$이다.

 

Iterating Self-Refine.  Self-Refine은 Feedback & Refine 스텝을 조건에 부합할 때까지 반복한다. 스탑 조건은 명시된 시점에서 멈추거나 피드백으로부터 스탑 지표를 추출할 때 멈추게 된다.

 

 모델에게 이전 반복에 대해 알려주기 위해 이들에 prompt를 추가함으로써 이전 피드백과 output의 히스토리를 얻을 수 있게 된다. 이것은 모델이 과거의 실수로부터 배우고 이 실수를 반복하지 않게 해 준다. 이를 위의 Refine 수식에 적용해 보면 다음과 같다:

 

 

 최종적으로 최종 개선안 $y_{t}$를 Self-Refine의 output으로 사용한다.

 

 알고리즘 1은 Self-Refine을 요약해서 보여주고 있고, 그림 2는 Dialogue Response Generation과 Code Optimization에서 Self-Reinfe의 예시를 보여준다. Self-Refine의 핵심 아이디어는 Self-Refine은 generation, feedback, refine을 위해 모두 똑같은 LM을 사용한다는 것이다.

 

 

3. Evaluation

 논문에서는 Self-Refine을 7개의 다양한 task에서 평가하였다: Dialogue Response Generation, Code Optimization, Code Readability Improvement, Math Reasoning, Sentiment Reversal과 새로운 2개의 task인 Acronym Generation, Constrained Generation.

 

3-1. Instantiating Self-Refine

 

 Feedback-Refine의 반복은 원하는 output 퀄리티를 얻거나 task-specific 기준에 도달할 때까지 최대 4번의 반복이 계속된다. 논문에서는 Feedback과 Refine을 few-shot prompt로 instruction에 잘 대답하는 ChatGPT와 GPT-4 같은 모델과 함께 구현하였다.

 

Base LLMs.  이 실험의 주된 목표는 Self-Refine을 사용해서 어떤 강력한 base LLM이든 개선시킬 수 있는지 평가하는 것이다. 그래서 Self-Refine을 똑같은 base LLM이지만, Feedback-Refine이 없는 모델과 비교하였다. 이를 위해 GPT-3.5, ChatGPT, GPT-4 이렇게 3개의 base LLM을 사용하였다.

 

3-2. Metrics

 

 논문에서는 3가지 유형의 metric을 기록하였다:

 

• Task specific metric: 이전 연구들의 metric을 사용함
• Human-pref: 자동화된 metric으로 평가가 불가능한 영역은 human preference로 평가함
• GPT-4 pref: GPT-4를 human annotator의 대체자로 사용함

 

3-3. Results

 

 표 1의 실험의 메인 결과를 보여준다.

 

Self-Refine은 일관적으로 base model의 성능을 개선시켜 줌.  표 1의 결과를 살펴보면 Self-Refine은 모든 모델 사이즈에 걸쳐서 이전의 SoTA를 능가하는 모습을 보여주기도 한다. 또한 Dialogue Response Generation, Sentiment Reversal, Acronym Generation 같은 선호도 기반 task에도 Self-Refine은 상당항 성능 향상을 이끌었다. 

 

 Math Reasoning에서는 수수한 성능 향상을 보여줬는데, 이것은 정확히 어디에 오류가 있는지 찾아내는 능력이 부족했기 때문이라고 본다고 한다. 그리고 수학에서 오류는 미묘하고, 가끔은 하나의 라인 또는 알맞지 않은 연산에 제한될 수도 있기 때문이다. 

 

base LLM size에 걸쳐서 성능 개선은 일관적이었음.  Self-Refine은 강력한 모델이 이들의 잠재력을 해금하여 더 나은 성능을 이끌 수 있다는 것을 보여줬다.

 

표 1.&nbsp;GPT-3.5, ChatGPT, GPT-4를 base LLM으로 사용했을 때 다양한 task에서 Self-Refine의 결과

 

4. Analysis

 Self-Refine의 3가지 중요한 스텝은 Feedback, Refine, 이들의 반복이다. 이 섹션에서는 추가적 실험을 통해 각각의 스텝의 효과를 분석하였다.

 

Feedback 퀄리티의 영향.  Self-Refine과 generic feedback, w/o feedback을 비교하였다. 여기서 generic feddback이란 actionable & specific feedback 보다 정확성과 방향성이 부족한 feedback이다.

 

 표 2의 결과를 살펴보면 generic feedback이 어느 정도의 지도를 제공해 주지만, specific & actionable feedback은 우수한 결과를 산출한다는 것을 보여준다. 따라서 이는 Self-Refine에서 specific & actionable 한 피드백의 중요성을 강조한다.

 

표 2.&nbsp;generic feedback은 낮은 score를 낳게 되고, 이는 Self-Refine의 Feedback 스텝의 중요성을 가리킴

 

Feedback-Refine의 여러 반복이 얼마나 중요할까?  그림 3은 반복의 수가 증가됨에 따라 output의 퀄리티가 개선되는 것을 보여준다. 또한 반복의 수가 증가함에 따라 개선의 정도가 줄어드는 것도 보여준다. 전반적으로 여러 Feedback-Refine 반복을 가지는 것은 output의 퀄리티를 상당히 향상시킨다. 비록 개선의 정도는 반복이 많아질수록 줄어들었지만 말이다.

 

 또한 성능은 반복이 증가함에 따라 단조롭게 증가하지는 않았다. output 퀄리티는 퀄리티 측면에 따라 개선되거나 감소하기도 한다. 이를 대응하기 위해, Self-Refine은 서로 다른 퀄리티 측면에 숫자로 된 score를 생성해서 밸런스 잡힌 평가로 이끌고 적절한 output 선택을 이끌었다.

 

그림 3 왼쪽: iteration-wise score 개선. 오른쪽: 반복에 따른 Self-Refine 성능 개선

 

refining 대신에 그저 여러 output을 생성해도 될까?  ChatGPT의 $k$개의 샘플과 Self-Refine의 output을 비교하였다. 그래도 Self-Refine의 응답이 더 선호되는 모습을 보여줬다. 이는 Feedback에 따른 Refine의 중요성을 보여준다. 

 

Self-Refine은 weaker model에서도 작동할까?  이를 확인하기 위해 Vicuna-13B로 Self-Refine을 구현하였다. 그 결과 초기의 output은 잘 생성하였으나, refinement 프로세스에서 어려움을 겪는 모습을 보여줬다. output을 개선하기보다는 똑같은 output을 반복해서 출력하거나, hallucination을 보여줬다. 이는 Vicuna-13B가 대화 데이터에서 학습되었기 때문에 instruction-based 모델만큼 잘 일반화하지 못하기 때문이라고 논문에서는 주장하였다.

 

Qualitative Analysis.  논문에서는 Self-Refine에 의해 생성된 피드백의 퀄리티 분석과 이후의 개선의 퀄리티 분석을 수행하였다. 그 결과 Math Reasoning & Code Optimization에서 피드백이 actionable 하다는 것을 발견하였다.

 

 Self-Refine이 기존 생성을 개선하는데 실패했을 때 대부분의 경우는 잘못된 피드백 때문이었다. 이는 Self-Refine에서 정확한 피드백의 중요한 역할을 강조한다. 

 

 그리고 흥미롭게도 refiner는 피드백이 부분적으로 알맞지 않을 때에도 문제점을 바로 잡을 수 있었다.

 

 

4. Limitations

 Self-Refine 방식의 주된 한계점은 base model은 충분한 few-shot 모델링 또는 instruction-following 능력을 가져야 한다는 것이다. 그리고 논문에서는 Open-source model로 연구를 진행하지 않았다. 추가적으로 영어로만 실험이 진행돼서 다른 언어에서는 똑같은 이익을 제공해 줄 수 없을 것이다. 

 

 

 

 

 

출처

https://arxiv.org/abs/2303.17651

Self-Refine: Iterative Refinement with Self-Feedback