Reflexion: Language Agents with Verbal Reinforcement Learning 논문 리뷰

The overview of this paper

 이 논문에서는 가중치를 업데이트하지 않고 대신에 언어적 피드백을 통해 language agent를 강화하기 위한 새로운 프레임워크인 Reflexion을 소개하였다. 구체적으로, Reflexion agent는 task 피드백 신호에 대해 언어로 나타내고, 그다음에 이후의 시도에 더 나은 의사 결정을 유발하기 위해 메모리 버퍼에 이들만의 reflective text를 유지한다. Reflexion은 다양한 타입과 소스의 피드백 신호를 포함할 수 있을 정도로 충분히 유연하고, 다양한 task에 걸쳐서 baseline agent에 비해서 상당한 개선을 얻었다.

 

 

Table of Contents

1. Introduction

2. Reflexion: reinforcement via verbal reflection

3. Experiments

4. Conclusion

 

 

1. Introduction

 논문에서는 이전의 실패로부터 agent의 학습을 돕기 위해 언어 강화를 사용하는 Reflexion이라는 대안책을 제안하였다. Reflexion은 binary 또는 scalar 피드백을 text 요약의 형태로 환경에서 언어 피드백으로 변환한다. 이렇게 만들어진 텍스트 요약은 다음 에피소드에 LLM agent를 위한 추가적 context로 추가된다. 이 self-reflective feedback은 agent에게 개선하기 위한 구체적인 방향을 제공함으로써 'semnatic' 기울기 신호처럼 작동하고, 이는 task를 더 잘 수행하기 위해 이전의 실수로부터 학습하는 것을 도와준다. 이러한 방식은 사람이 복잡한 task를 해결하기 위해 반복적으로 학습하는 것과 유사하다. 예를 들어 그림 1에서 Reflxion agent는 여러 task에 대해 최적화하기 위해 학습된다.

 

그림 1. Reflexion 예시

 

 유용한 reflective 피드백을 생성하는 것은 상당히 어렵다. 이는 모델이 만들어내는 실수에 대한 좋은 이해뿐만 아니라 개선을 위한 통찰력을 함유하는 요약을 생성하는 능력도 필요하기 때문이다. 논문에서는 이를 하기 위한 3가지 방법을 탐구하였다.

 

• 간단한 binary 환경 피드백
• 일반적인 실패 사례에 대한 사전에 정의된 휴리스틱
• self-evaluation

 

 또한, Reflexion은 전통적인 RL 방식들과 비교해서 다음과 같은 여러 장점을 가진다. 동시에 LLM의 자가 평가 역량의 힘에 의존하고, 성공에 대한 보장이 없다는 단점을 가지고 있다. 하지만, LLM 능력이 개선됨에 따라 이 패러다임은 점점 나아질 것이라 예측한다.

 

1. lightweight 하고, LLM fine-tuning을 필요로 하지 않음
2. 더욱 미묘한 형태의 피드백
3. 더욱 분명하고 해석 가능한 형태의 episodic 메모리를 허락해 줌
4. 향후 에피소드에서 행동에 대한 더욱 분명한 힌트를 제공해 줌

 

 논문의 contribution을 요약하면 다음과 같다:

 

• policy를 LLM 파라미터의 선택과 함께 agent의 메모리 인코딩 쌍으로 파라미터화 되는 언어 강화에 대한 새로운 패러다임인 Reflexion을 제안하였음
• LLM에서 self-reflection의 유망한 특성을 탐구하고 실험적으로 복잡한 task를 학습하기 위해 매우 유용하다는 것을 보여줌
• code-generation RL gym인 LeetcodeHardGym을 소개함
• Reflexion은 여러 task에 걸쳐서 강력한 baseline을 능가하는 성능을 달성하고, SoTA도 달성하였음

 

2. Reflexion: reinforcement via verbal reflection

 논문에서는 3개의 별개의 모델을 활용하는 Reflexion을 개발하였다. 3개의 별개의 모델은 다음과 같다.

 

• Actor($M_{a}$): text & action 생성
• Evaluator($M_{e}$): $M_{a}$에 의해 생성되는 output에 점수를 매김
• Self-Reflection($M_{sr}$): self-improvement에서 Actor를 돕기 위해 언어 강화 신호를 생성함

 

Actor.  Actor는 상태 관찰에 맞출 필수적인 text와 action을 생성하도록 구체적으로 prompt 되는 LLM 위에 만들어진다. 전통적인 정책 기반 RL 셋업과 유사하게 시점 $t$에 현재 정책 $\pi_{\theta}$로부터 action 또는 generation $a_{t}$를 샘플링해서 환경 $o_{t}$로부터 관찰을 얻을 수 있다. 게다가, agent에 추가적 context를 제공해 주는 메모리 요소 mem 또한 추가하였다.

 

Evlauator.  Evaluator는 Actor에 의해 생성되는 output의 퀄리티를 평가하는데 중요한 역할을 한다. 생성된 궤도를 입력으로 받고 주어진 task context 내에서 이것의 성능을 나타내는 reward score를 계산한다. 추론 task에 대해서는 Exact Matching(EM) grading에 기반해서 reward function을 탐구하였고, 의사 결정 task에서는 구체적 평가 기준에 잘 맞춰진 사전에 정의된 휴리스틱 함수를 사용하였다. 

 

Self-reflection.  Self-reflection 모델을 향후 시도를 위한 귀중한 피드백을 제공하기 위한 언어 self-reflection을 생성함으로써 Reflexion 프레임워크에서 중요한 역할을 한다. 드문드문한 보상 신호가 주어지면, self-reflection 모델은 미묘하고 구체적인 피드백을 생성한다. 그리고 이 피드백은 그다음에 agent의 메모리에 저장된다. 시도, 오류, self-reflection, 지속되는 메모리의 반복은 agent가 정보적 피드백 신호를 활용함으로써 다양한 환경에서 의사결정 능력을 빠르게 개선시킬 수 있게 해 준다.

 

Memory.  Reflexion 프로세스의 핵심 묘소는 short-term memory & long-term memory의 개념이다. 추론 시에 Actor는 Actor의 결정을 short & long-term memory에 맞춰둔다. RL 셋업에서 궤도 히스토리는 short-term memory로 여겨지고, 반면에 Self-Reflection 모델의 output은 long-term memory에 저장된다. 이 두 메모리 요소는 구체적일 뿐만 아니라 여러 시도에서 학습된 교훈에 의해 영향을 받은 context를 제공하기 위해 함께 작동한다.

 

Reflecion Process.  Reflexion은 앞서 말한 요소들을 사용하는 반복적인 최적화 프로세스이다. 

 

그림 2. Reflexion의 다이어그램과 Reflexion 강화 알고리즘

 

3. Experiments

3-1. Sequential decision making: ALFWorld

 

 ALFWorld는 TextWorld에 기반해서 다양한 상호작용적 환경에서 multi-step task를 해결하기 위해 agent에 도전하게 하는 text-based 환경이다. 논문에서는 완전히 자동화시키기 위해 2개의 자가 평가 기술을 구현하였다: 자연어 분류 & 손수 제작된 휴리스틱. 이 휴리스틱은 간단한데, agent가 똑같은 행동을 하고 똑같은 응답을 3번 이상의 사이클에서 받거나, 현재 환경에서 취해지는 행동의 수가 30을 넘으면, self-reflect 하게 해주는 것이다. 그리고 추가적으로 매우 긴 prompt 윈도우를 피하기 위해 agent의 메모리를 마지막 3개의 self-reflection으로 잘랐다. 또한 구문 오류를 피하기 위해 agent에게 2개의 domain-specific few-shot 궤도를 제공해 주었다. 

 

Results.  ReAct + Reflexion은 134개의 task 중 130개의 task를 완수했을 정도로 ReAct를 상당히 능가하였다.

 

그림 3. (a): ALFWorld 성능과 (b): ALFWorld 궤도의 분류

 

Analysis.  Reflexion은 long & 실패한 궤도를 향후에 'self-hint'로 사용될 수 있는 연관 경험으로 distill 하기 위해 self-reflection을 사용함으로써 이전의 제약들을 해결하였다. 여기에는 long-term memory가 ALFWorld의 agent를 도운 2가지 주된 케이스가 있다. agent는 이 경험 메모리를 사용해서 여러 번의 시도를 통해 성능을 개선시켰다.

 

1. 긴 궤도에서 이른 실수가 쉽게 판별될 수 있음
2. 아이템을 확인하기 위한 surfaces/containers가 많이 있음

 

3-2. Reasoning: HotPotQA

 

 HotPotQA는 113K 개의 question & answer 쌍으로 이루어진 위키피디아 기반 데이터셋 agent에게 콘텐츠를 분석하고 여러 문서를 추론하도록 시킨다. 자연어 응답을 평가하기 위해 논문에서는 각 시고 단에 EM grading을 사용해서 binary 성공 신호를 agent에게 주었다. 각 시도 후에는 self-reflection 루프는 binary 신호를 증대하기 위해 사용되었다.

 

Results.  Reflecion은 여러 learning step에서 모든 baseline을 상당한 마진으로 능가하였다. Reflexion run에서 agent가 경험을 수집하도록 허락해 주고, 특정 task에서 3개의 잇따른 실패한 시도를 생성할 때, 실패한 task에서 재시도하게 하였다. 그 결과 Reflexion은 agent가 ground-truth answer에 접근하지 않고 실수를 바로잡을 수 있도록 도와줘서 정확도를 14% 향상시켰다. 

 

그림 4. CoT와 ReAct의 결과. (a): Reflexion ReAct vs. Reflexion CoT (b): 추론만을 위한 Reflexion CoT (c): Reflexion vs. episodic memory

 

Analysis.  Reflexion agent에 대해 표준 self-reflection을 final pass로 구현하였다. 1인칭으로 작성된 언어를 사용한 언어 설명을 사용하여 agent가 더 효과적으로 반복적으로 학습하는지를 테스트하였다. 그 결과 self-reflection은 학습을 8% 더 향상시켰다. 이러한 결과는 refinement-only 방식은 self-reflection-guided refinement 방식만큼 효과적이지 않다는 결과를 보여준다. 

 

3-3. Programming

 

 논문에서는 baseline과 Reflexion을 MBPP HumanEval, LeetcodeHardGym의 Python, Rust code에서 평가하였다. 

 

Results.  Reflexion은 모든 baseline 정확도를 능가하고 Python과 Rust에 대한 모든 벤치마크에서 새로운 SoTA를 달성하였다. 하지만, MBPP Python에서 Reflexion은 떨어지는 성능을 보여줬다. 

 

표 1. 다양한 모델-전략-언어 조합에 대한 Pass@1 accuracy

 

Ablation Study.  논문에서는 test generation과 self-reflection에 대한 Reflexion의 합성 방식을 50개의 가장 어려운 HumanEval Rust 문제의 서브셋에서 평가하였다.

 

1. 내부 test generation & execution step 빠트림(test generation의 contribution test): 이로써 agent가 현재 구현으로부터 지도 없이 self-reflect 하는 것을 테스트하였다. 그 결과 baseline에 비해 8% 정도 더 떨어지는 성능을 보여줬고, 이는 agent가 unit test 없이는 현재 구현이 올바른지 확인할 수 없다는 것을 보여준다. 그래서 agent는 return을 빠르게 반환하는 옵션 없이 실행의 모든 반복에 참가해야만 한다. 
2. 자연어 설명 스텝 빠트림(self-reflection의 contribution test): 자연어 설명 스텝을 빠트림으로써 self-reflection의 contribution을 테스트 하였다. 이로써 agent가 모든 실패함 unit test에 걸친 오류 판별 & 구현 개선의 task를 묶게 하는데 어려움을 준다. test 생성과 코드 모음 스텝은 구문 & 논리적 오류를 캐치할 수 있지만, 구현 고정은 이러한 조짐을 나타내지 못한다. 이런 결과는 self-reflection을 사용하지 않는 blind trial & error 디버깅 기술을 제안하는 최근의 여러 연구들은 어려운 task에 비효과적이라는 것을 주장한다.

 

표 2. Reflexion 방식에서 다양한 절충안에 대한 Pass@1 accuracy

 

 

 

 

출처

https://arxiv.org/abs/2303.11366

Reflexion: Language Agents with Verbal Reinforcement Learning