Training a helpful and harmless assistant with reinforcement learning from human feedback 논문 리뷰

 이번 논문 리뷰는 기존 방식과 다르게 powerpoint로 작성하였다. 논문의 간단한 개요는 다음과 같고, 논문에 대한 자세한 내용은 첨부된 powerpoint 파일을 확인하길 바란다. powerpoint의 메모와 슬라이드 노트에 설명을 적어뒀으니 참고하길 바란다. 이 포스팅은 다음의 유튜브를 참고하여 작성되었다. 

 

The overview of this paper

 논문에서는 LM이 유용(helpful)하고 유해하지 않게(harmless)하게 작동하도록 preference modeling(PM)과 사람의 피드백으로부터 강화학습(RLHF)를 적용하여 fine-tune 되었다. 논문에서는 이러한 alignment training이 대부분의 NLP 평가에서 성능을 향상시키고, python 코딩 또는 요약과 같은 특정 스킬에 대해 학습된 모델과 양립할 수 있을 만큼의 성능을 보여줬다. 논문에서는 반복되는 온라인 학습을 실험하였는데 여기서 preference model과 RL policy는 새로운 fuman feedback 데이터와 함께 주간으로 업데이트 되었다. 이러한 방법은 논문의 데이터셋과 모델을 효율적으로 향상시켰다.

 

 

프레젠테이션.pptx

1.27MB

 

 

출처

https://arxiv.org/abs/2204.05862

Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback

https://www.youtube.com/watch?v=OntdAbOxXDg