LM이 사람과 유사한 생각 프로세스를 가지게 된다면? - Chain-of-Thought 논문 리뷰

 이 포스트는 PaLM을 리뷰하면서 PaLM에 사용되었던 개념인 Chain-of-Thought에 대해 관심이 생겨서 작성되었다. Chain-of-Thought는 새롭게 생겨난 개념이 아니라, 원래부터 존재하던 개념인데, 쉽게 말하면 사람의 생각 과정을 생각하면 된다. 예를 들어, 수학 문제를 풀 때, 문제를 보고 모든 계산을 한 번에 쫘라락!!.. 하면 사람이 아니겠죠..! 그렇습니다, 사람은 수학 문제를 맞닥뜨리면, 문제를 차근차근 읽어보고 어떤 과정을 통해 문제를 풀 지 계획을 세우게 됩니다. 따라서, 그 과정에 따라 하나하나씩의 소문제를 해결하여 대문제의 답을 내놓는다고 할 수 있죠. 이러한 방식을 Chain-of-Thought라고 한다. 

 

 

The overview of Chain-of-Thought

 최근 몇년 동안, NLP task에 대해 모델의 크기를 키우는 것은 성능을 향상시킬 수 있는 믿을 만한 방법이라고 생각되어왔다. 실제로도, 1000억 개 또는 그 이상의 파라미터를 가지는 모델들은 적은 양의 학습 예시, 아니 아예 없이도 강력한 성능을 보여줬다. 하지만, 그 중에 가장 좋은 성능을 보여주는 모델도 수학 문제와 같은 multi-step reasoning task에 대해서는 어려움을 가지고 있었다. 그렇다면, 어떻게 해야 이 LM이 복잡한 reasoning task에 대해 좋은 성능을 내게 할 수 있을까?

 

 'Chain-of-Thought Prompting Elicits Reasoning in Large Language Models'에서는, LM의 reasoning 능력을 향상시키기 위한 prompting method를 탐구하였다. 그 prompting이 chain-of-thought prompting이라 불리는 prompting인 것이다 $($chain-of-thought를 줄여서 CoT라고 작성하겠습니다$)$. 이 방법은 multi-step의 문제를 여러 중간 과정의 문제들로 나누었다. 충분한 크기의 LM과 CoT를 함께 사용하면, 기존의 prompting으로는 해결하지 못했던 복잡한 문제들도 해결할 수 있었다.

 

 

기존 Prompting과의 비교

 기존의 prompting은 test example에 대한 대답을 듣기 전에, input-output pair의 입력을 먼저 받았다. 하지만, CoT에서는, multi-step 문제의 마지막 대답이 주어지기 전에, 중간의 reasoning step을 생성하도록 유도되었다. 이러한 아이디어는, 사람이 복잡한 문제에 대해 생각할 때의 과정을 흉내낸 것이다. fine-tuning을 통해 생각 프로세스를 생성하는 것이 성취되는 반면에, 이러한 생각 프로세스는 몇몇의 CoT 예시를 포함하는 것만으로도 가능하다. 이러한 방식은 많은 양의 학습 데이터를 필요로 하지도 않고, 모델의 가중치를 수정할 필요도 없다!

 

그림 1. 기존의 prompting은 답만 띡 내놓는 반면에, CoT prompting은 문제를 중간 추리 과정 여러 개로 나눠서 해결하여, 올바른 정답을 내놓는 것을 알 수 있음.

 

 CoT reasoning은 복잡한 문제를 각각 해결할 수 있는 중간 과정들로 분해한다. 게다가, 언어 기반 환경의 CoT는 사람이 언어를 통해 해결할 수 있는 문제라면, 활용될 수 있다. 여러가지 실험을 통해 CoT가 여러 분야에서 상당히 우수한 성능을 낼 수 있다고 밝혀냈다. 그리고 이러한 성능 향상은 모델의 크기 또한 뒷받침해줘야 한다. 왜냐하면, CoT의 이익은 충분한 파라미터가 있는 모델에서 나타나기 때문이다.

 

CoT의 특징

 CoT는 몇 가지의 매력적인 특징을 가지고 있는데, 이 특징들은 LM이 reasoning을 더욱 유용하게 해준다.

 

1. 첫 번째로, CoT는 multi-step problem을 여러 개의 중간 과정으로 분해할 수 있다. 이로 인해, 추가적인 computation은 더 많은 reasoning step을 필요로 하는 문제로 할당될 수 있다.
2. 두 번째로, CoT는 모델이 어떤 과정으로 파악할 수 있는 window를 제공한다. 예를 들어, 어떤 과정을 거쳐 이러한 정답에 도달했는지 파악할 수 있다는 것이다. 이런 점은 디버깅을 쉽게 만들어준다는 장점이 있다.
3. 세 번째로, CoT는 사람의 언어를 사용한 모든 task에 대해서도 사용 가능할 것이다.
4. 네 번째로, CoT에 대한 예시를 few-shot으로 제공함으로써 손쉽게 충분한 크기의 거대한 LM을 이끌어 낼 수 있다.

 

 

Experiment Results

 CoT를 사용하여 진행된 실험들의 결과를 살펴보고, ablation study를 통해 밝혀낸 점들에 대해 다뤘다.

 

Arithmetic Reasoning

 Arithmetic Reasoning은 수학 문제에 관한 추리 능력을 알아보는 task로, LM의 수리력을 측정한다. 사람에게는 매우 쉬울지 몰라도, LM은 상당히 애를 먹고 있는 task이다. 놀랍게도, PaLM 540B with CoT는 task-specific하게 fine-tuned된 모델들과 비슷한 성능을 보여줬고, GSM8K dataset에 대해서는 새롭게 SOTA를 달성하였다. 

 

 CoT prompting을 활용하기 위해, 많은 데이터셋들이 evaluation split을 하는 것처럼, 손수 8개의 few-shot exampler을 CoT와 함께 구성하였다. 

 

 그 결과는 다음의 표에 나타나 있다. 결과들을 정리하면 다음과 같다.

 

• 작은 크기의 모델에 대해서는 CoT가 별 효과를 보지 못했다. 이는 앞서 말했듯이, 충분한 파라미터의 수가 있지 않아, CoT로부터 얻게 된 이익이 나타나지 않았기 때문이다.
• CoT를 활용한 모델은 더욱 복잡한 문제에 대해서 더 좋은 성능을 보여줬다.
• labeled data를 사용하여 fiune-tuned된 이전의 SOTA모델들보다 더욱 좋은 성능을 보여줬다.

 

그림 2. Arithmetic Reasoning 결과. 확실히 기존의 prompting보다 더 좋은 성능을 보여주는 것을 알 수 있음.

 

 CoT를 더욱 잘 이해하기 위해, 알맞게 추론한 50개의 랜덤 예시와, 잘못 추론한 50개의 랜덤 예시를 분석해보았다. 그 결과, 알맞게 추론한 50개의 예시에 대해서는 모두 논리적이고 올바르게 추론하였다. 하지만, 잘못 추론한 예시들을 보니, 46%의 CoT는 알맞게 진행되었지만, 54%는 치명적 결함을 가지고 있음을 알 수 있었다.

 

 추가적으로, CoT에게 주어지는 exampler가 달라짐에 따라 성능이 많이 변화할까도 알아보았다. 한 마디로, CoT의 robustness를 확인해보았다. 그 결과, 조금의 성능 차이는 보여주긴 하지만, 대체적으로 CoT는 어떤 annotation에도 크게 상관치 않는다는 것을 알 수 있었다.

 

그림 3. annotator에 따른 성능 변화

 

 Arithmetic Reasoning 외에도 Commonsense Reasoning과 Symbolic Reasoning에 대한 실험의 결과도 다루지만, 본 포스트에서는 다루지 않겠다.

 

 

Discussion

 CoT를 LM에 적용하여 multi-step problem들을 해결해보았다. 그 결과, arithmetic reasoning task에서 큰 마진을 남기고 좋은 성능을 보여줬다. commonsense reasoning에 대한 실험은 CoT의 언어적 특성이 그것을 일반적으로 적용 가능하게 만드는 방법을 강조하였다. 마지막으로, symbolic reasoning에 대해서, CoT는 긴 길이의 문장에 대해 OOD generalization을 용이하게 하였다. 

 

 그리고 기존의 prompting은 모델의 크기를 늘림에 따른 성능의 변화율을 나타내는 scaling curve가 평평한 반면, CoT prompting은 scaling curve가 우상향하는 모습을 보였다. 이로써, 더욱더 큰 크기의 모델에 대한 가능성을 선보였다.

 

 하지만, 사람의 생각 프로세스를 모방한다고 했지만, 실제로 이 프로세스를 모방했는지는 확실히 알 수 없다.

 

 

 

 

출처

https://arxiv.org/abs/2201.11903

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

https://ai.googleblog.com/2022/05/language-models-perform-reasoning-via.html

Language Models Perform Reasoning via Chain of Thought