Why can GPT learn in-context? 논문 리뷰

The overview of this paper

거대 PLM은 놀라운 in-context learning(ICL) 능력을 보여주고 있다. 하지만 이러한 놀라운 성능에도 불구하고 이들의 메커니즘은 아직 open question으로 남아있다.

그래서 이 논문에서는 LM을 meta-optimizer로 설명하고 in-context learning을 암묵적인 fine-tuning으로 이해한다. 논문에서는 이론적으로 attention은 다른 형태의 gradient descent라는 것을 알아냈다. 논문에서는 in-context learning을 다음과 같이 이해하였다. GPT가 demonstration example에 따라서 meta-gradient를 생성하고, 이 기울기는 ICL 모델 생성을 위해 기존의 GPT에 적용된다.

논문의 실험 결과는 in-context learning이 여러 관점에서 명시적 finetuning과 유사하게 행동한다는 것을 보여준다. 그리고 Transformer attention과 gradient descent의 이중 형태에 영감을 받아서 momentum-based attention을 제안하였다.

Table of contents

1. Introduction
2. Understanding In-Context Learning as Implicit Finetuning
3. Experiments
4. Momentum-Based Attention Inspired by Dual Form of Transformer Attention

1. Introduction

 대규모 PLM은 강력한 ICL 성능을 보여주고 있다. ICL은 비록 굉장한 성능을 보여주지만 이것의 작동 메커니즘은 open question이다.

 이 논문에서는 in-context learning을 meta-optimization의 프로세스로 설명하고 GPT 기반 ICL과 fine-tuning 간의 연결성을 분석하였다. 그리고 attention 메커니즘은 gradient descent의 또 다른 형태라는 것을 알아냈다. 그리고 논문에서는 ICL의 새로운 관점을 제안하였다.

1. pre-trained GPT를 meta-optimizer로 여김
2. forward computation을 통해 demonstration example에 따라 meta-gradient를 생성함
3. meta-gradient는 ICL 모델을 만들기 위해 attention을 통해 기존 LM에 적용됨

 그림 1에서 보이는 것처럼 in-context learning과 명시적 fine-tuning은 gradient descent의 이중 뷰를 공유한다. 여기서 ICL은 forward computation을 통해 meta-gradient를 생성하는 반면에 fine-tuning은 back-propagation에 의해 계산된다. 그래서 in-context learning을 암시적인 fine-tuning으로 생각하는 것이 합리적인 것이다.

 

 추가적으로, Transformer attention과 gradient descent 간의 이중 형태로부터 영감을 받아 attention value를 meta-gradient로 여기고 momentum 메커니즘을 적용한 momentum-based attention을 디자인하였다.

 

 논문의 contribution은 다음과 같다.

 

• Transformer attention과 gradient descent 간의 이중적 형태를 알아내고 ICL을 meta-optimization으로 이해하도록 제안하였다.
• ICL과 명시적인 fine-tuning 간의 연결성을 분석 & ICL을 암묵적 fine-tuning으로 이해하도록 제안하였다.
• momentum 기반 attention을 디자인하고 이것의 효과를 입증하였다.

 

2. Understanding In-Context Learning as Implicit Finetuning

2-1. Understanding Transformer Attention as Meta-Optimizers

 

 ICL 세팅에서 헤드의 attention 결과는 다음과 같이 수식화된다.

 

 

 위 수식에서 $X$는 $t$ 이전의 쿼리 토큰의 input representation이고, $X'$은 demonstration token의 input representation이다. $[X';X]$는 행렬 연결이다. 퀄리티 분석을 좀 더 쉽게 하기 위해 기존의 attention을 softmax 연산과 scaling factor를 제거함으로써 완화된 선형 attention으로 근사하였다:

 

 

 논문에서는 $W_{ZSL} = W_{V}X(W_{K}X)^{T}$를 업데이트되어야 하는 초기화된 파라미터로 정의하는데 왜냐하면 $W_{ZSL}\textbf{q}$가 zero-shot learning(ZSL)에서 attention 결과이기 때문이다. 다음과 같이 Transformer attention의 이중 형태를 얻을 수 있다:

 

 

 위 수식에서 보이는 것처럼 demonstration token에 대한 attention은 $W_{ZSL}$에 영향을 받는 $W_{ICL}$을 파라미터 업데이트 하는 것과 동등하다. 게다가 논문에서는 $W_{V}X'$을 meta-gradient로 간주하는데, 이것은 업데이트 행렬 $\Delta W_{ICL}$를 계산하는 데 사용된다. 

 

 요약하면 in-context learning은 meta-optimization의 프로세스로 설명된다.

 

1. pre-trained GPT 모델을 meta-optimizer로 이끎
2. forward computation을 통해 demonstration example에 상응하는 meta-gradient를 생성함
3. attention을 통해 ICL 모델을 만들기 위해 meta-gradients가 기존의 LM에 적용됨

 

2-2. Comparing ICL with Finetuning

 

 위의 in-context learning의 이해에 기반해서 논문에서는 추가적으로 in-context learning의 meta-optimization과 finetuning의 명시적 optimization을 이들 간의 연결성을 분석하기 위해 비교하였다. ICL은 직접적으로 오직 attention key & value의 효과를 가지는 것을 고려해서, 구체적인 finetuning 세팅을 비교되는 baseline으로 디자인하였다. 이것은 또한 오직 key와 value projection에 대한 파라미터만 업데이트하였다. 또한 완화된 선형 attention 형태에서, finetuned head의 attention 결과는 다음과 같이 수식화된다.

 

 

 여기서 $\Delta W_{K}$와 $\Delta W_{V}$는 $W_{K}$와 $W_{V}$에 대한 파라미터 업데이트를 나타낸다. 이것들은 task-specific training objective로부터 back-propagation에 의해 얻어진다. 그리고 $\Delta W_{FT}$는 finetuning에 의해 소개되는 $W_{ZSL}$의 업데이트이다.

 

 in-context learning과의 더욱 공정한 비교를 위해, 논문에서는 finetuning 세팅을 다음과 같이 제한하였다.

 

1. in-context learning을 위해 training example을 demonstration example로 명시함
2. 각 example을 똑같은 순서에서 오직 한 스텝에 대해 학습시킴
3. 각 training example을 ICL에 사용되는 똑같은 템플릿을 사용하여 포맷하고 finetuning을 위해 language modeling objective로 사용함

 

 in-context learning과 이 finetuning 세팅을 비교해서 ICL이 finetuning의 특성을 많이 따른다는 것을 발견하였다. 논문에서는 이러한 일반적인 특성을 다음과 같은 4개의 측면에서 조직하였다.

 

• Both Perform Gradient Descent: in-conetext learning과 finetuning 모두 $W_{ZSL}$에 대한 업데이트를 한다. 이것은 암시적 & 명시적  gradient descent로부터 얻어진다. 가장 큰 차이점은 ICL은 forward computation로 meta-gradient를 생성하는 반면에 fine-tuning은 back-propagation으로 실제 gradient를 얻는다.
• Same Training Information: ICL의 meta-gradient는 demonstration example에 따라 생성된다. finetuning의 gradient는 똑같은 training example로부터 얻어진다. 이것은 in-context learning과 finetuning이 똑같은 training information의 소스를 공유한다는 것이다.
• Same Casual Order of Training Examples: in-context learning과 finetuning 세팅은 training example의 똑같은 casual oreder를 따른다. 둘 다 autoregressive 방식이기에 뒤이은 example은 앞선 토큰에 영향을 받지 않는다.
• Both Aim at Attention: zero-shot learning과 비교해서 in-context learning과 finetuning의 직접적인 효과는 attention key와 value의 계산에 대해 제한된다. ICL에 대해 모델 파라미터들은 변하지 않고 attention 특성을 변화시키기 위해 demonstration information을 인코딩한다.

 

 위의 in-context learning과 finetuning 간의 일반적인 특성을 고려하면, in-context learning을 암시적인 finetuning으로 이해하는 것이 합리적이다.

 

 

3. Experiments

3-1. Experimental Settings

 

Models.  GPT 1.3B & GPT 2.7B 가 사용되었다.

 

Evaluation Datasets.  in-context learning과 finetuning을 3 종류의 분류 task에서 6개의 데이터셋에 기반해서 비교하였다: SST2, SST5, MR, Subj, AG-News, CB.

 

 참조를 위해 ZSL, finetuning, ICL 세팅에서의 validation accuracy를 계산해서 표 1에 나타냈다. ZSL, finetuning, ICL 세팅은 모두 상당한 성능 개선을 달성하였고, 이것은 이들이 만드는 optimization이 downstream task에 대해 도움이 된다는 것을 의미한다.

 

표 1. 6개의 분류 task의 통계와 ZSL, FT, ICL에서의 validation accuracy

 

3-2. ICL Covers Most of Correct Predictions of Finetuning

 

 논문에서는 ICL이 모델 예측의 관점으로부터 finetuning의 특성을 얼마나 커버할 수 있는지 측정하기 위해 finetuning에 대한 recall(Rec2FTP)를 계산하였다. 처음에 FT는 알맞게 예측하지만 ZSL은 하지 못하는 쿼리의 수인 $N_{FT>ZSL}$를 측정하였고, 이중에 ICL도 올바르게 예측하는 쿼리의 수인 $N_{(FT>ZSL)\wedge (ICL>ZSL)}$를 계산하였다. 마침내 Rec2FTP score는 $\frac {N_{FT>ZSL}\wedge (ICL>ZSL)}{N_{FT>ZSL}}$로 계산한다. 높은 Rec2FTP score는 ICL이 모델 예측의 관점으로부터 finetuning의 더욱 알맞은 특성을 커버하도록 제안하였다.

 

 6개의 데이터셋에서 2개의 GPT 모델에 대한 Rec2FTP score는 표 2에 나타나 있다. 표 2에서 보이는 것처럼 평균적으로 ICL은 finetuning이 ZSL에서 수정할 수 있는 example의 85% 이상을 정확하게 예측할 수 있다. 이러한 결과는 모델 예측의 관점에서 ICL은 finetuning의 올바른 특성의 대부분을 커버할 수 있다는 것을 가리킨다.

 

표 2. 6개의 데이터셋에서 2개의 GPT 모델에 대한 Rec2FTP

 

3-3. ICL Tends to Change Attention Outputs in the Same Direction as Finetuning

 

 representation의 관점으로부터 ICL과 finetuning 간에 업데이트의 유사도를 측정하기 위해 attention output 업데이트의 유사도(SimAOU)를 계산했다. ICL과 finetuning과 ZSL 간의 업데이트 비교는 각각 $\textbf{h}_{ICL}^{(l)} - \textbf{h}_{ZSL}^{(l)}$과 $\textbf{h}_{FT}^{(l)} - \textbf{h}_{ZSL}^{(l)}$이다. 논문에서는 $l$ 번째 레이어에서 SimAOU($\Delta$FT)를 얻기 위해 이 두 업데이트 간의 cosine을 계산했다. 높은 score는 ICL이 finetuning과 똑같이 업데이트를 하고 있다는 의미이다. 비교를 위해 ICL 업데이트와 랜덤 하게 생성된 업데이트 간의 유사도를 계산하는 baseline metric인 SimAOU(Random $\Delta$) 또한 계산하였다. 

 

 6개의 데이터셋에 대한 example과 2개의 GPT 모델에 대한 레이어 간의 평균 SimAOU score를 표 3에서 나타내고 있다. 표를 살펴보면 Random SimAOU score는 낮고, $\Delta$ FT SimAOU score는 높은 것으로 보아 ICL 업데이트는 랜덤 업데이트보다 finetuning 업데이트와 더욱 비슷하다는 것을 의미한다. 

 

표 3. 6개의 데이터셋에서 2개의 GPT 모델에 대한 SimAOU

 

3-4. ICL Is Inclined to Generate Similar Attention Weights to Finetuning

 

 attention 행동의 관점으로부터 ICL과 finetuning에 대한 query token에 대한 attention map의 유사도를 측정하기 위해 attention map의 유사도(SimAM)를 계산하였다. ICL에 대해 demonstration token에 대한 attention을 빠트리고 오직 query token에 대한 attention 가중치를 모니터링하였다. 첫 번째로 finetuning 전에 $\textbf{m}_{ICL}^{(l, h)}$와 $\textbf{m}_{ZSL}^{(l, h)}$ 간에 cosine을 계산하고 각 레이어에서 SimAM(Before Finetuning)을 얻기 위해 attention head 간에 유사도를 평균 내었다. 이와 유사하게, fine-tuning 후에 $\textbf{m}_{ICL}^{(l, h)}$와 $\textbf{m}_{ZSL}^{(l, h)}$ 간에 cosine을 계산해서 SimAM(After Finetuning)을 계산하였다. SimAM(Before Finetuning) 보다 높은 SimAM(After Finetuning)은 ICL의 attention 특성이 non-finetuned 모델보다 finetuned 모델과 더욱 유사하다는 것을 가리킨다.

 

 표 4는 6개의 데이터셋에서 example과 2개의 GPT 모델에 대한 레이어 간의 평균 SimAM score를 나타내고 있다. finetuning 이후의 attention 가중치와 비교해서 ICL은 finetuning 이후의 attention 가중치와 더욱 유사한 finetuning 가중치를 생성하는 경향이 있다. 다시 말해 attention 특성의 관점으로부터 ICL은 finetuning 하기 위해 유사하게 행동한다는 것을 증명할 수 있었다.

 

표 4. 6개의 데이터셋에서 두 개의 모델에 대한 SimAM

 

3-5. ICL and Finetuning Tend to Pay Similar Attention to Training Tokens

 

논문에서는 ICL을 meta-optimization의 프로세스로 이해했기 때문에 attention을 ICL과 finetuning에 대한 training token을 Kendall rank correlation coefficient과 함께 비교하였다. $\textbf{m}_{ICL}^{(l)}$와 $\textbf{m}_{FT}^{(l)}$은 Kendall coefficient(ICL, FT) $= \frac {P_{c} - P_{d}}{N(N-1) / 2}$로 계산된다. 여기서 $N$은 training token의 수를 나타내고, $P_{c}$는 조화된 쌍의 수를 나타내고, $P_{d}$는 조화롭지 못한 쌍의 수를 나타낸다. 높은 Kendall 계수는 ICL의 training token에 대한 attention 가중치의 순서를 의미한다. 또한 비교를 위해 Kendall(ICL, Random)도 계산하였다.

 

 표 5는 6개의 데이터셋에서 2개의 GPT 모델에 대한 레이어와 exaample 간의 평균 Kendall 상관성 계수를 보여준다. Kendall(ICL, Random)은 거의 0에 가까웠던 반면에 Kendall(ICL, FT)는 항상 별개의 positive value를 유지한다. 이러한 결과는 ICL과 finetuning이 training token에 대해 유사한 attention을 하는 경향이 있다는 것을 제안한다.

 

표 5. 6개의 데이터셋에서 2개의 GPT 모델에 대한 Kendall rank 상관성 계수

 

4. Momentum-Based Attention Inspired by Dual Form of Transformer Attention

 그림 2처럼 Transformer attention과 gradient descent의 이중 형태를 알아냈는데, 이것에 영감을 받아서 momentum을 사용해보고자 하였다. 

 

그림 2. Transformer attention과 gradient descent 간의 이중 형태

 

 gradient descent와 momentum 간의 유사점에 의해 momentum 기반 attention을 만들기 위해 attention value를 평균내고자 Exponential Moving Average(EMA)를 사용하고자 시도하였다:

 

 

 여기서 $\textbf{v}_{i}$는 $i$ 번째 attention value vector이다. attention value vector의 momentum은 명시적으로 attention의 새로운 bias를 강화시킨다. 그래서 논문에서는 attention에 momentum을 소개하는 것이 더 빠른 수렴과 더 나은 성능에 공헌할 것이다라고 가정하였다.

 

Experiments on Language Modeling.  첫 번째로 language modeling에서 momentum-based attention의 효과를 평가하였다. 논문에서는 2개의 350M GPT 모델을 사용했는데, 하나는 vanilla Transformer이고, 다른 하나는 attention에 momentum을 적용한 것이다. 이렇게 해서 perplexity와 validation을 평가하였다. 그 결과는 표 6에 나타나 있다. 모든 validation set에서 momentum을 attention에 적용하는 것은 일관된 perplexity 개선을 보여줬다.

 

표 6. training set와 validations set에서의 Perplexity

 

Experiments on In-Context Learning.  논문에서는 또한 momentum-based attention의 downstream task에서의 효과를 입증하기 위해 위 LM의 in-context learning 능력을 평가하였다. 그 결과가 표 7에 나타나 있다. vanilla Transformer와 비교해서 momentum-based attention을 사용하는 것은 모든 데이터셋에서 일관되게 높은 정확도를 달성하였다.

 

표 7. 6개의 in-context learning 데이터셋에서의 정확도

 

 

 

 

 

출처

https://arxiv.org/abs/2212.10559

Why Can GPT Learn In-Context? Language Models Implicitly Perform Gradient Descent as Meta-Optimizers