It's Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners 논문 리뷰

 이 논문에서는 PET을 이용한다. 이 PET에 대해 궁금하다면 다음의 포스트를 확인하길 바란다.

PET 논문 리뷰: https://cartinoe5930.tistory.com/entry/PET-Exploiting-Cloze-Questions-for-Few-Shot-Text-Classification-and-Natural-Language-Inference-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0

PET: Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference 논문 리뷰

 

 

 

The overview of this paper

 

GPT-3는 획기적인 양의 데이터로 pre-train을 진행하고, 그에 상응하는 상당한 양의 파라미터를 통해 엄청난 성능 향상을 보여줬다. 하지만, 이렇게 거대한 양의 데이터를 사용해서 LM을 학습시키려면 막대한 양의 비용이 발생하게 된다. 그래서 연구자들 또는 사용자들에게 많은 제약을 가져다주게 된다. 그래서 이 논문에서는 'PET'이라는 알고리즘을 사용하여 GPT-3보다 훨씬 더 적은 양의 파라미터로도 이를 웃도는 성능을 보여주었다. 이 'PET'은 기존의 textual input을 cloze question$($문장의 빈 공간에 알맞은 단어를 유추하는 문제$)$과 기울기 기반의 최적화 방법을 합친 것이다. 여기서 unlabeled data를 사용하는 것은 추가적인 성능 향상을 가져온다는 것을 보여줬다. 그리고 어떠한 점이 작은 크기의 LM의 성능 향상을 가져오게 되었는지 또한 분석하였다.

 

 

Table of Contents

1. Introduction

2. Pattern-Exploiting Training

   2-1. PET with Multiple Masks

3. Analysis

 

 

1. Introduction

 기존의 pre-trained LM들은 거대한 데이터에서 pre-train을 진행하고, output layer에서는 소량의 labeled data에 fine-tuning을 하는 방식이었다. 하지만, language modeling은 pretraining적으로만 우수할 뿐만 아니라, 다양한 task들이 cloze question으로 재형성될 수도 있다. 이 cloze question은 LM이 적은 양 내지 아예 labeled data 없이 문제를 해결할 수 있게 해준다.

 GPT-3는 priming이라는 과정을 거치는데, 이는 예측에 대해 입력에 대한 설명과 그에 대응하는 출력을 문장으로 해서 받게 된다. 하지만, 기울기 업데이트는 수행되지 않는다. 이러한 방식은 직관적으로 사용 가능하지만, 이러한 방법은 다음의 두 가지 결정적인 결점을 가지고 있다.

 

• 이러한 방식은 잘 작동하기 위해서 거대한 LM을 요구하는데, 이는 현실 세계에서 실용적이지 않고, 엄청난 탄소발자국을 남기게 된다.
• 대부분의 LM의 context window는 몇백 개의 토큰으로 제한되는 경우가 많으므로 몇 가지의 예 이상으로 확장되지 않는다.

 

 이러한 priming의 대안이 되는 것이 pattern-exploiting training 즉, PET이다. PET은 기존의 기울기 기반 fine-tuning에 cloze question을 적용한 방식으로, unlabeled data를 더 요구하기는 하지만, labeled data에 비해서 unlabeled data는 더 구하기 쉽기 때문에, 실제 세계에 더 적용하기 낫다. 결정적으로, PET은 LM에 의해 오직 하나의 토큰으로 예측될 때만 작동이 가능한데, 이는 많은 task들에 대해 이와 같은 방식으로 진행하는데 심각한 제약을 주게 된다.

 논문에서는 PET을 많은 수의 token을 예측하는 task에 대해 적용해보았다. 그리고 이를 ALBERT와 합해서 사용한 결과, PET과 iPET은 GPT-3보다 훨씬 더 적은 수의 파라미터를 사용해서 더욱 우수한 성능을 보여줬다. 논문에서는, unlabeled data 없이도 이와 비슷한 성능을 낼 수 있다는 점과 PET의 강력한 성능을 내는데 기여한 요인에 대한 자세한 분석을 제공하였다. 이는 다음의 그림 1을 보면 더욱 확연하게 보일 것이다.

 

그림 1. GPT-3와 PET&iPET 성능 비교

 

2. Pattern-Exploiting Training

 $M$은 masked language model$($MLM$)$이고, $T$는 vocabulary이고, $_ \in T$은 mask token이다. 그리고 모든 token sequence는 $T^{*}$이다. $\textbf{Z} \in T^{*}$은 최소 $k$개의 mask와 $t \in T$으로 구성되어 있고, 논문에서는 $q_{M}^{k}(t|\textbf{z})$을 $M$이 $\textbf{z}$의 $k$번째 마스킹된 위치에서 $t$에 할당할 확률이다. 그리고 모델의 softmax layer을 지나기 전 logit의 값은 $s_{M}^{k}(t|\textbf{z})$이다. 그리고 논문에서는 PET이 요구로 하는 입력 $x \in X$를 출력 $y \in Y$로 매핑하는 pattern-verbalizer pairs $($PVPs$)$를 고려하였다. 각각의 PVP $\textbf{p}=(P,v)$는 다음과 같이 구성된다.

 

• pattern $P$ : $X \to T^{*}$는 입력을 하나의 mask를 포함하는 cloze question으로 변환
• verbalizer $v$ : $Y \to T$는 각각의 출력을 패턴에서의 task-specific한 의미를 표현하는 하나의 토큰으로 매핑함. 

 

 다음의 그림 2에 표현되어 있듯이, PET의 핵심 아이디어는 $v(y)$가 $P(x)$의 마스킹된 위치에서 "올바른" 토큰일 확률로부터 $y$가 $x$에 대한 올바른 출력일 확률을 도출하는 것입니다. 이 그림을 자세히 살펴보면, 두 문장 사이의 관계를 묻는 task로, $x_2$: '유가가 상승한다'와  $x_1$: '유가가 하락한다' 라는 두 문장 사이의 관계를 구하는 task이다. 두 문장 사이에는 관계가 없으므로 $y$: 'not entailment'가 정답이다. 이 문제를 cloze question $P(x)$로 변환하면 다음과 같다. $P(x)$: 유가가 상승한다? __, 유가가 하락한다. 이렇게 입력을 하나의 mask를 포함하는 cloze question으로 매핑하는 것을 $P$, pattern이라 한다. 이제 빈칸에 들어갈 정답은 'not entailment'인데, 빈칸은 하나이므로, 이 정답을 하나의 토큰으로 변환시켜줘야 한다. 이 역할을 하는 것이 $v$, verbalizer이다. 

 

그림 2. textual entailment에 대해 PVP p의 응용

 

 이런 개념에 기반을 두어, $x$가 주어졌을 때, $y$의 조건부 확률 분포 $q_{\textbf{p}}$는 다음과 같이 정의된다.

 

수식 1. q_p의 조건부 확률 분포

 

 여기서 $s_{\textbf{p}}(y|x)=s_{M}^{1}(v(y)|P(x))$은 $P(x)$의 masked position에서의 $v(y)$의 raw score이다.

 task가 주어졌을 때, 큰 development set이 없다면 PVP를 파악하는 것을 잘 수행하는 것은 어렵다. 그래서, PET은 다중의 PVPs $\textbf{P}={\textbf{p}_1,...,\textbf{P}_n}$의 조합을 다음과 같이 가능하게 한다.

 

1. 각각의 PVP $\textbf{p}$에 대해, MLM은 $y$와 $q_{\textbf{p}}(y|x)$ 간의 cross entropy를 최소화함으로써 훈련 예시 $(x,y)$에서 fine-tuning한다.
2. fine-tuning된 MLM의 ensemble은 unlabeled example에 대해 라벨링을 하는 데 사용된다. 각각의 unlabeled example $x \in X$는 확률 분포에 따라서 soft label로 라벨링이 된다. 다음의 수식 2가 이에 대한 수식이다. 앞의 수식 1과 유사하게, $w_{\textbf{p}}$는 훈련 전에 훈련 세트에서 $\textbf{p}$로 달성한 정확도에 비례하는 가중치 값이다.
3. 결과적으로 나온 soft-labeled dataset은 기존의 시퀀스 분류기를 학습하는데 사용되는데, 분류기의 출력과 $q_{\textbf{p}}$ 간의 cross entropy를 최소화시킴으로써 학습한다.

수식 2. MLM으로 라벨링

 

 위의 2번과 3번 단계는 knowledge distilation$($참고문헌$)$과 매우 유사하다. 중요한 것은, 이 과정이 모든 MLM의 ensemble을 동시간대에 메모리에 머무르게 할 필요없이 순차적으로 계산할 수 있다는 것이다. 그래서, 하나의 모델을 사용하는 것보다 메모리를 더 사용하지 않는다.

 MLM에게 서로 다른 패턴에서 학습할 기회를 주기 위해, iPET을 제안하였다. 이 iPET은 여러 세대의 모델이 이전 세대에서 레이블이 지정된 증가하는 크기의 데이터 셋에 대해 훈련되는 PET의 반복 변형이다. 이는 다음과 같은 방식으로 진행된다: 첫 번째로, MLM의 ensemble은 기존의 PET에서 훈련된다. 각각의 모델 $M_i$에 대해 다른 모델의 랜덤 서브셋을 사용해서 새로운 훈련 셋 $T_i$를 생성한다. 각각의 $M_i$는 $T_i$에서 유지된다. 이러한 과정은 여러 번 반복되며 매번 $T_i$의 예제 수가 일정한 비율로 증가한다.

 

2-1. PET with Multiple Masks

 PET의 중요한 제약은 verbalizer $v$가 오직 하나의 token으로 매핑되어야 한다는 것인데, 이는 다양한 task에 대해서 불가능하게 만든다. 그래서 논문에서는 verbalizer을 $v : Y \to T^{*}$으로 일반화시켰다. 이것은 추론과 훈련에 대해서 조금의 수정을 요구한다. 논문에서는 출력 공간이 각 입력에 대해 동일하다고 가정하지 않는다는 점에서 PET을 더 일반화한다: 각 $x \in X$에 대해, 입력으로 $x$가 왔을 때 가능한 출력 셋 $Y_{x} \subseteq Y$를 명시하였다. PVP $\textbf{P}=(P,v)$가 주어지면, 어떠한 길이의 출력 $Y_x$를 표현할 수 있는 최대 길이의 토큰 수 $l(x)=max_{y \in Y_{x}}|v(y)|$를 정의한다. 그리고 $P^{k}(x)$는 mask token이 $k$개의 마스크로 대체된 $P(x)$가 된다.

  실제 예시를 들어보면, 음식점 리뷰에 대한 이분적 구문 분류를 라벨 $Y={+1,-1}$로 한다고 치자. pattern $P(x)=x.$It was __. 과 'great'에 대해서는 +1로, 'terri $\cdot$ble'에 대해서는 -1로 매핑하는 verbalizer $v$를 사용한다. 여기서 MLM의 tokenizer은 'terrible'이라는 단어를 'terri'와 'ble' 이렇게 두 개의 토큰으로 나누게 된다. 예를 들어, 모든 $x$에 대해 $l(x)=2$로 되고, 이에 대한 $P^{2}(x)$는 다음의 그림 3의 $($a$)$에 묘사되어 있다.

 

그림 3. verbalizer가 두 개의 토큰에 대해 어떻게 처리하는지에 대한 추론

 

Inference

 $x \in X, y \in Y_{x}$와 $|v(y)|=k$에 대해, 논문에서는 $q_{\textbf{p}}(y|x)$를 autoregressive한 방식으로 재정의하였다. $P^{k}(x)$에서부터 시작해서, $k$개의 연속적인 예측을 수행하고, 여기서 항상 MLM의 confidence에 기반을 두고 다음으로 예측해야 할 token을 선택하였다. 이를 $q_{\textbf{p}}(y|x)=q(v(y)|P^{k}(x))$으로 설정해두고 여기서 이 값은 다음과 같은 수식으로 결정된다.

 

수식 3.

 

 $j=arg max_{i=1}^{k}q_{M}^{i}(t_i|\textbf{z})$이고, $\textbf{z}^{'}$는 $\textbf{z}_{j}^{'}=t_j$와 $t^{'}=t_1 ... t_{j-1}t_{j+1} ... t_k$를 제외한 $\textbf{z}$이다. 기존의 PET와는 달리 $q_{\textbf{p}}$는 조건부 확률이 아니라서 모두 합쳐도 1이 되지 않을 수도 있다.

 구문 분류 예제에 대해서, 그림 3은 어떻게 $q_{\textbf{p}}(-1|x)$가 계산되는지 보여주고 있다. $|v(y)|=|{terri, \cdot ble}|=2$이므로, 처음에 $\textbf{z}=P^{2}(x)$를 사용해서 $v(y)$의 각각의 토큰에 대한 확률을 계산한다 $($그림 3의 a$)$. 그 후에 가장 높은 확률의 토큰을 선택해서, 그에 대응하는 위치의 mask token에 넣어주고, 결과적으로 나온 cloze question $\textbf{z}^{'}$을 사용해서 남은 토큰들에 대한 확률을 계산한다 $($그림 3의 b$)$. $y=-1$에 대한 전반적인 점수는 다음과 같이 계산된다.

 

$q_{\textbf{p}}(-1|x)=q_{M}^{2}(\bullet ble|\textbf{z}) \cdot q_{M}^{1}(terri|\textbf{z}^{'})$

 

Training

 수식 3처럼 각각의 훈련 예제 $(x,y)$에 대해 $q_{\textbf{p}}(y|x)$를 계산하는 것은 엄청 많은 계산량을 요구한다. 모든 확률들에 대해 하나의 forward pass로 계산하는 것을 가능하게 하기 위해서는, $q_{\textbf{p}}(y|x)$를 다음과 같은 방식으로 근사해야 한다.

 

1. 항상 어떠한 출력이든 표현할 수 있는 최대 개수의 mask token을 주입해야 함.
2. 각각의 $y^{'} \in Y_{x}$에 대해, $v(y^{'})=t_1 ... t_k$에 있는 모든 토큰을 병렬로 예측해야 하고, 여기서 모든 $l(x)-k$개의 불필요한 마스크 토큰에 대한 예측을 무시해야 함.

수식 4.

 

 앞서 들었던 실제 예시에 적용해 보면, 이것은 점수 $q_{\textbf{p}}(y|x)$를 다음과 같은 방식으로 근사한다.

 

 

 이와 같은 방식으로 진행하면, 그림 3의 $($a$)$에서 보여주는 것처럼 오직 cloze question $\textbf{z}=P^{2}(x)$를 한 번 수행하는 것을 요구함으로써 하나의 forward pass로 끝나게 된다.

 $\tilde{q}_{\textbf{p}}$이 $Y_x$에 대한 확률 분포가 아니므로, 교차 엔트로피는 모델의 예측에 영향을 미치지 않음에도 불구하고 출력 공간의 일부가 아닌 시퀀스 $\textbf{z} \notin v(Y_x)$에 할당된 확률을 줄임으로써 최소화할 수 있으므로 이상적인 훈련 목표가 아니다. 논문에서는 대신에 다중 클래스 hinge loss를 선택하고 최소화하였다.

 

수식 5. hinge loss와 최소화

 

 즉, $y$의 log probability와 출력 $y^{'} \in Y_x \setminus {y}$의 log probability 사이의 차이가 적어도 1이어야 한다.

 

 본 포스트에서는 실험에 관한 부분은 다루지 않으므로 자세히 다루지는 않겠으나 모델의 성능은 다음의 표 1과 같다.

 

표 1. 성능 비교

 

 

3. Analysis

 논문에서는 few-shot performance에 대해서 다양한 factor들의 중요성을 조사하였다.

• pattern과 verbalizer 선택
• unlabeled data와 labeled data 사용
• 사용되는 language model의 특성

 그리고 multiple mask를 처리하기 위해 제안된 수정된 PET에 대해 자세하게 살펴보고, 다른 baseline들과 어떠한 차이가 있는지 비교하였다. 마지막으로는, 서로 다른 training example을 선택함에 따라 성능이 어떻게 변화하는지 측정하였다.

 

3-1. Patterns

 task를 cloze question으로 변환하는 것은 성능에 커다란 영향을 미친다. 이를 확인하기 위해 세 개의 PVP를 비교하였다: 논문에서 정의한 $\textbf{p}_{ours}$, GPT-3에 적용한 single PVP $\textbf{p}_{GPT-3}$, 그리고 둘을 합친 $\textbf{p}_{comb}$. 그 결과는 다음의 표 1에 나타나 있다.

 

표 2. PVPs 성능 비교

 

 성능에서 보여주는 이러한 엄청난 차이는 task를 얼마나 좋은 방식으로 cloze question으로 나타내는가의 중요성을 강조한다. 그리고 또한 적합한 pattern의 셋을 신중하게 조정하는 것의 중요성 또한 강조한다.

 

3-2. Unlabeled Data Usage

 GPT-3와는 달리 PET은 iPET을 위해 unlabeled data를 필요로 한다. unlabeled data를 이용해서 다음 generation을 위한 training set을 생성할 수 있기 때문이다. 논문에서는 기존의 PET에 대해 unlabeled data의 중요성을 조사하였다. 이를 위해, PET에서 최종 분류기의 성능을 개별 PVP에 해당하는 모델의 앙상블을 직접 사용하는 성능과 비교하였다. 이 ensemble을 한 번에 사용하는 것은 unlabeled data에 대한 필요를 없애주지만, 이 ensemble은 distilled model보다 더 크기 때문에, PET의 기본 세팅을 따라서 각 PVP에 대해서 세 개의 모델을 학습시켰다. distillation을 제외한 결과는 표 2의 아래쪽에 나타나있다. 세 개의 task에 대한 평균은 ensemble이 distilled classifier보다 더 나은 성능을 보여준다. 따라서 목표가 오직 좋은 성능을 갖기 위해서라면 unlabeled data는 불필요하다. 하지만, 이러한 방식은 final classifier로 가벼운 모델을 필요로 한다. 다음의 그림 4는 iPET을 사용해서 multiple generation을 학습시키는 것의 이익을 보여준다.

 

그림 4. iPET의 multiple generation의 benefit

 

3-3. Labeled Data Usage

 다음으로, 어떻게 labeled data가 사용되는지에 대한 효과에 대해 분석하였다. 이 labeled data는 기존의 방법과 PET 간의 차이점이다. 첫 번째로, PET with supervised learning과 PET with fully unsupervised learning과 비교하였다. 32개의 예제가 주어지고, PET은 모든 baseline을 능가하였다. 다음의 표 3을 보라.

 

표 3. labeled data usage 분석

 

 다음으로, PET을 priming과 직접적으로 비교하려 했으나 불가능하였다. 왜냐하면, ALBERT는 최대 512개의 token까지만 처리가 가능한데, 이 적은 수의 토큰으로는 32개의 예제를 모두 표현할 수 없기 때문이다. 그래서 이를 해결하기 위해 XLNet을 사용하였다. 위의 표를 보면 알 수 있듯이 XLNet은 기존의 ALBERT보다 성능이 떨어지지만, XLNet with PET은 priming보다 더 나은 성능을 보여준다.

 추가적으로, priming의 효과를 확인하기 위해 GPT-3의 결과를 좀 더 자세히 살펴보았다. 이를 위해, 다음의 그림 5는 GPT-3 with 32 examples와 GPT-3 with single example에 대해서 자세하게 살펴보았다. 그림을 보면 알 수 있듯이 32 examples는 매우 경미한 성능 향상을 보여줬다. 어떤 task에 대해서는, 작은 크기의 모델에 example을 더 투입하는 것이 오히려 성능을 떨어뜨릴 수도 있다. 

 그림 5의 아래쪽 행은 PET을 사용해서 훈련된 ALBERT와 모든 task에 대해 fully unsupervised된 ALBERT의 성능 차이를 보여주고 있다. 하지만, 사용된 model과 PVP의 차이 때문에 결과는 직접적으로 비교가 불가하지만, PET은 priming에 비해 더욱 강력한 성능 향상을 보여줬고, 어떠한 task에 대해서도 성능이 악화된 결과를 보여주지는 않았다.

 

그림 5. priming with GPT-3 성능 비교 & ALBERT with PET과 ALBERT with ubnsupervised learning 성능 비교

 

3-4. Model Type

 다음으로 사용되는 LM의 차이가 PET에 미치는 영향을 파악하기 위해, ALBERT, RoBERTa, GPT-2 medium을 비교하였다. 이 세 개의 모델을 PET과 함께 훈련한 결과, 다음의 표4에 따르면 PET의 강력한 성능을 위해 ALBERT는 결정적이라는 것을 보여준다. 아래 표를 보면 GPT-2는 세 개의 모델 중 가장 좋지 않는 성능을 보여준다. 이러한 성능 하락은 GPT-3와 GPT-2가 unidirectional하기 때문이다. 이러한 점이 두 개의 sequence를 비교하는 task를 어렵게 만든다. 하지만, GPT-2와 다른 두 모델 간의 부수적인 차이점인 사전 학습된 데이터셋의 차이 또한 짚고 넘어가야 한다. unidirectional이 GPT-2 성능 저하의 원인인지 여부에 관계없이 기본 LM의 bidirectional은 PET에 중요하다. 마스크 토큰이 맨 끝에 있어야 할 필요성을 없애고 패턴 생성에 더 많은 유연성을 허용하기 때문이다.

 

표 4. Model type에 따른 성능 비교

 

3-5. PET with Multiple Masks

 논문에서는 출력으로 single token보다 많은 token을 요구하는 task를 수행할 수 있도록 PET을 수정하였다. 이러한 수정의 효과를 파악하기 위해, 이러한 조건을 요구하는 세 개의 task에 대해 조사해보았다: COPA, WSC, ReCoRD. 논문에서는 할당된 확률의 순서대로 토큰을 예측하는 디코딩 전략인 max-first를 두 가지 대안과 비교한다: left-to-right decoding은 많은 autoregressive model에 대해 일반적이고, 모든 토큰을 동시에 디코딩하는 parallel은 훈련 중에 끝나게 된다. 추가적으로, training loss를 측정하기 위해, PET with untrained ALBERT와 비교하였다.

 이에 대한 결과는 다음의 표 5에 나타나 있다. PET은 세 개의 task에 대해 untrained ALBERT의 성능을 능가하였다. distillation을 수행하지 않는 것은 COPA에 대해 성능에 해를 끼쳤지만, WSC와 ReCoRD에 대해서 약간의 성능 향상을 이끌어냈다. 논문에서 제안된 decoding 전략은 전반적으로 parallel decoding보다 우수했다.

 

표 5. decoding 전략에 따른 성능 비교

 

 

 

참고문헌

https://littlefoxdiary.tistory.com/62

[논문리뷰] Small Language Models Are Also Few-Shot Learners

https://arxiv.org/abs/2009.07118

It's Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners