Exploring the Benefits of Training Expert Language Models over Instruction Tuning 논문 리뷰

The overview of this paper

 최근에 multi-task prompted fine-tunig(MT)라고 알려져 있는 다양한 task에서 instruction-tune하는 LM은 unseen task에 대해 일반화하는 능력을 보여주고 있다. 이전의 연구에서는 강력한 MT LM을 만드는데는 학습 task의 수를 늘리는 것이 중요한 요소라고 밝혔었다. 하지만, 이 논문에서는 오직 하나의 task에서 학습된 expert LM이 300개 이상의 서로 다른 task에서 학습된 MT LM을 능가한다는 있다는 것을 보여줬다. 이 발견은 이전의 task의 수를 늘리면 강력해진다는 믿음에 의문을 제기하였다. 이 발견을 통해 논문에서는 단일 MT LM 대신 학습 task 당 별도의 expert LM을 학습시키는 분산 접근 방식이 많은 이점을 가지고 있다는 것을 보여줬다.

 

1. negative task transfer를 피함
2. 이전 task에 대한 재학습 없이 계속적으로 새로운 task에서 학습이 가능
3. 각각의 expert를 합칠 때 compositional 능력을 보여줌

 

 

Table of Contents

1. Introduction

2. Expert Language Models

3. Experimental Setup

4. Expert LMs Can Generalize to Unseen Tasks

5. Benefits of Expert LMs over MT LMs

 

 

1. Introduction

 이 논문에서는 현재 MT LM 학습의 패러다임에 대한 몇 가지 의문을 제기하고, 이 의문은 두 가지 파트로 나뉘어져 있다. Part 1.은 MT LM과 expert LM에 관한 예상치 못한 발견을 기록하였고, Part 2.는 MT LM에 대한 expert LM의 이점을 강조하기 위해 이 발견을 활용하였다.

 

Part 1. (Section 4)  이전에 MT LM의 unseen task에 대한 일반화 성능을 향상시키는데 중요한 요소는 총 task의 수를 늘리는 것이었다. 하지만, 이 논문의 연구에 따르면 300개 이상의 task 중 하나의 task에서 하나의 expert LM을 학습시키는 것이 더 낫다.

 

 널리 사용되는 MT LM인 T0-3B와 똑같은 실험 셋업을 따라서 기반이 되는 LM은 freeze 하고 adapter를 업데이트 함으로써 각각의 주어진 학습 task(296)에 대한 expert LM을 학습시킨다. 모든 unseen task 평가 task에 대해 최고의 성능을 보여주는 expert를 사용한 결과 11개의 unseen 데이터셋과 13개의 BIG-Bench 데이터셋에서 T0-3B를 능가하는 모습을 보여줬다. 논문에서는 또한 각각의 개별 unseen task에 대해 T0-3B에 준할 만한 성능을 내는 연관된 expert를 찾는 간단한 메커니즘을 적용하는 것을 보여줬다. 이 결과는 알맞은 expert를 찾는 것이 모든 unseen task에 대해 더욱 효율적이고 효과적인 방법이라는 것을 말한다.

 

Part 2. (Section 5)  expert LM의 발견을 호라용하면 개선된 unseen task 일반화를 가능케 한다. 논문에서는 각 task에 대한 다양한 expert LM의 학습과 추론 중에 연관된 expert를 검색하는 것(그림 1)의 세 가지 장점을 강조하였다.

 

그림 1. zero-shot task 일반화에 대한 독립 학습과 Retrieval-of-Experts(RoE)

 

1. MT LM은 negative task transfer 때문에 seen task에 대해 최적의 성능을 보여주지 못 한다. 여기서 여러 개의 task를 한 번에 학습하는 것은 몇몇 구체적 task의 학습을 방해한다. 반대로 expert LM은 각각의 task가 독립적으로 학습되기 때문에 negative task transfer에 영향을 받지 않는다.
2. MT LM은 새로운 task를 학습할 때 catastrophic forgetting에 영향을 받기 쉽고, forgetting을 완화하기 위해 재학습을 필요로 한다. 반면에 논문의 분산(독립적인 방식으로 개별 task를 학습) 방식은 seen task에 대해서 성능 저하를 보여주지 않는다. 또한 8개의 새로운 생성 task에 대해 8개의 새로운 expert를 Expert Library에 추가할 때 이전의 task에 대한 재학습을 필요로 하지 않는다.
3. MT LM이 해당 명령어의 연결을 통해 주어진 이전에 학습된 task를 단일 compositional instruction으로 합성하는 능력이 좋지 않음을 보여준다. 개별 task에서 학습된 2개의 expert를 mT5-3B와 합친 것이 기반이 되는 PLM으로 사용하는 것이 expert가 MT LM보다 나은 성능을 보여준다는 것을 보여준다.

 

2. Expert Language Models

 이 섹션에서는 논문에서 제안한 프레임워크를 설명하였다. 논문에서는 각 training task에 대한 adapter를 학습시킴으로써 각 expert를 학습시켰다(2-1). 추론 중에는 Expert Library로부터 연관된 expert를 검색하였다(2-2). 추가적으로 분산 학습의 이점을 파악하기 위해 expert를 합치는 것의 효과를 탐색하였다.

 

2-1. Training Experts

 

 expert를 학습시키기 위해, 논문에서는 주로 adapter를 통한 파라미터 효율적인 fine-tuning을 하는 반면 개별 expert를 학습시키기 위해 기반이 되는 LM은 freeze 해두었다. 논문에서는 해당하는 prompt와 함께 각각의 task에 대한 expert를 학습시켰고, 이것을 Prompt Expert(PE) 라고 한다. 또한 다양한 training DE로 구성되어 있는 각 데이터셋에 대한 expert를 학습시켰는데 이것을 Dataset Expert(DE) 라고 한다. DE 학습을 위해 파라미터 효율적인 방법인 adapter를 사용하는 대신에, expert LM의 융합 능력을 관찰하기 위해 전체 LM을 학습시켰다. 그림 2는 training 데이터셋의 계층과 PE와 DE가 학습된 레벨을 보여준다.

 

그림 2. MT LM을 학습시키는데 사용되는 모든 training 데이터셋의 계층

 

Adapter.  논문에서는 원래 파라미터를 freeze 하면서 추가 adapter를 학습시켜 expert를 표현하는 파라미터 효율적인 방법을 적용하였다. 특히, $l$개의 레이어를 사용하는 기존 Transformer가 주어지면, $T$개의 토큰을 함유하고 있는 입력 시퀀스 $X$가 주어졌을 때 하나의 레이어 $\textbf{h}_{1:T}^{l}$은 다음과 같이 계산된다.

 

 

 여기서 $\textbf{h}_{t}^{l}$은 $l$번째 레이어의 $t$ 토큰의 hidden state이고, $Self-Att(\cdot)$은 self-attention 모듈, $FFN_{d}(\cdot)$은 hidden 차원 $d$를 사용하는 feed-forward 네트워크이다. LM을 adapter expert를 사용해서 fine-tune 할 때, self-attention 레이어 이전의 레이어는 다음과 같은 형식으로 변형된다.

 

 

 여기서 $e$는 adapter feed-forward 네트워크의 hidden 차원을 나타낸다. expert를 나타내기 위해 adapter를 사용할 때 $FFN_{e}$의 파라미터만이 오직 학습 가능한 파라미터이고 LM에 남아있는 다른 파라미터들은 freeze 된다.

 

2-2. Retrieval-of-Experts(RoE)

 

 개별 expert의 독립적인 학습 이후에, 추론 중에 사용하기 위한 하나의 expert를 찾아야 한다. 이를 위해, 논문에서는 Expert Library를 만들고 추론 중에 사용하기 위해 라이브러리로부터 연관된 expert를 찾기 위한 dense retrieval을 사용한다.

 

Expert Library.  Expert Library의 구성 요소는 다음과 같다.

 

• keys: training task로부터 나온 하나의 instance의 각 임베딩 representation
• values: 해당하는 학습된 expert의 특유의 id

 

 각각의 독특한 expert에 대해 $S$ 개의 training instance는 랜덤하게 샘플링되서 라이브러리에 저장된다. training instance의 embedding representation을 얻기 위해 간단한 sentence Transformer를 dense retrieval로 사용하였다. embedding model에 입력으로 주어지는 training instance의 텍스트 형식에 대해, 논문에서는 대답 선택지를 연결해서 Prompted Input으로 만들었다 (ex. Yes|No, A|B|C|D).

 

Retrieval.  추론 중에 타깃 task가 주어지면 타깃 task로부터 $Q$ 개의 instance를 랜덤하게 선택한다. 그 다음에 똑같은 텍스트 형식과 Expert Library를 만들기 위해 사용되는 임베딩 모델을 사용해서 각 $Q$ 타깃 쿼리의 embedding representation을 얻는다. 그 후에 각 query instance에 대해 가장 유사한 training instance(key)를 식별하기 위해 Expert Library에 MIPS(maximum inner product search)를 사용한다. 그 결과로 총 $Q$ 개의 해당 expert를 얻게 된다. 주어진 타깃 task를 해결하는데 사용되는 expert는 가장 자주 검색되었던 expert를 선택한다.

 

2-3. Merging of Experts

 

 이전의 연구들은 개별 fine-tuned LM을 융합함으로써 분산 multitask fine-tuning의 가능성을 보여줬다. 가장 많이 검색된 expert를 선택함과 함께 완전히 fine-tune된 LM(DE)를 합치는 것이 어떻게 unseen task에 대한 일반화 성능에 영향을 미칠 지 관찰하였다.

 

 완전히 fine-tune된 LM은 벡터 $\tau_{d} = \theta_{d} - \theta_{pre}$의 형태로 표현되고, 여기서 $\theta_{pre}$는 vanilla pre-trained LM의 전체 파라미터로 표현되고 $\theta_{d}$는 training 데이터셋 $d$에서 fine-tune된 LM의 전체 파라미터로 표현된다. $N$개의 expert의 융합에 대한 수식은 다음과 같이 표현된다.

 

 

 여기서 $\lambda_{i} = \frac {1}{N}$이 기본값이다.

 

 

3. Experimental Setup

Training Setup.  expert를 학습시키기 위해 T0의 36개의 training 데이터셋을 사용하였다. 각각의 데이터셋에 대해 T0을 학습시키는데 사용한 모든 prompt를 사용하였다. 그 결과 총 296개의 prompt를 사용하였다. 결과적으로 완전히 fine-tune된 LM을 통해 36개의 Dataset Experts(DE)와 adapter training을 통해 296개의 Prompt Expert(PE)가 나왔다. 

 

Evaluation Setup.  baseline으로는 T0-3B와 T0-11B가 사용되었고, 제안된 method로는 T5-3B + DE/PE가 사용되었다. 평가 데이터셋은 T0에 사용된 데이터와 유사한데 다음과 같다.

 

• 4개의 카테고리로 카테고리화 되는 11개의 unseen 데이터셋
• BIG-Bench의 13개의 데이터셋
• 8개의 새로운 생성 task. 이 task를 T0에서도 사용되지 않음.

 

4. Expert LMs Can Generalize to Unseen Tasks

Main Results.  표 1은 11개의 unseen 데이터셋에 대한 평가 결과를 보여주고, 표 2는 13개의 unseen BIG-Bench task에 대한 결과를 보여주고, 표 3은 8개의 unseen 생성 task에 대한 결과를 보여준다. 이 3개의 표에 대한 결과는 다음과 같다.

 

1. 하나의 PE는 T0-3B를 상당히 능가
2. RoE(ORC.)은 사소하지 않은 마진으로 능가
3. RoE 방식은 분류 task에서 T0-3B를 능가하는 반면, 생성 task에서는 그러지 못했음

 

표 1. 4개 카테고리의 총 11개의 unseen 데이터셋에 대한 평가 성능

 

표 2. 13개의 BIG-Bench task에서의 평가 성능

 

표 3. 8개의 unseen 생성 task에서의 평가 성능

 

#1.  표 1에서 하나의 prompt에서 학습된 PE인 Cos PE를 함께 사용한 T5(3B)는 동등한 크기의 MT LM인 T0-3B를 11개의 데이터셋 중 8개의 데이터셋에서 능가하였다. 이전의 연구들에서는 instruction tuning 중에 더 많은 training task에서 학습하는 것이 더 나은 일반화를 이끈다 하였지만, 이 결과에 따르면 하나의 task에서 학습한 expert가 300개 이상의 task에서 학습된 모델보다 더 나은 성능을 보여준다. 이 발견은 표 2에서도 강조되는데 여기서 똑같은 Cos PE는 11개의 unseen task에서 최고의 성능을 보여준다. 그리고 표 3에서도 8개의 생성 task에서 T5 + SAM PE는 T0-3B를 능가하는 모습을 보여준다.

 

#2.  표 1에서 각 unseen task에 대한 정확도에 기반해서 최고의 성능을 보여주는 expert 선택의 상한 성능인 T5(3B) + PE w/ RoE(ORC.)는 T0-3B, GPT-3, T0-11B를 능가하는 성능을 보여줬다. 또한 8개의 unseen 생성 task에서 T0-3B를 능가하는 성능을 보여줬다. 이는 RoE가 적절한 expert가 선택되었을 때 강력한 unseen task 일반화에 대한 잠재력을 가지고 있음을 의미한다.

 

#3.  off-the-shelf retriever를 활용하여 보이지 않는 각 task에 대해 expert를 검색하는 간단한 방법인 T5(3B) + PE w/ RoE는 T0-3B를 11개의 평가 데이터셋 중 8개의 데이터셋에서 능가하였다. 하지만 8개의 생성 task에 대해서는 떨어지는 성능을 보여줬다. T5(3B) + PE w/ RoE가 최고의 성능을 보여주는 expert T5(3B) + PE w/ RoE(ORC.)과 비교해서 상당한 성능 갭을 보여주므로 검색 측면에서 더 개선해야할 점이 있다.

 

표 4. 4개 카테고리로 카테고리화 되어 있는 11개의 서로 다른 unseen 데이터셋에 대한 평가 성능

 

Merging of Experts.  표 4는 expert LM의 융합 능력을 보여준다. 첫 3행은 adapter의 형태로 표현되어 있는 PE의 융합 결과가 보여지고 있다. Cos PE와 Soc PE를 사용한 균일한 융합을 수행함으로써 구성된 expert인 Cos&Soc PE (MER.)는 몇몇 데이터셋에서는 positive task transfer를 보여줬지만, 모든 결과가 다 좋았던 건 아니다. 이는 adapter expert를 합칠 때 negative task transfer가 있다는 것을 의미한다.

 

 그래서 expert LM의 융합 능력에 대해 추가적으로 탐색하기 위해, 이전 연구들에 의해 효과적이라고 알려진 full LM fine-tuning으로 DE를 학습시키고 표 4의 마지막 행에 보이는 것처럼 이 둘을 합쳤다. Cos&Soc DE를 융합한 것이 개별 Cos DE와 Soc DE보다 아주 조금 나은 성능을 보여준다. 이는 두 expert를 융합하면 능력의 composition을 이끌어낸다는 것을 암시한다. 이는 새로운 가능성을 열기 위한 expert의 융합을 활용하는 것의 새로운 가능성을 열어주었다. 이는 5장의 instruction composition에 대해서 더 자세히 다루도록 하겠다.

 

전반적으로 표 4는 adapter와 융합한다고 해서 전체 파라미터와 병합하는 것처럼 항상 positive task transfer만 일어나는 것은 아니라는 것을 보여준다.

 

그림 3. 11개의 unseen 데이터셋에 대한 Expert LM의 평균 정확도 성능 & 다른 모델들 간의 비교

 

Analysis of Expert  그림 3은 11개의 unseen 데이터셋에 대한 PE와 DE의 모든 결과의 평균 정확도를 보여준다. 그림과 표로부터 다음의 3가지 분석을 강조하였다.

 

1. 8개의 training task 카테고리에서, MCQA(Multi-Choice Question Answering) training task가 일반적으로 가장 강력한 일반화 능력을 보여준다. 이는 MCQA의 모든 평가 데이터셋이 분류 task이고, instruction을 통한 QA의 형식을 필요로 하기 때문이다. 이러한 발견은 MCQA가 다른 형식의 QA task 뿐만 아니라 다른 유형의 task에도 잘 일반화 한다는 발견을 확장시켜준다.
2. 36개의 training 데이터셋 중 Cosmos-QA, Social-i-QA, Dream의 데이터셋은 PE와 DE 모두에 대해 일관적으로 높은 성능을 보장해준다. 이 셋은 commonsense reasoning 데이터셋인데 이는 unseen task에 대한 일반화에 중요하다고 고려된다.
3. T5 + SAM PE는 SAM-SUM에서 학습된 PE인데 8개의 unseen 생성 task에서 최고의 성능을 보여주지만, 11개의 unseen 분류 task에서 가장 낮은 성능을 보여줬다. 이는 주어진 타깃 task에 기반해서 알맞은 전문가를 역동적으로 찾는 것이 더욱 중요하다는 것을 암시한다. 

 

5. Benefits of Expert LMs over MT LMs

 이 섹션에서는 MT LM에 비해 expert LM의 RoE의 3가지 주된 이점을 강조하였다.

 

Seen Task Performance.  첫 번째로 expert LM이 negative task transfer에 덜 민감하다 라는 사실을 T5(3B) + PE w/ RoE의 성능과 T0-3B, R0-11B와 비교함으로써 보여준다(표 5). 이는 seen instruction으로 평가가 이루어지기 때문에 논문의 단순 검색 메커니즘은 Expert Library에서 가장 성능이 좋은 expert를 선택할 가능성이 높기 때문에 T5(3B) + PE W/ ROE (ORC.)와 비슷한 성능을 보여준다.

 

표 5. 8개의 카테고리로 카테고리화 되어 있는 36개 training task의 각 평가 데이터셋으로부터 300개의 샘플 instance에서의 평가 성능

 

표 6. Seen Avg: 36개 seen task의 평균 정확도 / Unseen Avg: 11개 unseen task의 평균 정확도 / Gen Avg: 8개 unseen 생성 task의 평균 점수

 

Continual Learning of New Tasks.  모델 사용 후에도 추가적으로 LM을 추가 데이터에서 fine-tune 하고 싶으면 fine-tuned LM을 continual learner로 만드는 것이 중요하다. 이는 기존 및 추가적 task에서 각 업데이트마다 instruction tuning을 수행하는 것은 많은 계산량을 필요로 하기 때문이다. 이전의 연구들은 이러한 문제를 완화하기 위해 rehearsal-based 모델을 통해 기존 및 추가 task의 샘플에서 instruction-tuned LM을 계속적으로 training하였다. 하지만 이 방법은 기존 데이터셋에 다시 접근해야 한다는 점과 추가적 계산 오버헤드를 만든다는 단점을 가지고 있다.

 

 논문에서는 위와 똑같은 위업을 expert의 분산 학습을 통해 각 추가 rask에 대한 개별 expert를 학습시키고 이들을 간단히 Expert Library에 추가함으로써  기존의 seen 데이터셋에 대한 접근 없이 달성할 수 있었다. 논문에서는 rehearsal 방식을 사용하는 CT0-3B와 분산 방식을 8개의 생성 task에서 비교하였다(표 6).

 

 표는 논문의 분산 방법이 seen task에 대한 성능 저하는 완전히 없었다. 이는 기존 데이터셋에 대한 접근 또는 많은 계산 비용에 대한 필요 없이 분산 방식은 기존의 능력을 얻을 뿐만 아니라 CT0-3B를 능가하는 성능을 보여줬다.

 

Compositional Instructions.  이전의 연구들은 compositional instruction을 수행해야 할 필요가 있음을 보여준다. 예를 들어 논문에서는 다음의 instruction을 LM에게 줄 수 있다: "다음 영어 text의 요약을 작성하고 이 문장을 한국어로 번역해라." 여기서 "다음 영어 text의 요약 작성"과 "문장을 한국어로 번역해라"의 두 개의 instruction으로 나누었다. 이 compositional 능력을 테스트하기 위해 특히 multi-lingual 세팅에서 mT0-3B를 활용하고 요약과 번역의 새로운 compositional task를 수행하는 것의 composition을 평가한다.

 

 5개 compositional task에서의 평가 결과가 표 7에 나타나 있다. 논문의 분산 방식인 mT5-3B + MER. Ex. 은 MT LM counterpart인 mT0-3B를 5개 task 중 4개에서 능가하였다.

 

표 7. compositional 능력의 비교

 

 

 

 

출처

https://arxiv.org/abs/2302.03202

Exploring the Benefits of Training Expert Language Models over Instruction Tuning