OPT: Open Pre-trained Transformer Language Models 논문 리뷰

The overview of this paper

 학습하는데 상당히 많은 compute가 필요한 LLM은 zero-shot & few-shot learning에서 눈에 띌만한 능력을 보여주고 있다. computational cost가 주어지면 상당한 자본 없이 이를 복제하는 것은 힘들다. 대부분의 모델에 대해 API가 공개되어 있지 않고 full model의 가중치에 대한 접근이 허락되어 있지 않기 때문에 연구를 진행하는 데에 어려움을 제공하고 있다. 논문에서는 연구자들에게 완전히 공개된 dcoder-only pre-trained Transformer인 Open Pre-trained Transformer(OPT)를 제안하였다. 논문에서는 OPT-175B가 GPT-3에 비해 오직 $\frac {1}{7}$의 탄소 발자국을 필요로 함에도 불가하고 비슷한 성능을 보여준다는 것을 밝혔다.

 

 

Table of Contents

1. Introduction

2. Method

3. Evaluations

4. Limitations

 

 

1. Introduction

 방대한 양의 text 모음에서 학습된 LLM은 강력한 성능을 보여주고 있다. 하지만 대중들은 이 LLM에 대해 지불된 API로 상호작용할 수 있고, 심지어는 full model에 대한 액세스는 자원이 많은 연구실에서만 가능하다. 이는 연구자들의 연구 능력을 제한시켜서 여러 LM의 문제를 해결하는데 문제가 발생하고 있다. 

 

 이 논문에서는 연구자에게 완전히 공개하고 공유하기 위한 125M 부터 175B까지의 파라미터를 가지는 decoder-only pre-trained transformer인 Open Pre-trained Transformer(OPT)를 공개하였다. 이 모델은 GPT3 클래스 모델의 성능과 사이즈와 거의 맞먹도록 학습시켰다. 물론 데이터 수집과 효율적 학습 면에서 최근의 가장 좋은 방법들을 적용하였지만 말이다. 논문에서 이러한 OPT 모델을 개발한 목표는 규모적으로 reproducible 하고 responsible 한 모델을 만들고, 이러한 LLM의 영향을 연구하는 많은 연구자들로부터 목소리를 모으고자 하였다. risk, harm, bias, toxicity의 정의는 research community로부터 정확하게 정의되어야 한다. 하지만 이를 위해서는 연구를 하기 위해 공개되어 있는 모델이 필요하다.

 

 논문에서는 125M ~ 66B개의 파라미터를 가지는 모델을 공개하였고, 요청에 따라 OPT-175B에 대한 full access를 제공한다. 그리고 모델 생성 로그북 뿐만 아니라 codebase인 metaseq도 공개하였다. OPT-175B는 GPT-3에 비해 $\frac {1}{7}$ 정도의 탄소발자국을 사용해서 구현이 가능하였다. 그렇다고 해도 아직 이러한 모델을 만드는데 필요한 에너지 비용은 사소하지 않다.

 

 논문에서는 전체 AI 커뮤니티가 함께 협력하여 일반적으로 responsible AI와 특히 responsible LLM에 대한 명확한 지침을 개발해야 한다고 생각하였다. 더 많은 AI 커뮤니티는 reproducible 연구를 수행하고 이 분야를 발전시키기 위해 AI 커뮤니티는 이러한 모델에 접근할 수 있어야 한다. 논문에서는 full access가 가능한 OPT를 공개함으로써 연구자들이 이를 사용하여 많은 연구들을 진행하고 그러면서 이러한 LLM 기술의 윤리적 문제를 정의하는 다양한 목소리들을 내주길 바라고 있다.

 

 

2. Method

2-1. Models

 

 논문에서는 125M에서 175B 까지의 8개의 Transformer LM에서 결과를 보여줬다. 아키텍처적 디테일은 다음의 표 1에 나타나 있다. 모델의 투명성과 학습 불안정성의 위험을 줄이기 위해 GPT-3의 파라미터를 대부분 따랐다. 그리고 향상된 계산 효율성을 얻기 위해 다양한 배치 사이즈를 활용하였다.

 

표 1. 모델 아키텍처 디테일

 

2-2. Pre-training Corpus

 

 pre-training corpus는 RoBERTa, the Pile, PushShift.io의 Reddit 데이터셋을 연결하여 사용되었다. 모든 corpora는 주로 영어 텍스트를 포함하도록 이전에 수집 또는 필터링되었지만 소량의 비영어 데이터가 CommonCrawl을 통해 말뭉치 내에 여전히 존재한다.

 

 논문에서는 MinihashLSH를 통해 복제된 문서를 필터링한다. 그 결과, the Pile은 완전히 복제되어 있다는 사실을 발견한다.

 

 그리고 모든 corpora는 GPT-2의 byte level BPE tokenizer를 사용하였다. 최종적으로 거의 180B 개의 토큰을 포함하는 corpus가 나온다.

 

 논문에서 pre-training corpus를 생성하기 위해 사용하는 데이터셋은 다음과 같다.

 

• RoBERTa: BookCorpus, Stories를 사용
• The Pile: the Pile의 서브셋 포함. the Pile에서는 몇 개의 데이터셋만 사용하는데, 이는 다른 데이터셋들은 학습의 불안정성을 가져온다는 것을 발견하였기 때문
• PushShift.io Reddit: PushShift.io의 서브셋 포함. conversational tree를 LM이 알아듣는 문서로 변환하기 위해 각 comment의 가장 긴 chain을 추출하고 tree의 다른 part들은 모두 제거하였다. 그 결과, corpus를 66% 정도 감소시킬 수 있었다.

 

2-3. Training Process

 

 여기에서는 OPT-175B pre-training 중에 발생하는 상당한 training 프로세스의 조정에 대해 설명하겠다.

 

Hardward Failures.  논문에서는 상당한 수의 하드웨어 오류를 직면하였다. 종합적으로 최소 35번의 수동 restart가 필요하고 100개 이상의 호스트에서 2달간 반복되었다. 그리고 추정 결과 hardward failure 때문에 70번 이상의 자동적 재시작을 하였다.

 

Loss Divergences.  논문의 training 실행 시에 Loss Divergence도 문제였다. loss가 갈라질 때 learning rate를 낮추고 이전 체크포인트로부터 다시 시작함으로써 training을 회복하고 계속하였다. 논문에서는 loss divergence, 동적 loss scalar가 0으로 충돌하는 것과 최종 레이어 스파이크의 활성화 함수의 $l^{2}$-norm 사이의 상관관계를 확인하였다. 이러한 관찰은 restart point를 동적 loss scalar 값이 아직 "healthy"한 상태($\geq 1.0$)에 있는 지점을 선택하였고, 그 후 활성화 norm은 무한히 증가하는 대신 하향 추세를 보일 것이다. OPT의 실험적 LR 스케줄은 그림 1에 나타나 있다. 학습 초기에 gradient clipping을 1.0에서 0.3으로 낮추는 것이 안정성에 도움이 된다. 이는 로그북을 보면 더욱 자세하게 확인할 수 있다. 그림 2는 training 반복에 따른 validation loss를 보여준다.

 

그림 1. 실험적 LR 스케줄. learning rate를 줄이는 것이 불안정성을 피하는데 도움이 됌

 

그림 2. Validation Perplexity. mid-flight LR 변화는 validation perplexity에 대한 명확한 영향을 가짐

 

Outer Mid-flight Changes.  논문에서는 loss divergence를 다루기 위해 mid-flight 변화를 몇 가지 수행한다.

 

• vanilla SGD로 스위치(최적화가 빠르게 수렴해서 다시 AdamW로 돌아옴)
• 동적 loss scalar을 reset(몇 개의 divergence에 대해서는 도움이 되지만 모든 divergence에 그런 것은 아님)
• 새로운 버전의 Megatron으로 스위치(activation norm에 대한 압박을 줄이고 처리량을 개선시킴)

 

3. Evaluation

3-1. Prompting & Few-Shot

 

 논문에서는 OPT를 16개의 기존 NLP task에서 평가를 진행하였다. 논문에서는 GPT-3의 prompt와 전반적인 experimental setup을 사용함으로써 GPT-3를 따랐다. 그리고 주로 GPT-3와 비교하였다.

 

Zero-shot.  모든 14개의 task에 대한 전반적인 평균 zero-shot 성능은 그림 3에서 볼 수 있다. 전반적으로 OPT의 평균 성능은 GPT03의 추세를 따르는 모양새를 취하였다. 하지만 task에 따라 성능은 다양화될 수 있다. 하지만 task에 따라 성능은 다양화될 수 있다. 그래서 논문에서는 의도적으로 MultiRC & WIC는 제거하였는데, 이 task에서 GPT-3 또는 OPT에 대해 불균형적으로 우호적이기 때문이다.

 

그림 3. Zero-shot NLP 평가 평균. 대부분의 task와 모델 사이즈에 대해 OPT는 거의 GPT-3와 비슷한 모습을 보여줌

 

 10개의 task에 대해서 GPT-3와 거의 일치하는 성능을 보여줬고, 3개의 task에 대해서는 떨어지는 모습을 보여줬다. 이때 GPT와 OPT는 scale에 따라 예상하지 못한 특성을 보여주기도 한다. 

 

 Chinchilla와 Gopher는 이들과 비슷한 사이즈의 다른 모델들과 거의 일관적인 모습을 보여주는 반면에, PaLM은 파라미터의 수를 조정해도 모든 세팅에서 더 나은 모습을 보여준다. 논문에서는 PaLM의 좋은 성능이 주로 높은 퀄리티와 다양한 pre-training data로부터 온다고 추측하였다.

 

One-shot & Few-shot.  평균 multi-shot in-context의 성능이 그림 4에 나타나 있다. 모든 metric 평균에 대해 OPT는 GPT-3와 유사한 성능을 보여준다. 하지만, zero-shot에서 비슷한 성능을 보여준 10개의 데이터셋에 대해 이번 경우에도 GPT-3와 유사한 성능을 보여주는 것을 알 수 있었다. 그렇지만 남은 데이터셋에서 OPT & GPT-3는 모델 사이즈에 따라 일관되지 않는 성능을 보여주는 것을 알 수 있었다.

 

그림 4. Multi-shot performance. OPT 모델의 one-shot & few-shot 성능은 GPT-3에 비해 뒤떨어지지만, 성능은 task크게 의존한다.

 

3-2. Dialogue

 

 논문에서는 추가적으로 OPT-175B를 여러 오픈 소스 dialogue 데이터셋에서 평가하였다. fine-tuned BlenderBot 1과 이것의 pre-training counterpart인 Reddit 2.7B를 포함한 기존의 오픈 소스 dialogue model와 비교하는 것에 중점을 두었다. 또한 fine-tuned R2C2 BlendorBot에 대해서도 비교하였다.

 

 그 결과는 표 2에 나타나 있다. 논문에서는 OPT-175B가 Unsupervised Reddit 2.7B를 모든 task에서 능가하고, fully Supervised BlendorBot 1과 비슷한 성능을 보여준다. OPT-175B는 가장 낮은 perplexity를 가지지만 아직 Wizard-of-Wikipedia supervision을 사용하는 모델보다 더 낮은 UF1을 가진다.

 

표 2. Dialogue Evaluations. unsupervised setting에서의 OPT-175B가 fully supervised model과 비슷한 성능을 보여줌

 

3-3. Bias & Toxicity Evaluations

 

 OPT-175B의 잠재적 위험을 이해하기 위해, 논문에서는 hate speech detection, stereotype awareness, toxic content generation에 관련된 일련의 벤치마크에서 평가하였다. 그리고 OPT를 주로 GPT-3 Davinci에 대해서 비교하였다. task에 대한 설명은 생략하고 실험 결과에 대해서 주로 살펴보겠다.

 

Hate Speech Detection.  결과는 표 3에 나타나 있다. one-shot & few-shot 구성에서 OPT-175B는 Davinci보다 상당히 나은 결과를 보여준다. 논문에서는 이러한 결과가 나온데 두 가지 이유가 있다고 본다.

 

1.  Davinci API는 safety control 메커니즘을 불러옴
2. pre-training 데이터셋에서 보통의 social media discussion의 상당한 존재는 이러한 classification task를 돕기 위한 추가적 inductive bias를 제공함

 

표 3. Hate Speech Detection. Davinci와 OPT-175B 간의 hate speech 감지의 F1 score. OPT-175B는 모든 세팅에서 Davinci를 상당히 능가

 

CrosS-Pairs.  9개의 카테고리에 대한 bias를 측정하기 위한 벤치마크이다. OPT-175B를 Davinci와 비교했을 때(표 4), 거의 대부분의 카테고리에서 OPT-175B는 더욱 고정관념적 bias를 보여줬다. 이는 training data의 차이 때문이라고 여겨진다. PushShift.io Reddit corpus는 다른 corpus에 비해 고정관념과 차별에 대한 높은 발생률을 가진다. 이 데이터가 OPT-175B의 주된 데이터 소스이기 때문에, OPT-175B는 더욱 차별적인 것들을 학습했을 수도 있다.

 

표 4. CrowS-Pairs evaluation. 모든 카테고리에 대해 낮은 값이 더욱 공정하다는 것을 나타냄. OPT-175B 모델은 대부분의 카테고리에서 Davinci보다 떨어지는 성능을 보여줌

 

StereoSet.  4개의 카테고리에 대해 고정관념적 bias를 측정하는 벤치마크이다. StereoSet은 다음의 2가지 metric을 포함한다: Langauge Modeling Score(LMS) & Stereotype Score(SS). 이 두 값은 Idealized Context Association Test(ICAT) score를 만들기 위해 묶여진다. 결과는 표 5에 나타나 있다. Davinci와 OPT-175B는 종합적으로 유사한 score를 보여준다. 그렇지만 OPT-175B는 SS metric에서 더 나은 결과를 보여주고, Davinci는 LMS metric에서 더 나은 결과를 보여준다.

 

표 5. Stereoset Evaluation. Davinci와 OPT-175B는 모든 evaluation에 대해 유사함

 

RealToxicityPrompts.  논문에서는 RealToxicityPrompt를 사용하여 OPT-175B가 비속어롤 사용하는 경향이 있는지 평가하였다. 결과는 그림 5에 나타나 있다. 전반적으로 OPT-175B는 PaLM과 Davinci보다 높은 toxicity 비율을 가진다. 그리고 3개의 모델 모두 toxicity prompt가 증가함에 따라 toxic한 문장을 생성하는 확률이 증가하는 것을 알 수 있었다. 

 

그림 5. RealToxicityPrompts. OPT-175B는 Davinci와 PaLM보다 toxic 응답을 생성할 확률이 높음.

 

Dialogue Safety Evaluations.  마지막으로 OPT-175B와 2개의 Dialogue Safety evaluation에서 비교하였다: Safer Dialogues & Safety Bench Unit Tests. 실험에 대한 결과는 다음의 표 6에 나타나 있다. OPT-175B는 두 task에서 Reddit 2.7B 모델과 유사한 성능을 보여주었다. 그리고 정돈된 dialogue 데이터셋에서 fine-tune 된 모델은 전반적으로 더 낮은 toxicity를 가졌다. 

 

표 6. Dialogue Responsible AI evaluations. OPT-175B는 Reddit 2.7B 보다 나은 성능으 ㄹ보여주미나, Unsafe 세팅에서는 떨어지는 모습을 보여줌

 

 

4. Limitations

 논문에서는 OPT-175B도 다른 LLM에서 보이는 똑같은 한계를 가진다는 것을 관찰하였다.

 

•  OPT-175B는 선언적 instruction과 빈칸 의문문에 대해 잘 작동하지 않는 문제를 가지고 있다. instruction을 실험하기 보다는 이러한 instruction으로 시작하는 대화의 시뮬레이션을 생성하는 경향을 가지고 있다. 
• OPT-175B는 또한 반복적인 경향을 보여주고 loop에 쉽게 갇히는 문제를 가지고 있다. 샘플링은 이런 반복적 특서의 발생률을 낮춰준다. 하나의 생성이 샘플링될 때 이것이 완전히 사라지는 것은 아니다. 
• 다른 LLM과 유사하게 OPT-175B는 사실적으로 잘못된 정보를 제공할 수 있다. 

 

 이전 섹션에서 봤던 것처럼, 논문에서는 OPT-175B가 비교적 악의 없는 prompt와 사소한 공격적 prompt가 발견될 때, 높은 경향으로 toxic language를 생성하고 해로운 고정관념을 강화한다는 것을 강화한다는 것을 발견하였다. downstream 응요에 의존해서 향후에 OPT-175B를 사용할 때, 완화 방식들을 사용하여 사용해야 할 필요가 있다. 

 

 

 

 

출처

https://arxiv.org/abs/2205.01068

OPT: Open Pre-trained Transformer Language Models