'Paper Reading 📜/Alignment Problem of LLM' 카테고리의 글 목록

Paper Reading 📜/Alignment Problem of LLM

Aligning Large Language Models through Synthetic Feedback 논문 리뷰

2023.05.30

The overview of this paper LLM을 human value로 align 하는 것은 LLM의 정교한 조종을 가능하게 해 주기 때문에 중요해졌다. 하지만 alignment는 상당한 양의 human demonstration과 피드백을 필요로 한다. 최근의 open-source model은 이미 align 된 InstructGPT와 ChatGPT 같은 LLM으로부터 데이터를 distill 함으로써 alignment learning 프로세스를 복제하였다. 이 프로세스는 사람의 노력을 줄여주지만, teacher model에 상당히 의존적이다. 이 논문에서는 사람의 노동이 거의 필요하지 않고 pre-aligned LLM에 의존하지 않는 새로운 프레임워크를 소개하였다. 이 프레임워크의 프로세스는 다..

Paper Reading 📜/Alignment Problem of LLM

ICIL: In-Context Instruction Learning 논문 리뷰

2023.05.28

The overview of this paper instruction learning은 instruction tuning과 RLHF를 포함하는 fune-tuning 문제로 접근되었다. 여기서 LLM은 다양한 task에서 instruction과 함께 다양한 task에서 fine-tune 되었다. in-context learning을 instruction learning에 적용한 것이 In-Context Instruction Learning(ICIL)이다. ICIL은 pre-trained & instruction-finetned 모델의 zero-shot task 일반화 성능을 상당히 개선시켰다. ICIL의 한 가지 핵심 장점은 모든 task를 평가하기 위해 여러 개의 cross-task를 연결한 하나의 고정..

Paper Reading 📜/Alignment Problem of LLM

LIMA: Less Is More for Alignment 논문 리뷰

2023.05.25

The overview of this paper LLM은 두 가지의 단계로 학습된다. general-purpose representation을 학습하기 위해, raw text로부터 unsupervised pre-training을 사용 end task와 사용자 선호를 align 하기 위해 대규모 instruction tuning & RL을 사용 이 두 가지 stage의 중요성을 측정하기 위해 어떠한 RL 또는 human preference modeling 없이 오직 1000개의 신중하게 선정된 prompt & response에서 기존 supervised loss를 사용해서 fine-tune 된 LLaMA-65B인 LIMA를 학습시켰다. LIMA는 복잡한 쿼리를 포함하는 training 데이터의 몇 가지 예..

Paper Reading 📜/Alignment Problem of LLM

Red Teaming Language Models with Language Models 논문 리뷰

2023.05.23

The overview of this paper LM은 종종 예상치 못한 방법으로 사용자에게 해를 가할 수도 있다. 이전의 연구들에서는 human annotator로부터 harmful의 특성을 정의하게 하는 방식을 사용하였다. 하지만, human annotator는 비용이 비싸고, test case의 다양성과 수에 제약이 걸린다는 단점이 있다. 이 논문에서는 다른 LM을 사용해서 "red teaming" test case를 정의함으로써 타깃 LM이 harmful way로 행동하는 케이스를 자동적으로 찾는 방법을 제안하였다. 그리고 공격적인 콘텐츠를 감지하도록 학습된 classifier를 사용하여 생성된 테스트 질문에 대한 대상 LM의 응답을 평가하고 280B LM 챗봇에서 수만 개의 공격적인 응답을 발견..

Paper Reading 📜/Alignment Problem of LLM

Training a helpful and harmless assistant with reinforcement learning from human feedback 논문 리뷰

2023.05.18

이번 논문 리뷰는 기존 방식과 다르게 powerpoint로 작성하였다. 논문의 간단한 개요는 다음과 같고, 논문에 대한 자세한 내용은 첨부된 powerpoint 파일을 확인하길 바란다. powerpoint의 메모와 슬라이드 노트에 설명을 적어뒀으니 참고하길 바란다. 이 포스팅은 다음의 유튜브를 참고하여 작성되었다. The overview of this paper 논문에서는 LM이 유용(helpful)하고 유해하지 않게(harmless)하게 작동하도록 preference modeling(PM)과 사람의 피드백으로부터 강화학습(RLHF)를 적용하여 fine-tune 되었다. 논문에서는 이러한 alignment training이 대부분의 NLP 평가에서 성능을 향상시키고, python 코딩 또는 요약과 같은 ..

Paper Reading 📜/Alignment Problem of LLM

Exploring the Benefits of Training Expert Language Models over Instruction Tuning 논문 리뷰

2023.05.15

The overview of this paper 최근에 multi-task prompted fine-tunig(MT)라고 알려져 있는 다양한 task에서 instruction-tune하는 LM은 unseen task에 대해 일반화하는 능력을 보여주고 있다. 이전의 연구에서는 강력한 MT LM을 만드는데는 학습 task의 수를 늘리는 것이 중요한 요소라고 밝혔었다. 하지만, 이 논문에서는 오직 하나의 task에서 학습된 expert LM이 300개 이상의 서로 다른 task에서 학습된 MT LM을 능가한다는 있다는 것을 보여줬다. 이 발견은 이전의 task의 수를 늘리면 강력해진다는 믿음에 의문을 제기하였다. 이 발견을 통해 논문에서는 단일 MT LM 대신 학습 task 당 별도의 expert LM을 학습..

Paper Reading 📜/Alignment Problem of LLM

Scaling Instruction-Finetuned Language Models 논문 리뷰

2023.05.12

The overview of this paper LM을 instruction으로 표현되어 있는 데이터셋 모음에서 fine-tune하는 것은 향상된 성능과 unseen task에 대한 일반화를 보여주고 있다. 이 논문에서는 instruction fine-tuning을 특별한 관점에서 들여다 보았다. task의 수 늘리기 모델 사이즈 늘리기 CoT 데이터에서 fine-tune 위의 측면을 사용한 instruction fine-tuning은 성능을 상당히 향상시키는 모습을 보여젔다. 전반적으로 instruction fine-tuning은 성능과 pre-trained LM의 가용성을 향상시키기 위한 일반적인 방법이다. Table of Contents 1. Introduction 2. Flan Finetuning..

Paper Reading 📜/Alignment Problem of LLM

Guess the Instruction! Flipped Learning Makes Language Models Stronger Zero-shot Learners 논문 리뷰

2023.05.11

The overview of this paper Meta-training은 task instruction과 입력 인스턴스가 주어지면 타깃 라벨의 가능성을 최대화함으로써 다양한 downstream task에서 LM을 fine-tune 한다. 이 training은 모델의 zero-shot task 일반화를 향상시킨다. 하지만, meta-trained LM도 meta-training 중에 본 적 없던 새로운 라벨을 포함하는 task에 대해서 일반화하는데 어려움을 겪고 있다. 이를 해결하기 위해서 이 논문에서는 Flipped Learning을 제안하였다. 이 방법은 기존의 meta-training과 반대로, 입력 인스턴스와 라벨이 주어지면 task instruction을 생성하도록 LM을 학습시킨다. Flipp..

Paper Reading 📜/Alignment Problem of LLM

Super-Natural Instructions: Generalization via Declarative Instructions on 1600+ NLP Tasks 논문 리뷰

2023.05.09

The overview of this paper 어떻게 NLP 모델들은 task instruction이 주어질 때 다양한 unseen task에 대해서 그렇게 잘 일반화할 수 있을까? 이 질문을 해결하기 위해 논문에서는 1,616개의 다양한 NLP task의 벤치마크와 이들의 전문가가 작성한 instruction을 포함하고 있는 Super-Natural Instructions를 소개하였다. 이 크고 다양한 task의 모음은 instruction 하에서 cross-task 일반화의 철저한 벤치마크를 보여주고 있다 - 모델이 task의 서브셋에서 instruction을 따르도록 학습시키고 남아 있는 unseen task에 대해서 평가하도록 하였다. 게다가 논문에서는 다양한 문맥 instruction을 따르도..

Paper Reading 📜/Alignment Problem of LLM

FLAN: Fine-tuned Language Models are Zero-shot Learners 논문 리뷰

2023.05.03

The overview of this paper 이 논문에서는 LM의 zero-shot 학습 능력을 향상시키기 위한 간단한 method를 제안하였다. 이 간단한 method는 instruction tuning으로 instruction을 통해 묘사된 데이터셋의 모음에서 LM을 fine-tune 하는데, unseen task에 대해 zero-shot 성능을 상당히 향상시킨다. 논문에서는 137B PLM을 사용해서 60개의 NLP 데이터셋에서 자연어 instruction template을 통해 instruction tune을 하였다. 이 instruction-tuned model을 FLAN이라 부르고 unseen task 유형에서 평가하였다. FLAN은 수정되지 않은 counterpart의 성능을 크게 상회하..

티스토리툴바