Cartinoe's paper review

Paper Reading 📜/Natural Language Processing

Why can GPT learn in-context? 논문 리뷰

2023.06.12

The overview of this paper 거대 PLM은 놀라운 in-context learning(ICL) 능력을 보여주고 있다. 하지만 이러한 놀라운 성능에도 불구하고 이들의 메커니즘은 아직 open question으로 남아있다. 그래서 이 논문에서는 LM을 meta-optimizer로 설명하고 in-context learning을 암묵적인 fine-tuning으로 이해한다. 논문에서는 이론적으로 attention은 다른 형태의 gradient descent라는 것을 알아냈다. 논문에서는 in-context learning을 다음과 같이 이해하였다. GPT가 demonstration example에 따라서 meta-gradient를 생성하고, 이 기울기는 ICL 모델 생성을 위해 기존의 GPT에..

Paper Reading 📜/Natural Language Processing

LMSI: Large Language Models can Self-Improve 논문 리뷰

2023.06.09

The overview of this paper LLM은 fine-tune 하는데 광범위한 supervision을 필요로 하는 반면에 사람은 외부적 입력 없이 self-thinking을 함으로써 추론 능력을 향상시킬 수 있다. 이 논문에서는 LLM도 오직 unlabeled dataset만을 사용하여 self-improve 할 수 있다는 것을 설명한다. 논문에서는 CoT prompting과 Self-Consistency를 사용해서 unlabeled question에 대한 'high-confidence' ratinoale-augmented answer를 생성하기 위해 PLM을 사용하고 이 self-generated solution을 이 self-generated solution을 타깃 output으로 해서 ..

Paper Reading 📜/Natural Language Processing

Tree of Thoughts: Deliberate Problem Solving with Large Language Models 논문 리뷰

2023.06.08

The overview of this paper LM들은 점점 광범위한 task에 적용되고 있는데 아직 token-level left-to-right decision-making 프로세스에 국한되어 있다. 이것은 탐구와 전략적인 방법을 필요로 하는 task에서는 모델이 한계를 겪거나 초기의 결정이 중심 역할을 수행할 수도 있다. 이를 해결하기 위해 LM 추론을 위한 새 프레임워크인 'Tree of Thoughts'(ToT)를 제안하였다. ToT는 CoT를 일반화하고 문제 해결에 대한 중간 스텝으로 여겨지는 일관성 있는 텍스트의 유닛에 대해 탐구를 가능하게 해 준다. ToT는 여러 서로 다른 reasoning path를 고려하고 다음 행동의 코스를 결정하기 위해 self-evaluating choice를 ..

Paper Reading 📜/Natural Language Processing

Instruction Tuning with GPT-4 논문 리뷰

2023.06.07

The overview of this paper 이전의 연구(Self-Instruct)에서는 human-written instruction 없이 machine-generated instruction만을 사용해서 LLM을 fine-tune 해서 새로운 task에 대해서 좋은 zero-shot 성능을 보여줬다. 이 논문에서는 GPT-4로 instruction data를 만들어서 LLM fine-tuning에 사용하고자 하였다. 또한 GPT-4로부터 피드백 & 비교 데이터 또한 수집해서 종합적인 평가와 reward model training을 가능하게 하고자 하였다. Table of Contents 1. Introduction 2. Dataset 3. Instruction-Tuning Language Mode..

Paper Reading 📜/Alignment Problem of LLM

Aligning Large Language Models through Synthetic Feedback 논문 리뷰

2023.05.30

The overview of this paper LLM을 human value로 align 하는 것은 LLM의 정교한 조종을 가능하게 해 주기 때문에 중요해졌다. 하지만 alignment는 상당한 양의 human demonstration과 피드백을 필요로 한다. 최근의 open-source model은 이미 align 된 InstructGPT와 ChatGPT 같은 LLM으로부터 데이터를 distill 함으로써 alignment learning 프로세스를 복제하였다. 이 프로세스는 사람의 노력을 줄여주지만, teacher model에 상당히 의존적이다. 이 논문에서는 사람의 노동이 거의 필요하지 않고 pre-aligned LLM에 의존하지 않는 새로운 프레임워크를 소개하였다. 이 프레임워크의 프로세스는 다..

Paper Reading 📜/Natural Language Processing

ChatGPT에 반복 메커니즘(LSTM)을 사용한다면? - RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text 논문 리뷰

2023.05.29

The overview of this paper Transformer의 고정 사이즈 context는 GPT가 long text를 만들 수 없게 만든다. 이 논문에서는 RNN의 반복 메커니즘의 언어 기반 복제인 RecurrentGPT를 소개한다. RecurrentGPT는 ChatGPT 같은 LLM에 기반해서 만들어지고 LSTM의 Long-Short Term Memory을 구동하기 위해 자연어를 사용하였다. 각 timestep에서 RecurrentGPT는 텍스트의 문단을 생성하고, 하드 드라이브와 prompt 각각에 저장되어 있는 언어 기반 Long-Short Term Memory를 업데이트한다. 이 반복 메커니즘은 RecurrentGPT가 forgetting 없이 임의의 길이의 긴 텍스트를 생성할 수 있도..

Paper Reading 📜/Alignment Problem of LLM

ICIL: In-Context Instruction Learning 논문 리뷰

2023.05.28

The overview of this paper instruction learning은 instruction tuning과 RLHF를 포함하는 fune-tuning 문제로 접근되었다. 여기서 LLM은 다양한 task에서 instruction과 함께 다양한 task에서 fine-tune 되었다. in-context learning을 instruction learning에 적용한 것이 In-Context Instruction Learning(ICIL)이다. ICIL은 pre-trained & instruction-finetned 모델의 zero-shot task 일반화 성능을 상당히 개선시켰다. ICIL의 한 가지 핵심 장점은 모든 task를 평가하기 위해 여러 개의 cross-task를 연결한 하나의 고정..

Paper Reading 📜/Natural Language Processing

LoRA: Low-Rank Adaptation of Large Language Models 논문 리뷰

2023.05.26

이번 논문 리뷰는 기존 방식과 다르게 powerpoint로 작성하였다. 논문의 간단한 개요는 다음과 같고, 논문에 대한 자세한 내용은 첨부된 powerpoint 파일을 확인하길 바란다. powerpoint의 메모와 슬라이드 노트에 설명을 적어뒀으니 참고하길 바란다. 이 포스팅은 다음의 유튜브를 참고하여 작성되었다. The overview of this paper NLP의 중요 패러다임은 general domain 데이터에서 대규모 pre-training을 하고 특정 task 또는 domain에 적용으로 구성되어 있다. larger model을 pre-train 하는 것처럼 모든 파라미터를 재학습하는 full fine-tuning은 실행 가능성이 떨어진다. 논문에서는 pre-trained model의 가중..

Paper Reading 📜/Alignment Problem of LLM

LIMA: Less Is More for Alignment 논문 리뷰

2023.05.25

The overview of this paper LLM은 두 가지의 단계로 학습된다. general-purpose representation을 학습하기 위해, raw text로부터 unsupervised pre-training을 사용 end task와 사용자 선호를 align 하기 위해 대규모 instruction tuning & RL을 사용 이 두 가지 stage의 중요성을 측정하기 위해 어떠한 RL 또는 human preference modeling 없이 오직 1000개의 신중하게 선정된 prompt & response에서 기존 supervised loss를 사용해서 fine-tune 된 LLaMA-65B인 LIMA를 학습시켰다. LIMA는 복잡한 쿼리를 포함하는 training 데이터의 몇 가지 예..

Paper Reading 📜/Natural Language Processing

OPT: Open Pre-trained Transformer Language Models 논문 리뷰

2023.05.24

The overview of this paper 학습하는데 상당히 많은 compute가 필요한 LLM은 zero-shot & few-shot learning에서 눈에 띌만한 능력을 보여주고 있다. computational cost가 주어지면 상당한 자본 없이 이를 복제하는 것은 힘들다. 대부분의 모델에 대해 API가 공개되어 있지 않고 full model의 가중치에 대한 접근이 허락되어 있지 않기 때문에 연구를 진행하는 데에 어려움을 제공하고 있다. 논문에서는 연구자들에게 완전히 공개된 dcoder-only pre-trained Transformer인 Open Pre-trained Transformer(OPT)를 제안하였다. 논문에서는 OPT-175B가 GPT-3에 비해 오직 $\frac {1}{7}$의..

전체 글

Why can GPT learn in-context? 논문 리뷰

LMSI: Large Language Models can Self-Improve 논문 리뷰

Tree of Thoughts: Deliberate Problem Solving with Large Language Models 논문 리뷰

Instruction Tuning with GPT-4 논문 리뷰

Aligning Large Language Models through Synthetic Feedback 논문 리뷰

ChatGPT에 반복 메커니즘(LSTM)을 사용한다면? - RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text 논문 리뷰

ICIL: In-Context Instruction Learning 논문 리뷰

LoRA: Low-Rank Adaptation of Large Language Models 논문 리뷰

LIMA: Less Is More for Alignment 논문 리뷰

OPT: Open Pre-trained Transformer Language Models 논문 리뷰

티스토리툴바