'Paper Reading 📜/Natural Language Processing' 카테고리의 글 목록

Paper Reading 📜/Natural Language Processing

Llama의 새로운 대항마, Mistral LM! 😮

2023.10.02

The preview of Llama3..? 최근에 HuggingFace를 보다가 알게 된 모델이 하나 있다. 바로 LLM 시장을 뜨겁게 달군 모델인 Mistral LM이다! 혜성처럼 Open-source LLM 계에 나타난 Mistral 7B는 그 등장만으로도 Open-source LLM계를 뜨겁게 달구었다. 그렇다면 Mistral 7B는 무엇을 어떻게 했길래 모두의 이목을 집중시킬 수 있었던 것일까? 그것은 Mistral 7B가 이뤄낸 업적을 살펴보면 알 수 있다: 모든 벤치마크에서 Llama2 13B를 능가 많은 벤치마크에서 Llama1 34B를 능가(비교 대상이 Llama2가 아니라 Llama1이었던 이유는 Llama2의 34B 모델이 공개되었지 않기 때문) 코드 관련 벤치마크에서 CodeLlam..

Paper Reading 📜/Natural Language Processing

CoT Collection: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-tuning 논문 리뷰

2023.07.20

The overview of this paper 어떻게

Paper Reading 📜/Natural Language Processing

SelFee: Iterative Self-Revising LLM Empowered by Self-Feedback Generation 리뷰

2023.06.30

Introduction SelFee SelFee는 KAIST의 LK Lab에서 만든 새로운 instruction-following LM으로 응답에서 self-feedback을 생성하고 피드백에 기반해서 self-revise 하는 모델이다. ChatGPT에 의해 생성된 self-feedback과 revision data를 포함하는 178K 개의 training instance를 사용해서 LLaMA model(7B & 13B)을 fine-tune 하였다. SelFee의 작동 예시 Vicuna Evaluation에서 두 SelFee(7B & 13B) 모델은 LLaMA, Alpaca, Vicuna, Guanaco를 능가하고 ChatGPT와 비슷한 성능을 보여줬다. SelFee는 특히 high-quality te..

Paper Reading 📜/Natural Language Processing

Self-Refine: Iterative Refinement with Self-Feedback 논문 리뷰

2023.06.29

The overview of this paper 이 논문에서는 Self-Refine을 소개하였다. Self-Refine은 반복적인 피드백과 개선을 통해 LLM의 초기 output을 개선시키기 위한 방법이다. Self-Refine의 주된 아이디어는 LLM을 사용해 초기 output을 생성하고, 그다음에 똑같은 LLM이 output에 대해 피드백을 제공하고 이 피드백을 사용해 반복적으로 자기 자신을 개선해 나가는 것이다. 한 마디로 Self-Refine은 하나의 LLM을 generator, refiner, feedback provider로 사용하는 것이다. Self-Refine은 모든 평가된 task에서 Self-Refine으로 생성된 output은 기존의 똑같은 LLM으로 생성된 output보다 human..

Paper Reading 📜/Natural Language Processing

Reflexion: Language Agents with Verbal Reinforcement Learning 논문 리뷰

2023.06.28

The overview of this paper 이 논문에서는 가중치를 업데이트하지 않고 대신에 언어적 피드백을 통해 language agent를 강화하기 위한 새로운 프레임워크인 Reflexion을 소개하였다. 구체적으로, Reflexion agent는 task 피드백 신호에 대해 언어로 나타내고, 그다음에 이후의 시도에 더 나은 의사 결정을 유발하기 위해 메모리 버퍼에 이들만의 reflective text를 유지한다. Reflexion은 다양한 타입과 소스의 피드백 신호를 포함할 수 있을 정도로 충분히 유연하고, 다양한 task에 걸쳐서 baseline agent에 비해서 상당한 개선을 얻었다. Table of Contents 1. Introduction 2. Reflexion: reinforceme..

Paper Reading 📜/Natural Language Processing

GPT-4도 잘 못한 API 호출을 한다고?!? - Gorilla🦍: Large Language Model Connected with Massive APIs 논문 리뷰

2023.06.27

The overview of this paper LLM은 최근에 엄청 발전했으나, 이들의 API 호출을 통한 효과적인 툴 사용에 대한 잠재성은 만족되지 않은 채 남아있다. 이 논문에서는 API 호출 작성에서 GPT-4의 성능을 능가하는 fine-tuned LLaMA-based model인 Gorilla🦍를 소개하였다. Gorilla는 document retriever와 함께 사용될 때, test-time 문서 변화에 적응하기 위한 강력한 능력을 보여주고, 유연한 사용자 업데이트 또는 버전 변화를 가능하게 해 주었다. 이것은 LLM을 direct 하게 prompting 할 때 일반적으로 맞닥뜨리는 hallucination의 문제점을 상당히 완화하였다. 또한 논문에서는 Gorilla의 능력을 평가하기 위해 ..

Paper Reading 📜/Natural Language Processing

Open-domain instruction의 효과 🪄 - WizardLM: Empowering Large Language Models to Follow Complex Instructions 논문 리뷰

2023.06.26

The overview of this paper open-domain instruction과 함께 LLM을 학습시키는 것은 상당한 성공을 가져왔다. 이 논문에서는 사람 대신에 LLM을 사용해서 다양한 레벨의 복잡도를 가지는 많은 양의 instruction data를 생성하기 위한 방안을 보여준다. 초기 instruction set와 함께 시작해서, 이 instruction set를 Evol-instruct를 사용해서 더욱 복잡한 instruction으로 step-by-step 작성하였다. 그다음에, 모든 생성된 instruction 데이터를 LLaMA를 fine-tune 하기 위해 섞었다. 이렇게 해서 나온 모델이 바로 WizardLM이다. Human Evaluation & Vicuna Evaluatio..

Paper Reading 📜/Natural Language Processing

필요한 건 오직 교과서 수준의 데이터뿐!! 📖 - phi-1: Textbooks Are All You Need 논문 리뷰

2023.06.25

The overview of this paper 논문에서는 다른 모델보다 훨씬 작고 code를 위한 LLM인 phi-1을 소개하였다. phi-1은 1.3B Transformer model이고, 웹으로부터 textbook 퀄리티 데이터의 선택적 모음과 종합적으로 생성된 textbook을 사용하고, GPT-3.5로 훈련되었다. phi-1은 작은 규모에도 불구하고 높은 pass@1 accuracy를 달성하였다. Table of Contents 1. Introduction 2. Training details and the importance of high-quality data 3. Spikes of model capability after finetuning on CodeExercises 4. Evaluati..

Paper Reading 📜/Natural Language Processing

LM이 도구를 사용하게 된다면? 🔬: Large Language Models as Tool Makers 논문 리뷰

2023.06.24

The overview of this paper 최근의 연구는 LLM의 문제 해결 능력 향상의 잠재성을 보여줬다. 하지만, 이전 연구들은 기존 툴의 가용성에 상당히 의존한다. 이 논문에서는 이러한 의존성을 제거하기 위해 closed-loop 프레임워크인 LLM As Tool Makers(LATM)을 제안하였다. LATM에서 LLM은 문제 해결을 위한 자신만의 재사용 가능한 툴을 생성한다. LATM은 2개의 메인 페이즈로 구성되어 있다: tool making & tool using. tool making은 LLM이 서로 다른 요청에 적용될 수 있는 tool을 계속적으로 생성할 수 있게 해 줘서 향후 요청은 task를 해결할 때 우익하다고 생각될 때 해당 APT를 불러올 수 있게 해 준다. 이렇게 해서 이 ..

Paper Reading 📜/Natural Language Processing

🐬Orca: Progressive Learning from Complex Explanation Traces of GPT-4 논문 리뷰

2023.06.23

The overview of this paper 최근의 연구들은 smaller model의 역량을 향상시키기 위해 imitation learning을 통해 large foundation models(LFM)에 의해 생성된 output과 함께 향상시키고자 하였다. 하지만 여기에는 여러 가지 문제점들이 존재한다. 이러한 문제를 해결하기 위해 Orca를 소개하였다. Orca는 LFM의 추론 프로세스를 모방하기 위해 학습하는 13B 모델이다. Orca는 explanation trace(step-by-step process)를 포함하는 GPT-4 로부터 풍부한 시그널을 학습하고, ChatGPT teacher assistant에 의해 지도되는 다른 복잡한 instruction에서 학습되었다. 이러한 progress..

티스토리툴바