Cartinoe's paper review

Insight 😎

LM의 context window, 길어야 할까? 짧아야 할까? 📏🤨

2023.07.26

Newly spotlighted elements of LM ✨ LM은 시시각각 변화해가고 있다. 며칠 전에 새롭게 발표된 모델이 오늘에서는 그 면모가 낱낱이 파악되어 부족한 점들이나 단점들이 지적받고 있는 요즘이다. 😥 그만큼 LM은 그것이 파라미터든 데이터든 다방면으로 빠르게 변화해나가고 있는데, 이번 포스팅에서 다뤄보고자 하는 내용은 오랜 시간 동안 별로 건드려지지 않다가 최근에 여러 연구(Chen et al., 2023, Ding et al., 2023, Liu et al., 2023)를 통해 다시 각광받고 있는 내용인 LM의 context window에 대해서 얘기해보고자 한다! 😊 What is the 'context window'? 🤔 시작하기에 앞서서 이번 포스팅에서 중요하게 다뤄볼 내용인 ..

Insight 😎

Closed-source🔒? Open-source🔓? 그게 뭔데?? 🤨🤔

2023.07.25

Starting from ChatGPT 🤖 which is closed-source 작년 12월, 즉 2022년 12월에 전 세계의 사람들에게 적잖이 신선한 충격을 준 사건이 발생하였다. 바로 그 유명한 'ChatGPT'의 발표다! OpenAI에서 발표한 이 거대 언어 모델(Large Language Model, LLM)은 지금까지와는 차원이 다른 엄청난 성능을 보여주면서 사람들의 사회 및 삶에 전반적으로 스며들어가기 시작했다. 하지만, 이 완벽해 보이는 ChatGPT도 여러 가지 단점을 가지고 있는데, 그중에서 이번 포스팅에서 다뤄보고자 하는 내용은 바로 'Closed-source' model이라는 점이다. 🚫 closed-source가 무엇일까? 이 용어를 처음 듣게 된다면 다소 생소할텐데, clos..

Insight 😎

How has scaling law developed in NLP? 🤔 - NLP에서 scaling law는 어떻게 발전되었을까?

2023.07.24

Before Starting.. 2017년 NLP를 포함한 지금까지의 딥러닝의 판도를 뒤집어엎는 혁신적인 모델인 'Transformer'가 제안되었다. 이번 포스팅에서 다뤄볼 내용은 Transformer에 대한 자세한 내용이 아니기에 따로 깊이 알아보지는 않겠지만, 이번 포스팅을 이해하기 위해서는 이 모델의 사이즈에 대해서는 알아둘 필요가 있다. Transformer의 사이즈는 465M 개의 파라미터를 가지는 모델이었다. 하지만, 불과 3년 만에 이 사이즈가 정말 작게 느껴지게 할 만큼 큰 사이즈의 모델인 GPT-3(175B)가 나오게 되었다. 그리고 현재까지도 이보다 더 큰 모델들은 계속 나오고 있다. LM의 사이즈가 이렇게 점점 커지게 된 이유는 무엇일까? 그 이유는 Kaplan et al. 2020..

Paper Reading 📜/Natural Language Processing

CoT Collection: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-tuning 논문 리뷰

2023.07.20

The overview of this paper 어떻게

Paper Reading 📜/Natural Language Processing

SelFee: Iterative Self-Revising LLM Empowered by Self-Feedback Generation 리뷰

2023.06.30

Introduction SelFee SelFee는 KAIST의 LK Lab에서 만든 새로운 instruction-following LM으로 응답에서 self-feedback을 생성하고 피드백에 기반해서 self-revise 하는 모델이다. ChatGPT에 의해 생성된 self-feedback과 revision data를 포함하는 178K 개의 training instance를 사용해서 LLaMA model(7B & 13B)을 fine-tune 하였다. SelFee의 작동 예시 Vicuna Evaluation에서 두 SelFee(7B & 13B) 모델은 LLaMA, Alpaca, Vicuna, Guanaco를 능가하고 ChatGPT와 비슷한 성능을 보여줬다. SelFee는 특히 high-quality te..

Paper Reading 📜/Natural Language Processing

Self-Refine: Iterative Refinement with Self-Feedback 논문 리뷰

2023.06.29

The overview of this paper 이 논문에서는 Self-Refine을 소개하였다. Self-Refine은 반복적인 피드백과 개선을 통해 LLM의 초기 output을 개선시키기 위한 방법이다. Self-Refine의 주된 아이디어는 LLM을 사용해 초기 output을 생성하고, 그다음에 똑같은 LLM이 output에 대해 피드백을 제공하고 이 피드백을 사용해 반복적으로 자기 자신을 개선해 나가는 것이다. 한 마디로 Self-Refine은 하나의 LLM을 generator, refiner, feedback provider로 사용하는 것이다. Self-Refine은 모든 평가된 task에서 Self-Refine으로 생성된 output은 기존의 똑같은 LLM으로 생성된 output보다 human..

Paper Reading 📜/Natural Language Processing

Reflexion: Language Agents with Verbal Reinforcement Learning 논문 리뷰

2023.06.28

The overview of this paper 이 논문에서는 가중치를 업데이트하지 않고 대신에 언어적 피드백을 통해 language agent를 강화하기 위한 새로운 프레임워크인 Reflexion을 소개하였다. 구체적으로, Reflexion agent는 task 피드백 신호에 대해 언어로 나타내고, 그다음에 이후의 시도에 더 나은 의사 결정을 유발하기 위해 메모리 버퍼에 이들만의 reflective text를 유지한다. Reflexion은 다양한 타입과 소스의 피드백 신호를 포함할 수 있을 정도로 충분히 유연하고, 다양한 task에 걸쳐서 baseline agent에 비해서 상당한 개선을 얻었다. Table of Contents 1. Introduction 2. Reflexion: reinforceme..

Paper Reading 📜/Natural Language Processing

GPT-4도 잘 못한 API 호출을 한다고?!? - Gorilla🦍: Large Language Model Connected with Massive APIs 논문 리뷰

2023.06.27

The overview of this paper LLM은 최근에 엄청 발전했으나, 이들의 API 호출을 통한 효과적인 툴 사용에 대한 잠재성은 만족되지 않은 채 남아있다. 이 논문에서는 API 호출 작성에서 GPT-4의 성능을 능가하는 fine-tuned LLaMA-based model인 Gorilla🦍를 소개하였다. Gorilla는 document retriever와 함께 사용될 때, test-time 문서 변화에 적응하기 위한 강력한 능력을 보여주고, 유연한 사용자 업데이트 또는 버전 변화를 가능하게 해 주었다. 이것은 LLM을 direct 하게 prompting 할 때 일반적으로 맞닥뜨리는 hallucination의 문제점을 상당히 완화하였다. 또한 논문에서는 Gorilla의 능력을 평가하기 위해 ..

Paper Reading 📜/Natural Language Processing

Open-domain instruction의 효과 🪄 - WizardLM: Empowering Large Language Models to Follow Complex Instructions 논문 리뷰

2023.06.26

The overview of this paper open-domain instruction과 함께 LLM을 학습시키는 것은 상당한 성공을 가져왔다. 이 논문에서는 사람 대신에 LLM을 사용해서 다양한 레벨의 복잡도를 가지는 많은 양의 instruction data를 생성하기 위한 방안을 보여준다. 초기 instruction set와 함께 시작해서, 이 instruction set를 Evol-instruct를 사용해서 더욱 복잡한 instruction으로 step-by-step 작성하였다. 그다음에, 모든 생성된 instruction 데이터를 LLaMA를 fine-tune 하기 위해 섞었다. 이렇게 해서 나온 모델이 바로 WizardLM이다. Human Evaluation & Vicuna Evaluatio..

Paper Reading 📜/Natural Language Processing

필요한 건 오직 교과서 수준의 데이터뿐!! 📖 - phi-1: Textbooks Are All You Need 논문 리뷰

2023.06.25

The overview of this paper 논문에서는 다른 모델보다 훨씬 작고 code를 위한 LLM인 phi-1을 소개하였다. phi-1은 1.3B Transformer model이고, 웹으로부터 textbook 퀄리티 데이터의 선택적 모음과 종합적으로 생성된 textbook을 사용하고, GPT-3.5로 훈련되었다. phi-1은 작은 규모에도 불구하고 높은 pass@1 accuracy를 달성하였다. Table of Contents 1. Introduction 2. Training details and the importance of high-quality data 3. Spikes of model capability after finetuning on CodeExercises 4. Evaluati..

전체 글

LM의 context window, 길어야 할까? 짧아야 할까? 📏🤨

Closed-source🔒? Open-source🔓? 그게 뭔데?? 🤨🤔

How has scaling law developed in NLP? 🤔 - NLP에서 scaling law는 어떻게 발전되었을까?

CoT Collection: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-tuning 논문 리뷰

SelFee: Iterative Self-Revising LLM Empowered by Self-Feedback Generation 리뷰

Self-Refine: Iterative Refinement with Self-Feedback 논문 리뷰

Reflexion: Language Agents with Verbal Reinforcement Learning 논문 리뷰

GPT-4도 잘 못한 API 호출을 한다고?!? - Gorilla🦍: Large Language Model Connected with Massive APIs 논문 리뷰

Open-domain instruction의 효과 🪄 - WizardLM: Empowering Large Language Models to Follow Complex Instructions 논문 리뷰

필요한 건 오직 교과서 수준의 데이터뿐!! 📖 - phi-1: Textbooks Are All You Need 논문 리뷰

티스토리툴바