'Paper Reading 📜' 카테고리의 글 목록 (2 Page)

Paper Reading 📜/Natural Language Processing

KD에 살짝의 변화를 줘보자!! 😜 - Knowledge Distillation of Large Language Models 논문 리뷰

2023.06.22

The overview of this paper 이전의 KD는 주로 black-box model API를 모방하기 위해 white-box 분류 모델 또는 small model을 학습시키는데 적용된다. white-box 생성 LLM으로부터 어떻게 효과적으로 distill 하는지는 아직 under-explore 되어 있다. 이 논문에서는 forward KLD를 reverse KLD로 대체함으로써 생성적 larger LM으로부터 smaller LM을 distill 하는 MiniLLM을 소개하였다. 이것은 student model이 teacher 분포의 low-probability 영역을 과도하게 평가하는 것으로부터 모델을 보호하기 때문에 생성적 LM에 더욱 적합한 LM이다. MiniLLM은 전반적으로 높은 퀄..

Paper Reading 📜/Natural Language Processing

Let's verify step-by-step 논문 리뷰

2023.06.20

The overview of this paper 최근 몇 년 동안 LLM은 복잡한 multi-step 추론을 수행하기 위한 능력이 상당히 개선되었다. 하지만, SoTA 모델은 아직 논리적 오류를 만들어 내기도 한다. 더욱 신뢰도 있는 모델을 학습시키기 위해 최종 결과에 대해 피드백을 제공하는 outcome supervision으로 전환될 수 있다. 논문의 실험을 통해 어려운 MATH 데이터셋의 문제를 해결하기 위해 process supervision이 outcome supervision을 상당히 능가하는 모습을 보여줬다. 또한 active learning이 process supervision의 효험을 상당히 개선시킨다는 것을 보여준다. 그리고 80만 개의 step-level human feedback 라..

Paper Reading 📜/Natural Language Processing

중요한 건 꺾이지 않는 high-quality data!! - Koala🐨: A Dialogue Model for Academic Research 리뷰

2023.06.19

Koala Overview Koala를 소개하는 포스트에서는 웹으로부터 수집된 대화 데이터에서 Meta의 LLaMA를 fine-tuning 함으로써 학습된 챗봇인 Koala를 소개하였다. 데이터셋 curation과 training process를 설명하고 Koala와 ChatGPT, Alpaca와 비교하는 사용자 연구의 결과 또한 보여줬다. Koala의 결과는 Koala가 다양한 사용자 쿼리에 효과적으로 응답할 수 있고, 응답 생성도 Alpaca보다 더 선호되었고, 절반이 넘는 경우에 최소한 ChatGPT와 타이를 이루는 모습을 보여줬다. 이러한 결과는 충분히 작은 모델도 신중하게 모여진 데이터에서 학습되면 이 모델들의 큰 cousin 모델의 성능을 많이 캡처할 수 있다는 것을 제안한다. 이것은 커뮤니티..

Paper Reading 📜/Natural Language Processing

Vicuna🐪: An Open-Source Chatbot Impressing GPT-4 리뷰

2023.06.17

The overview of 'Vicuna' Vicuna 13B는 ShareGPT로부터 수집된 user-shared 대화에서 fine-tuned LLaMA에서 학습된 open-source 챗봇이다. GPT-4를 평가자로 사용한 사전 평가는 Vicuna-13B가 OpenAI ChatGPT와 Google Bard의 90%에 해당하는 퀄리티를 달성하는 반면 LLaMA와 Alpaca보다 90%의 경우에 더 나은 모습을 보여줬다. Vicuna-13B의 학습 비용은 300$ 정도이다. 그리고 Vicuna의 코드와 가중치는 비상업적 사용에 한해서 공개되었다. How Good Is Vicuna? 70K user-shared ChatGPT 대화를 사용하여 Vicuna를 fine-tuning 한 후에, Vicuna는 Al..

Paper Reading 📜/Natural Language Processing

imitation이 좋은 학습 방법일까? 🤔: The False Promise of Imitating Proprietary LLMs 논문 리뷰

2023.06.16

The overview of this paper weaker LM을 개선시키기 위한 값싼 method는 stronger model의 output에서 weaker LM을 fine-tune 하는 것이다. 이러한 접근법은 weaker open-source 모델을 사용하여 상업적 모델의 능력을 값싸게 흉내 내는 방식처럼 보인다. 이 논문에서는 이 접근법에 대해 분석하였다. 이를 위해 다양한 규모의 모델 사이즈, 데이터 소스, 모방 데이터의 양을 사용해서 ChatGPT를 모방하는 LM의 시리즈를 fine-tune 하였다. 그리고 이 모델을 crwodworker & NLP 벤치마크에서 모델을 평가하였다. 초기에 논문에서는 모방 모델의 출력 퀄리티에 대해 놀랐다! 왜냐하면 모방 모델이 출력이 instruction을 ..

Paper Reading 📜/Natural Language Processing

Open LLM Leaderboard를 휩쓴 Falcon🦅 LLM: Falcon & RefinedWeb

2023.06.14

최근 Hugging Face의 Open LLM Leaderboard를 둘러보던 중 새로운 모델이 리더보드의 1등에 위치해 있는 것을 보고 '어떤 모델이지?'라는 궁금증이 생겨서 이렇게 포스팅을 작성해 본다. 새롭게 1등을 차지한 모델은 바로 TII에서 개발한 Falcon🦅 이라는 모델이다. Falcon은 총 4가지 버전의 모델이 존재하는데, 7B & 40B 사이즈의 모델과 각 사이즈에서 그냥 base 버전과 instruct-tuned 버전까지 해서 4개이다. 그중에 40B 사이즈의 instruct-tuned 버전인 'falcon-40b-instruct'가 Leaderboard에서 1등을 차지하였다. 이번 포스팅에서는 이러한 Falcon 모델에 대해 알아보고 Falcon을 만드는 데 큰 기여를 했던 데이터..

Paper Reading 📜/Natural Language Processing

🐲Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data 논문 리뷰

2023.06.13

The overview of this paper ChatGPT 같은 chat 모델들은 인상적인 능력을 보여주면서 빠르게 여러 도메인에 적용되어 나가고 있다. 하지만, 제한된 API 때문에 새로운 연구에 장애물을 만들고 있다. 논문에서는 ChatGPT를 대화에 참여시키게 활용함으로써 자동적으로 high-quality multi-turn chat corpus를 생성할 수 있는 파이프라인을 제안하였다. 그다음에 이 데이터들을 parameter-efficient tuning으로 LLaMA를 향상하기 위해 사용하였다. 그 결과 탄생한 모델이 Baize이고, 이 모델은 가드레일이 있는 multi-turn dialogue 세팅에서 좋은 성능을 보여준다. 게다가, ChatGPT의 피드백을 사용하여 Baize 모델의 성..

Paper Reading 📜/Natural Language Processing

Sparks of Artificial General Intelligence: Early experiments with GPT-4 논문 리뷰

2023.06.12

실제 Sparks of AGI: with GPT-4 논문은 155페이지에 육박할 정도로 엄청난 양의 실험을 진행해 보며 GPT-4를 다방면으로 활용해 보지만, 본 포스팅에서는 그 많은 내용을 다루기에는 힘이 벅차서 중요 부분들만 따로 살펴보았다. 이 포스팅은 다음의 유튜브를 참고하여 작성되었다. 유튜브: https://www.youtube.com/watch?v=Mqg3aTGNxZ0 The overview of this paper AI 연구자들은 다양한 도메인과 task에서 괄목할 만한 능력을 보여주는 LLM을 개발하고 개선시키고 있다. OpenAI에서 개발한 GPT-4는 전례 없는 규모의 계산량과 데이터를 사용해서 학습되었다. 이 논문에서는 GPT-4가 이전 AI 모델보다 더 일반적인 지능을 나타내는 새..

Paper Reading 📜/Natural Language Processing

Why can GPT learn in-context? 논문 리뷰

2023.06.12

The overview of this paper 거대 PLM은 놀라운 in-context learning(ICL) 능력을 보여주고 있다. 하지만 이러한 놀라운 성능에도 불구하고 이들의 메커니즘은 아직 open question으로 남아있다. 그래서 이 논문에서는 LM을 meta-optimizer로 설명하고 in-context learning을 암묵적인 fine-tuning으로 이해한다. 논문에서는 이론적으로 attention은 다른 형태의 gradient descent라는 것을 알아냈다. 논문에서는 in-context learning을 다음과 같이 이해하였다. GPT가 demonstration example에 따라서 meta-gradient를 생성하고, 이 기울기는 ICL 모델 생성을 위해 기존의 GPT에..

Paper Reading 📜/Natural Language Processing

LMSI: Large Language Models can Self-Improve 논문 리뷰

2023.06.09

The overview of this paper LLM은 fine-tune 하는데 광범위한 supervision을 필요로 하는 반면에 사람은 외부적 입력 없이 self-thinking을 함으로써 추론 능력을 향상시킬 수 있다. 이 논문에서는 LLM도 오직 unlabeled dataset만을 사용하여 self-improve 할 수 있다는 것을 설명한다. 논문에서는 CoT prompting과 Self-Consistency를 사용해서 unlabeled question에 대한 'high-confidence' ratinoale-augmented answer를 생성하기 위해 PLM을 사용하고 이 self-generated solution을 이 self-generated solution을 타깃 output으로 해서 ..

내 블로그 - 관리자 홈 전환	`Q` `Q`
새 글 쓰기	`W` `W`

글 수정 (권한 있는 경우)	`E` `E`
댓글 영역으로 이동	`C` `C`

이 페이지의 URL 복사	`S` `S`
맨 위로 이동	`T` `T`
티스토리 홈 이동	`H` `H`
단축키 안내	`Shift` + `/` `⇧` + `/`

Paper Reading 📜

KD에 살짝의 변화를 줘보자!! 😜 - Knowledge Distillation of Large Language Models 논문 리뷰

Let's verify step-by-step 논문 리뷰

중요한 건 꺾이지 않는 high-quality data!! - Koala🐨: A Dialogue Model for Academic Research 리뷰

Vicuna🐪: An Open-Source Chatbot Impressing GPT-4 리뷰

imitation이 좋은 학습 방법일까? 🤔: The False Promise of Imitating Proprietary LLMs 논문 리뷰

Open LLM Leaderboard를 휩쓴 Falcon🦅 LLM: Falcon & RefinedWeb

🐲Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data 논문 리뷰

Sparks of Artificial General Intelligence: Early experiments with GPT-4 논문 리뷰

Why can GPT learn in-context? 논문 리뷰

LMSI: Large Language Models can Self-Improve 논문 리뷰

티스토리툴바

개인정보

단축키

내 블로그

블로그 게시글

모든 영역