Cartinoe's paper review

Insight 😎

Noise makes LLM better! - NEFTune 😉

2023.10.18

What is the big difference of NLP compared to CV? 😮 이 포스팅의 제목부터 해서 의아한 부분이 한두 가지가 아닐 것이다. 갑자기 뒤돌아봐야 한다느니 CV와 NLP의 가장 큰 차이점이 무엇인지에 대해 묻지를 않나. 하지만 이번 포스팅에서 말하고자 하는 내용을 위해서는 이 차이점을 되짚어보아야 할 필요가 있다! 그렇다면 먼저 독자분들께 질문해 보도록 하겠다. NLP과 CV의 가장 큰 차이점은 무엇일까? 아마도 이렇게 추상적으로 질문한다면 다음과 같은 답변들이 나올 것이라 생각한다. 😁 사용되는 데이터가 다름. (text & image) 사용되는 모델들의 차이 학습 방식의 차이 물론 위와 같은 답변들도 맞지만, 필자가 본 포스팅에서 말하고자 하는 두 연구계의 가장 큰 차..

Paper Reading 📜/Natural Language Processing

Llama의 새로운 대항마, Mistral LM! 😮

2023.10.02

The preview of Llama3..? 최근에 HuggingFace를 보다가 알게 된 모델이 하나 있다. 바로 LLM 시장을 뜨겁게 달군 모델인 Mistral LM이다! 혜성처럼 Open-source LLM 계에 나타난 Mistral 7B는 그 등장만으로도 Open-source LLM계를 뜨겁게 달구었다. 그렇다면 Mistral 7B는 무엇을 어떻게 했길래 모두의 이목을 집중시킬 수 있었던 것일까? 그것은 Mistral 7B가 이뤄낸 업적을 살펴보면 알 수 있다: 모든 벤치마크에서 Llama2 13B를 능가 많은 벤치마크에서 Llama1 34B를 능가(비교 대상이 Llama2가 아니라 Llama1이었던 이유는 Llama2의 34B 모델이 공개되었지 않기 때문) 코드 관련 벤치마크에서 CodeLlam..

Research & Project 🔬

어떻게 Quantization을 진행하는 것이 효과적일까? 🤔

2023.09.18

Which quantization method is efficient & effective? 🧐 날이 지나면 지날수록 점점 사이즈가 커져가는 LLM의 판도에서 이들을 손쉽게 효율적 및 효과적으로 사용할 수 있는 방법에는 무엇이 있을까? 요즘에는 다른 method들보다도 quantization, 즉 양자화를 주로 사용하는 추세이다. 이 quantization을 통해 사람들은 고용량 RAM을 가지는 GPU에서도 사용하기가 힘들던 LLM을 훨씬 효율적으로 사용할 수 있게 되었다! 🤗 최소한의 성능 감소로 최적의 효율성을 보여주는 quantization을 위해 HuuggingFace에서는 2가지 quantization method를 제공하고 있다. 바로 BitsAndBytes와 GPTQ이다. 이를 토대로 두 q..

Research & Project 🔬

AlpaGasus2-QLoRA 🦙🦄🤏

2023.09.05

AlpaGasus2-QLoRA!! 🦄 이번에 진행한 프로젝트 'AlpaGasus2-QLoRA'에 대해서 설명하고자 한다. 프로젝트에 대해 알아보기 전에 먼저 이 연구를 진행할 수 있도록 AlpaGasus를 제안해주신 Lichang Chen 외 10분께 감사의 말씀을 드립니다. https://arxiv.org/abs/2307.08701 AlpaGasus: Training A Better Alpaca with Fewer Data Large language models~(LLMs) obtain instruction-following capability through instruction-finetuning (IFT) on supervised instruction/response data. However, wi..

Insight 😎

이제는 ChatGPT를 fine-tuning 할 시간!! ⏰

2023.08.23

What a BIG NEWS!!! 📰 최근 들어 블로그 포스팅을 올리는 것이 뜸해졌는데, 오늘 정말 놀라운 소식을 접하게 되어서 이렇게 오래간만에 찾아오게 되었다. 바로 본론으로 들어가서 우리나라 시간으로는 오늘! (물론 미국 시간으로는 8월 22일이긴 하다 😁) 드디어 OpenAI에서 이들의 강력한 언어 모델인 ChatGPT(gpt-3.5-turbo)에 대해서 fine-tuning을 할 수 있도록 만들었다!! 🫢 그래서 이번 포스팅에서는 OpenAI에서 이 소식을 알리기 위해 올린 글을 토대로 어떻게 ChatGPT를 fuine-tuning 할 수 있는지 그 자세한 내용들과 세부 사항들에 알아보려고 한다! 🤗 이 포스팅은 OpenAI의 글을 토대로 작성되었으니 더욱 자세한 내용을 확인하고 싶다면 다음의 ..

Insight 😎

Fine-tuning method의 발전 과정!! Fine-tuning부터 RLHF까지 🦖➡️🧑

2023.08.07

A new spectrum of model learning, Fine-tuning ✨ 이번 포스팅에서 다뤄보고자 하는 내용은 모델의 fine-tuning 방식에 대해서이다. 사실 포스팅의 순서가 무언가 잘못되었다는 사실을 느끼고 있기는 한데, 그 점은 양해를 부탁한다..!! 😅 저번 시간에 파라미터 효율적인 fine-tuning을 알아보면서 fine-tuning을 효율적으로 하는 방법에 대해 알아봤는데, 그렇다면 fine-tuning을 좀 더 효과적으로 할 수 있는 방법은 없을까? 당연히 있다!! 이번 포스팅에서는 fine-tuning method가 어떻게 변화 해나갔는지에 대해 알아보고자 한다. 자, 그렇다면 fine-tuning이 무엇일까? 저번 포스팅에서 말했던 것처럼 지금의 수많은 language..

Insight 😎

한 단계, 한 단계씩 인간처럼 생각해보자! 🧠🤔

2023.08.03

Let's think step-by-step! 🪜 포스팅의 제목과 이 섹션의 제목을 봤을 때 의아하게 생각하는 사람들이 있을 것이다. '아니 이 사람, NLP 관련 얘기 잘만 하다가 갑자기 무슨 뚱딴지같은 소리래? 🤨' 충분히 그럴 수 있다! 하지만, NLP 관련 논문을 읽어봤거나 최신 method들에 대해 잘 알고 있는 사람이면 필자가 무슨 소리를 하고 싶어 하는 것인지를 알 것이라 생각한다. 왜냐하면 이 섹션의 제목이 'Let's think step-by-step'은 이 포스팅을 관통하는 문장이자, 유명한 논문에서 사용된 method이기 때문이다. 이게 무슨 소리냐구요? 궁금하시다면, LM이 사람과 비슷한 방식으로 사고를 해서 문제를 해결하게 하고자 한 method들에 대해 알아보는 이번 포스팅을 끝..

Insight 😎

당신도 Fine-tuning 할 수 있습니다! with PEFT 🤗

2023.08.01

The current trend of LM 📈 2017년 Vaswani 께서 'Attention Is All You Need'라는 논문으로 Transformer를 처음 소개하시고, 그 후 2018년에 BERT와 GPT가 나오게 되면서부터 LM(Language Model)에 대한 연구는 그 시작을 알렸다. 그리고 이 당시에 소개되었던 pre-training & fine-tuning이라는 개념은 아직까지도 널리 사용될 정도로 크나큰 LM의 framework를 이루게 되었다. 이번 포스팅에서 알아보게 될 PEFT(자세한 뜻은 조금 뒤에 알려드리겠습니다! 😄)도 이 중 fine-tuning에 관련된 method이다. PEFT에 대해 알아보기 전에 이 pre-training과 fine-tuning이 과연 정확히 ..

Insight 😎

ChatGPT의 성능이 안 좋아지고 있다구?!?!? 😲😲

2023.07.31

Did you hear that..? 😱 요즘 세간에 떠도는 하나의 소문이 있다고 한다. 이제는 우리에게 친숙해진, 오히려 없으면 불편함을 느낄 수 있을 정도로 가까워진 ChatGPT의 성능이 안 좋아졌다는 소문이다!! 😮 실제 어떤 소문들이 있는지에 대해 알아보기 전에 우선 최근 ChatGPT와 GPT-4의 정확한 차이에 대해 알아보고, 최근 이 모델들에 생긴 변화에 대해서 알아보도록 하자. ChatGPT와 GPT-4는 그 사용된 모델에 차이가 있다. ChatGPT는 GPT-3.5에 RLHF를 진행한 모델이고, GPT-4는 말 그대로 GPT-3.5에서 훨씬 더 발전된 GPT-4 모델을 말한다. (GPT-4에 대해서는 자세히 밝혀진 것이 없기 때문에 정확한 비교는 불가합니다,, 😓) OpenAI에서 제공..

Insight 😎

LM을 가장 최적으로 평가할 수 있는 방법은 무엇일까? 😎

2023.07.27

이번 포스팅은 기존의 포스팅과 살짝 다르게 PPT 자료를 활용하여 설명하도록 하겠다. 이번 포스팅의 주제는 제목에서 보여지는 것처럼 LM의 Evaluation metric에 대해서 알아보는 시간을 가져보려고 한다! 😊 기존의 Evaluation metric에 대해서 알아보고, 기존 metric들에 어떠한 문제가 있는지 알아본 뒤, 마지막으로 어떤 개선안들이 생겨났는지에 대해서 한 번 알아보도록 하겠다. 만약 PPT를 보면서 궁금하거나 오류가 있는 것 같은 사항들은 PPT 또는 포스팅에 댓글을 달아주시면 답변을 달아놓도록 하겠습니다! 재밌게 봐주십쇼! 🤩 https://docs.google.com/presentation/d/1XL_B0nI-yp2dgLDVrEzTlLcg9DpUnALBklmpJ4iOZRw/e..

전체 글

Noise makes LLM better! - NEFTune 😉

Llama의 새로운 대항마, Mistral LM! 😮

어떻게 Quantization을 진행하는 것이 효과적일까? 🤔

AlpaGasus2-QLoRA 🦙🦄🤏

이제는 ChatGPT를 fine-tuning 할 시간!! ⏰

Fine-tuning method의 발전 과정!! Fine-tuning부터 RLHF까지 🦖➡️🧑

한 단계, 한 단계씩 인간처럼 생각해보자! 🧠🤔

당신도 Fine-tuning 할 수 있습니다! with PEFT 🤗

ChatGPT의 성능이 안 좋아지고 있다구?!?!? 😲😲

LM을 가장 최적으로 평가할 수 있는 방법은 무엇일까? 😎

티스토리툴바