Insight ๐
What is the big difference of NLP compared to CV? ๐ฎ ์ด ํฌ์คํ
์ ์ ๋ชฉ๋ถํฐ ํด์ ์์ํ ๋ถ๋ถ์ด ํ๋ ๊ฐ์ง๊ฐ ์๋ ๊ฒ์ด๋ค. ๊ฐ์๊ธฐ ๋ค๋์๋ด์ผ ํ๋ค๋๋ CV์ NLP์ ๊ฐ์ฅ ํฐ ์ฐจ์ด์ ์ด ๋ฌด์์ธ์ง์ ๋ํด ๋ฌป์ง๋ฅผ ์๋. ํ์ง๋ง ์ด๋ฒ ํฌ์คํ
์์ ๋งํ๊ณ ์ ํ๋ ๋ด์ฉ์ ์ํด์๋ ์ด ์ฐจ์ด์ ์ ๋์ง์ด๋ณด์์ผ ํ ํ์๊ฐ ์๋ค! ๊ทธ๋ ๋ค๋ฉด ๋จผ์ ๋
์๋ถ๋ค๊ป ์ง๋ฌธํด ๋ณด๋๋ก ํ๊ฒ ๋ค. NLP๊ณผ CV์ ๊ฐ์ฅ ํฐ ์ฐจ์ด์ ์ ๋ฌด์์ผ๊น? ์๋ง๋ ์ด๋ ๊ฒ ์ถ์์ ์ผ๋ก ์ง๋ฌธํ๋ค๋ฉด ๋ค์๊ณผ ๊ฐ์ ๋ต๋ณ๋ค์ด ๋์ฌ ๊ฒ์ด๋ผ ์๊ฐํ๋ค. ๐ ์ฌ์ฉ๋๋ ๋ฐ์ดํฐ๊ฐ ๋ค๋ฆ. (text & image) ์ฌ์ฉ๋๋ ๋ชจ๋ธ๋ค์ ์ฐจ์ด ํ์ต ๋ฐฉ์์ ์ฐจ์ด ๋ฌผ๋ก ์์ ๊ฐ์ ๋ต๋ณ๋ค๋ ๋ง์ง๋ง, ํ์๊ฐ ๋ณธ ํฌ์คํ
์์ ๋งํ๊ณ ์ ํ๋ ๋ ์ฐ๊ตฌ๊ณ์ ๊ฐ์ฅ ํฐ ์ฐจ..
Paper Reading ๐/Natural Language Processing
The preview of Llama3..? ์ต๊ทผ์ HuggingFace๋ฅผ ๋ณด๋ค๊ฐ ์๊ฒ ๋ ๋ชจ๋ธ์ด ํ๋ ์๋ค. ๋ฐ๋ก LLM ์์ฅ์ ๋จ๊ฒ๊ฒ ๋ฌ๊ตฐ ๋ชจ๋ธ์ธ Mistral LM์ด๋ค! ํ์ฑ์ฒ๋ผ Open-source LLM ๊ณ์ ๋ํ๋ Mistral 7B๋ ๊ทธ ๋ฑ์ฅ๋ง์ผ๋ก๋ Open-source LLM๊ณ๋ฅผ ๋จ๊ฒ๊ฒ ๋ฌ๊ตฌ์๋ค. ๊ทธ๋ ๋ค๋ฉด Mistral 7B๋ ๋ฌด์์ ์ด๋ป๊ฒ ํ๊ธธ๋ ๋ชจ๋์ ์ด๋ชฉ์ ์ง์ค์ํฌ ์ ์์๋ ๊ฒ์ผ๊น? ๊ทธ๊ฒ์ Mistral 7B๊ฐ ์ด๋ค๋ธ ์
์ ์ ์ดํด๋ณด๋ฉด ์ ์ ์๋ค: ๋ชจ๋ ๋ฒค์น๋งํฌ์์ Llama2 13B๋ฅผ ๋ฅ๊ฐ ๋ง์ ๋ฒค์น๋งํฌ์์ Llama1 34B๋ฅผ ๋ฅ๊ฐ(๋น๊ต ๋์์ด Llama2๊ฐ ์๋๋ผ Llama1์ด์๋ ์ด์ ๋ Llama2์ 34B ๋ชจ๋ธ์ด ๊ณต๊ฐ๋์์ง ์๊ธฐ ๋๋ฌธ) ์ฝ๋ ๊ด๋ จ ๋ฒค์น๋งํฌ์์ CodeLlam..
Research & Project ๐ฌ
Which quantization method is efficient & effective? ๐ง ๋ ์ด ์ง๋๋ฉด ์ง๋ ์๋ก ์ ์ ์ฌ์ด์ฆ๊ฐ ์ปค์ ธ๊ฐ๋ LLM์ ํ๋์์ ์ด๋ค์ ์์ฝ๊ฒ ํจ์จ์ ๋ฐ ํจ๊ณผ์ ์ผ๋ก ์ฌ์ฉํ ์ ์๋ ๋ฐฉ๋ฒ์๋ ๋ฌด์์ด ์์๊น? ์์ฆ์๋ ๋ค๋ฅธ method๋ค๋ณด๋ค๋ quantization, ์ฆ ์์ํ๋ฅผ ์ฃผ๋ก ์ฌ์ฉํ๋ ์ถ์ธ์ด๋ค. ์ด quantization์ ํตํด ์ฌ๋๋ค์ ๊ณ ์ฉ๋ RAM์ ๊ฐ์ง๋ GPU์์๋ ์ฌ์ฉํ๊ธฐ๊ฐ ํ๋ค๋ LLM์ ํจ์ฌ ํจ์จ์ ์ผ๋ก ์ฌ์ฉํ ์ ์๊ฒ ๋์๋ค! ๐ค ์ต์ํ์ ์ฑ๋ฅ ๊ฐ์๋ก ์ต์ ์ ํจ์จ์ฑ์ ๋ณด์ฌ์ฃผ๋ quantization์ ์ํด HuuggingFace์์๋ 2๊ฐ์ง quantization method๋ฅผ ์ ๊ณตํ๊ณ ์๋ค. ๋ฐ๋ก BitsAndBytes์ GPTQ์ด๋ค. ์ด๋ฅผ ํ ๋๋ก ๋ q..
Research & Project ๐ฌ
AlpaGasus2-QLoRA!! ๐ฆ ์ด๋ฒ์ ์งํํ ํ๋ก์ ํธ 'AlpaGasus2-QLoRA'์ ๋ํด์ ์ค๋ช
ํ๊ณ ์ ํ๋ค. ํ๋ก์ ํธ์ ๋ํด ์์๋ณด๊ธฐ ์ ์ ๋จผ์ ์ด ์ฐ๊ตฌ๋ฅผ ์งํํ ์ ์๋๋ก AlpaGasus๋ฅผ ์ ์ํด์ฃผ์ Lichang Chen ์ธ 10๋ถ๊ป ๊ฐ์ฌ์ ๋ง์์ ๋๋ฆฝ๋๋ค. https://arxiv.org/abs/2307.08701 AlpaGasus: Training A Better Alpaca with Fewer Data Large language models~(LLMs) obtain instruction-following capability through instruction-finetuning (IFT) on supervised instruction/response data. However, wi..
Insight ๐
What a BIG NEWS!!! ๐ฐ ์ต๊ทผ ๋ค์ด ๋ธ๋ก๊ทธ ํฌ์คํ
์ ์ฌ๋ฆฌ๋ ๊ฒ์ด ๋ธํด์ก๋๋ฐ, ์ค๋ ์ ๋ง ๋๋ผ์ด ์์์ ์ ํ๊ฒ ๋์ด์ ์ด๋ ๊ฒ ์ค๋๊ฐ๋ง์ ์ฐพ์์ค๊ฒ ๋์๋ค. ๋ฐ๋ก ๋ณธ๋ก ์ผ๋ก ๋ค์ด๊ฐ์ ์ฐ๋ฆฌ๋๋ผ ์๊ฐ์ผ๋ก๋ ์ค๋! (๋ฌผ๋ก ๋ฏธ๊ตญ ์๊ฐ์ผ๋ก๋ 8์ 22์ผ์ด๊ธด ํ๋ค ๐) ๋๋์ด OpenAI์์ ์ด๋ค์ ๊ฐ๋ ฅํ ์ธ์ด ๋ชจ๋ธ์ธ ChatGPT(gpt-3.5-turbo)์ ๋ํด์ fine-tuning์ ํ ์ ์๋๋ก ๋ง๋ค์๋ค!! ๐ซข ๊ทธ๋์ ์ด๋ฒ ํฌ์คํ
์์๋ OpenAI์์ ์ด ์์์ ์๋ฆฌ๊ธฐ ์ํด ์ฌ๋ฆฐ ๊ธ์ ํ ๋๋ก ์ด๋ป๊ฒ ChatGPT๋ฅผ fuine-tuning ํ ์ ์๋์ง ๊ทธ ์์ธํ ๋ด์ฉ๋ค๊ณผ ์ธ๋ถ ์ฌํญ๋ค์ ์์๋ณด๋ ค๊ณ ํ๋ค! ๐ค ์ด ํฌ์คํ
์ OpenAI์ ๊ธ์ ํ ๋๋ก ์์ฑ๋์์ผ๋ ๋์ฑ ์์ธํ ๋ด์ฉ์ ํ์ธํ๊ณ ์ถ๋ค๋ฉด ๋ค์์ ..
Insight ๐
A new spectrum of model learning, Fine-tuning โจ ์ด๋ฒ ํฌ์คํ
์์ ๋ค๋ค๋ณด๊ณ ์ ํ๋ ๋ด์ฉ์ ๋ชจ๋ธ์ fine-tuning ๋ฐฉ์์ ๋ํด์์ด๋ค. ์ฌ์ค ํฌ์คํ
์ ์์๊ฐ ๋ฌด์ธ๊ฐ ์๋ชป๋์๋ค๋ ์ฌ์ค์ ๋๋ผ๊ณ ์๊ธฐ๋ ํ๋ฐ, ๊ทธ ์ ์ ์ํด๋ฅผ ๋ถํํ๋ค..!! ๐
์ ๋ฒ ์๊ฐ์ ํ๋ผ๋ฏธํฐ ํจ์จ์ ์ธ fine-tuning์ ์์๋ณด๋ฉด์ fine-tuning์ ํจ์จ์ ์ผ๋ก ํ๋ ๋ฐฉ๋ฒ์ ๋ํด ์์๋ดค๋๋ฐ, ๊ทธ๋ ๋ค๋ฉด fine-tuning์ ์ข ๋ ํจ๊ณผ์ ์ผ๋ก ํ ์ ์๋ ๋ฐฉ๋ฒ์ ์์๊น? ๋น์ฐํ ์๋ค!! ์ด๋ฒ ํฌ์คํ
์์๋ fine-tuning method๊ฐ ์ด๋ป๊ฒ ๋ณํ ํด๋๊ฐ๋์ง์ ๋ํด ์์๋ณด๊ณ ์ ํ๋ค. ์, ๊ทธ๋ ๋ค๋ฉด fine-tuning์ด ๋ฌด์์ผ๊น? ์ ๋ฒ ํฌ์คํ
์์ ๋งํ๋ ๊ฒ์ฒ๋ผ ์ง๊ธ์ ์๋ง์ language..
Insight ๐
Let's think step-by-step! ๐ช ํฌ์คํ
์ ์ ๋ชฉ๊ณผ ์ด ์น์
์ ์ ๋ชฉ์ ๋ดค์ ๋ ์์ํ๊ฒ ์๊ฐํ๋ ์ฌ๋๋ค์ด ์์ ๊ฒ์ด๋ค. '์๋ ์ด ์ฌ๋, NLP ๊ด๋ จ ์๊ธฐ ์๋ง ํ๋ค๊ฐ ๊ฐ์๊ธฐ ๋ฌด์จ ๋ฑ๋ด์ง๊ฐ์ ์๋ฆฌ๋? ๐คจ' ์ถฉ๋ถํ ๊ทธ๋ด ์ ์๋ค! ํ์ง๋ง, NLP ๊ด๋ จ ๋
ผ๋ฌธ์ ์ฝ์ด๋ดค๊ฑฐ๋ ์ต์ method๋ค์ ๋ํด ์ ์๊ณ ์๋ ์ฌ๋์ด๋ฉด ํ์๊ฐ ๋ฌด์จ ์๋ฆฌ๋ฅผ ํ๊ณ ์ถ์ด ํ๋ ๊ฒ์ธ์ง๋ฅผ ์ ๊ฒ์ด๋ผ ์๊ฐํ๋ค. ์๋ํ๋ฉด ์ด ์น์
์ ์ ๋ชฉ์ด 'Let's think step-by-step'์ ์ด ํฌ์คํ
์ ๊ดํตํ๋ ๋ฌธ์ฅ์ด์, ์ ๋ช
ํ ๋
ผ๋ฌธ์์ ์ฌ์ฉ๋ method์ด๊ธฐ ๋๋ฌธ์ด๋ค. ์ด๊ฒ ๋ฌด์จ ์๋ฆฌ๋๊ตฌ์? ๊ถ๊ธํ์๋ค๋ฉด, LM์ด ์ฌ๋๊ณผ ๋น์ทํ ๋ฐฉ์์ผ๋ก ์ฌ๊ณ ๋ฅผ ํด์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ฒ ํ๊ณ ์ ํ method๋ค์ ๋ํด ์์๋ณด๋ ์ด๋ฒ ํฌ์คํ
์ ๋..
Insight ๐
The current trend of LM ๐ 2017๋
Vaswani ๊ป์ 'Attention Is All You Need'๋ผ๋ ๋
ผ๋ฌธ์ผ๋ก Transformer๋ฅผ ์ฒ์ ์๊ฐํ์๊ณ , ๊ทธ ํ 2018๋
์ BERT์ GPT๊ฐ ๋์ค๊ฒ ๋๋ฉด์๋ถํฐ LM(Language Model)์ ๋ํ ์ฐ๊ตฌ๋ ๊ทธ ์์์ ์๋ ธ๋ค. ๊ทธ๋ฆฌ๊ณ ์ด ๋น์์ ์๊ฐ๋์๋ pre-training & fine-tuning์ด๋ผ๋ ๊ฐ๋
์ ์์ง๊น์ง๋ ๋๋ฆฌ ์ฌ์ฉ๋ ์ ๋๋ก ํฌ๋ํฐ LM์ framework๋ฅผ ์ด๋ฃจ๊ฒ ๋์๋ค. ์ด๋ฒ ํฌ์คํ
์์ ์์๋ณด๊ฒ ๋ PEFT(์์ธํ ๋ป์ ์กฐ๊ธ ๋ค์ ์๋ ค๋๋ฆฌ๊ฒ ์ต๋๋ค! ๐)๋ ์ด ์ค fine-tuning์ ๊ด๋ จ๋ method์ด๋ค. PEFT์ ๋ํด ์์๋ณด๊ธฐ ์ ์ ์ด pre-training๊ณผ fine-tuning์ด ๊ณผ์ฐ ์ ํํ ..
Insight ๐
Did you hear that..? ๐ฑ ์์ฆ ์ธ๊ฐ์ ๋ ๋๋ ํ๋์ ์๋ฌธ์ด ์๋ค๊ณ ํ๋ค. ์ด์ ๋ ์ฐ๋ฆฌ์๊ฒ ์น์ํด์ง, ์คํ๋ ค ์์ผ๋ฉด ๋ถํธํจ์ ๋๋ ์ ์์ ์ ๋๋ก ๊ฐ๊น์์ง ChatGPT์ ์ฑ๋ฅ์ด ์ ์ข์์ก๋ค๋ ์๋ฌธ์ด๋ค!! ๐ฎ ์ค์ ์ด๋ค ์๋ฌธ๋ค์ด ์๋์ง์ ๋ํด ์์๋ณด๊ธฐ ์ ์ ์ฐ์ ์ต๊ทผ ChatGPT์ GPT-4์ ์ ํํ ์ฐจ์ด์ ๋ํด ์์๋ณด๊ณ , ์ต๊ทผ ์ด ๋ชจ๋ธ๋ค์ ์๊ธด ๋ณํ์ ๋ํด์ ์์๋ณด๋๋ก ํ์. ChatGPT์ GPT-4๋ ๊ทธ ์ฌ์ฉ๋ ๋ชจ๋ธ์ ์ฐจ์ด๊ฐ ์๋ค. ChatGPT๋ GPT-3.5์ RLHF๋ฅผ ์งํํ ๋ชจ๋ธ์ด๊ณ , GPT-4๋ ๋ง ๊ทธ๋๋ก GPT-3.5์์ ํจ์ฌ ๋ ๋ฐ์ ๋ GPT-4 ๋ชจ๋ธ์ ๋งํ๋ค. (GPT-4์ ๋ํด์๋ ์์ธํ ๋ฐํ์ง ๊ฒ์ด ์๊ธฐ ๋๋ฌธ์ ์ ํํ ๋น๊ต๋ ๋ถ๊ฐํฉ๋๋ค,, ๐) OpenAI์์ ์ ๊ณต..
Insight ๐
์ด๋ฒ ํฌ์คํ
์ ๊ธฐ์กด์ ํฌ์คํ
๊ณผ ์ด์ง ๋ค๋ฅด๊ฒ PPT ์๋ฃ๋ฅผ ํ์ฉํ์ฌ ์ค๋ช
ํ๋๋ก ํ๊ฒ ๋ค. ์ด๋ฒ ํฌ์คํ
์ ์ฃผ์ ๋ ์ ๋ชฉ์์ ๋ณด์ฌ์ง๋ ๊ฒ์ฒ๋ผ LM์ Evaluation metric์ ๋ํด์ ์์๋ณด๋ ์๊ฐ์ ๊ฐ์ ธ๋ณด๋ ค๊ณ ํ๋ค! ๐ ๊ธฐ์กด์ Evaluation metric์ ๋ํด์ ์์๋ณด๊ณ , ๊ธฐ์กด metric๋ค์ ์ด๋ ํ ๋ฌธ์ ๊ฐ ์๋์ง ์์๋ณธ ๋ค, ๋ง์ง๋ง์ผ๋ก ์ด๋ค ๊ฐ์ ์๋ค์ด ์๊ฒจ๋ฌ๋์ง์ ๋ํด์ ํ ๋ฒ ์์๋ณด๋๋ก ํ๊ฒ ๋ค. ๋ง์ฝ PPT๋ฅผ ๋ณด๋ฉด์ ๊ถ๊ธํ๊ฑฐ๋ ์ค๋ฅ๊ฐ ์๋ ๊ฒ ๊ฐ์ ์ฌํญ๋ค์ PPT ๋๋ ํฌ์คํ
์ ๋๊ธ์ ๋ฌ์์ฃผ์๋ฉด ๋ต๋ณ์ ๋ฌ์๋๋๋ก ํ๊ฒ ์ต๋๋ค! ์ฌ๋ฐ๊ฒ ๋ด์ฃผ์ญ์ผ! ๐คฉ https://docs.google.com/presentation/d/1XL_B0nI-yp2dgLDVrEzTlLcg9DpUnALBklmpJ4iOZRw/e..