LoRA: Low-Rank Adaptation of Large Language Models 논문 리뷰

 이번 논문 리뷰는 기존 방식과 다르게 powerpoint로 작성하였다. 논문의 간단한 개요는 다음과 같고, 논문에 대한 자세한 내용은 첨부된 powerpoint 파일을 확인하길 바란다. powerpoint의 메모와 슬라이드 노트에 설명을 적어뒀으니 참고하길 바란다. 이 포스팅은 다음의 유튜브를 참고하여 작성되었다. 

 

The overview of this paper

 NLP의 중요 패러다임은 general domain 데이터에서 대규모 pre-training을 하고 특정 task 또는 domain에 적용으로 구성되어 있다. larger model을 pre-train 하는 것처럼 모든 파라미터를 재학습하는 full fine-tuning은 실행 가능성이 떨어진다. 논문에서는 pre-trained model의 가중치를 freeze하고 학습 가능한 rank decomposition 행렬들을 Transformer architecture의 각 layer에 주입하는 LoRA를 제안하였다. 이는 downstream task를 위한 학습 가능한 파라미터의 수를 줄인다. LoRA는 fine-tuning보다 더 적은 training 파라미터를 가지고 더 높은 training throughput을 보여주고 추가적 inference latency가 없다.

 

LoRA.pptx

0.66MB

 

 

 

 

 

출처

https://arxiv.org/abs/2106.09685

LoRA: Low-Rank Adaptation of Large Language Models

https://www.youtube.com/watch?v=BJqwmDpa0wM