Closed-source🔒? Open-source🔓? 그게 뭔데?? 🤨🤔

Starting from ChatGPT 🤖 which is closed-source

 작년 12월, 즉 2022년 12월에 전 세계의 사람들에게 적잖이 신선한 충격을 준 사건이 발생하였다. 바로 그 유명한 'ChatGPT'의 발표다! OpenAI에서 발표한 이 거대 언어 모델(Large Language Model, LLM)은 지금까지와는 차원이 다른 엄청난 성능을 보여주면서 사람들의 사회 및 삶에 전반적으로 스며들어가기 시작했다. 하지만, 이 완벽해 보이는 ChatGPT도 여러 가지 단점을 가지고 있는데, 그중에서 이번 포스팅에서 다뤄보고자 하는 내용은 바로 'Closed-source' model이라는 점이다. 🚫

 

 closed-source가 무엇일까? 이 용어를 처음 듣게 된다면 다소 생소할텐데, closed-source는 간단하게 말하면, '저작권'을 가지는 모델을 말한다. 이게 무슨 소리일까? 그렇다면 모든 모델이 저작권을 가지는 것은 아니라는 말인가? 정확하다! 이 저작권을 가지고 있기 때문에 이러한 모델을 사용할 수는 있으나 그 정확한 구조를 들여다보거나 수정을 하는 행위는 금지되어 있다는 의미이다. 🙅 이러한 모델들을 다른 말로 '상업용 모델'이라고 해서 Proprietary Model이라고 부르기도 한다. 

 

 그렇다면 왜 closed-source라는 것이 ChatGPT의 단점 중 하나로 지적받고 있는 것일까? 이것은 ChatGPT 뿐만 아니라 다른 모든 closed-source model들에 대해서도 적용되는 부분인데 그 모델을 활용한 후속 연구가 불가능하다는 점과 모델에 대한 자세한 분석이 불가능하다는 점 때문이다. 그리고 비교적 자원이 부족한 환경인 연구실에서는 이러한 모델을 사용하기도 벅찰뿐더러 너무 사이즈가 큰 모델에 대해서도 자원이 부족한 지경에 이르기까지 할 수도 있다. 따라서 하루에도 몇 백개의 논문이 쏟아져 나오는 computer science 분야에서 이러한 연구의 제약은 상당히 뼈 아픈 부분이 될 수 있다. 😥

 

출처: Open-source vs. Closed-source software

 

Rising star, Open-source ✨

 위에서 closed-source model의 단점 중 하나인 closed-source라는 점을 한 번 알아봤는데, 그렇다면 이 closed-source를 해결하고자 했던 시도들은 없었을까? 당연히 있다! 사실 문제 해결이라기보다는 서로 다른 사상을 추구해서 만들어지는 것이라서 문제점 해결이라기보다는 다른 방향을 선택한 시도들이라고 생각하면 더 좋을 것 같다. 😊

 

 'Open-source' model은 closed-source model과 달리 저작권이 따로 존재하지 않아서 모델의 사용에 제약을 걸지 않고, 전체적인 소스 코드 또한 공개되어 있는, 말 그대로 정말 open되어 있는 모델들을 말한다. 이로써 앞서 말했던 closed-source로 인해서 발생하는 연구적 측면에서의 제약을 해결할 수 있게 된 것이다! 😆 물론 이렇게만 보면 closed-source model이 왜 필요한 것인지 모를 정도로 open-source model이 훨씬 더 많은 장점을 가지고 있는 것처럼 보일 수 있으나, 확실히 open-source model은 closed-source model에 비해서 성능이 떨어지는 단점을 가지고 있다. 😅 물론 이는 open-source로 공개하기 위해 어쩔 수 없는 수순이긴 하지만 말이다. 그래서 성능과 효율성 측면에서 적당한 trade-off를 거친 모델이 open-source model이라고 생각하면 될 것 같다!

 

 ChatGPT가 생겨난 이후로 초반에는 여러 closed-source model들이 나오기 시작했다. 예를 들어 Anthropic의 Claude, OpenAI의 GPT-4, Google의 Bard 등 말이다. 여러 대기업들은 자신들의 기술력을 경쟁해야 하니 어쩔 수 없이 closed-source model에 많은 관심이 쏠려있었는데, 그러면 그럴수록 오히려 피해를 보는 것은 연구자들이었다.. 😭 그러던 도중 Meta에서 open-source LLM의 시초 격이라고 볼 수 있는 LLaMA를 공개하면서 open-source LLM의 시장도 열리기 시작했다! 🤗 2023년 2월 24일에 LLaMA가 처음 발표되고 나서 현재까지 정말 많은 open-source LLM 연구가 진행되었고, 그에 따라 HuggingFace의 Open LLM Leaderboard에서도 open-source LLM끼리 치열하게 경쟁하는 모습을 보여주고 있다. 그리고 포스팅을 작성하는 시점에서는 Meta에서 LLaMA2를 공개함으로써 다시 한 번 open-source LLM 시장의 열기를 확 끌어올렸다!

 

HuggingFace Open LLM Leaderboard(출처: HuggingFace Open LLM Leaderboard)

 

 closed-source model 만큼이나 주목받고 있는 open-source model인데, 그렇다면 open-source model은 어떻게 이렇게 선풍적인 인기를 끌 수 있게 된 것일까? 일단 필자는 이 점에 관하여 정말 하고 싶은 말이 많다! 필자가 생각하는, 그리고 많은 사람들이 생각하는 open-source model이 인기를 끌게 된 이유는 다음과 같다고 생각한다.

 

• closed-source model에 비해 상당히 작은 사이즈로 자원의 제약에서 벗어나 좀 더 자유롭게 여러가지 실험을 진행할 수 있음 🧪
• HuggingFace의 API를 활용한 손쉬운 사용이 가능해짐 🤗
• 위의 의견들에 이어서 여러가지 재미난 실험들도 많이 나오게 되고, 그로 인한 사람들의 호기심 자극 😚

 

 필자도 LLM 관련 연구를 진행해보려 하고 있었으나 너무나 큰 사이즈의 모델들과 아예 사용이 불가능한 모델들로 인한 제약 때문에 벽에 막혀서 연구를 진행조차 해보지 못하고 있었다.. 😭 그러나 open-source LLM의 등장으로 조금씩 조금씩 모델을 사용할 수 있게 되며 이제는 pre-training은 무리라고 하더라고 fine-tuning까지는 원하는 데이터셋을 활용하여 할 수 있는 정도까지 올 수 있게 되었다! 😆 이렇듯 기업이 아닌 일반 연구자나 아니면 연구실에 있는 연구자들은 아직 자원의 제약(GPU, RAM 등)을 많이 받고 있다. 이로 인해서 연구의 기회에 대한 제약도 많이 받고 있던 상황에 가뭄에 단 비처럼 내린 open-source model의 등장에 어찌 열광하지 않을 수 있겠는가! 🔥 그래서 이번 포스팅에서는 이러한 open-source LLM에 대해서 살펴보고자 한다. (어쩌다 보니 서론을 이렇게 길게 작성하게 되었는데 이 긴 서론을 통해 독자들이 open-source와 closed-source에 대해서 좀 더 잘 이해할 수 있었으면 좋겠다. 😊)

 

Beginning of open-source LLM, LLaMA 🦙

 앞서도 말했던 것처럼 지금처럼 이렇게 활발한 open-source model 시장을 만든 것은 LLaMA 덕분이라고 해도 과언이 아니라고 생각한다. 왜냐하면 HuggingFace Open LLM Leaderboard에 올라와 있는 거의 대부분의 모델들이 LLaMA 또는 LLaMA2를 베이스로 해서 fine-tuning을 거친 모델들이기 때문이다! 🫢 그렇다면 이 LLaMA, 도대체 무슨 모델이길래 이렇게 선풍적인 open-source model의 인기를 끌 수 있었던 것일까?

 

 LLaMA는 Meta에서 공개한 open-source model로 'LLaMA: Open and Efficient Foundation Language Models'의 논문에서 처음 공개되었다. LLaMA가 만들어진 배경에 대해서 간략하게 설명하면 기존의 LM scaling law인 '파라미터 늘리는 게 짱 👍'에서 새롭게 연구된 Chinchilla scaling law의 '파라미터랑 데이터 둘이 같이 늘리는 게 짱 👍'의 이념을 받아서 훨씬 더 작은 사이즈의 모델(7B, 13B, 30B, 65B)에 훨씬 더 많은 양의 데이터(1.0T, 1.4T tokens)를 사용해서 학습시킨 모델이다. 이때 학습에 사용된 데이터는 publicly available data만 사용함으로써 publicly available data도 충분히 강력하다라는 것 또한 보여줬다. 이 과정에서 기존 LM들에 사용되었던 좋은 method들을 쏙쏙 가지고 와서 최종적으로 만들어진 것이 'LLaMA'인 것이다! 😊

 

LLaMA's overall idea

 

 이렇게 만들어진 LLaMA는 상당히 좋은 성능을 보여주며 당시에 3배 가량 더 큰 모델인 GPT-3을 능가하는 모습을 보여주며 세간의 이목이 쏠리게 만들었다! LLaMA는 open-source로 공개되었으나 무분별한 사용을 막기 위해 공식적인 허락을 받은 사용자만이 LLaMA의 가중치를 Meta로부터 받아서 사용할 수 있게 만들어다. 

 

LLaMA 사용 신청 방식(출처: LLaMA 공식 request form)

 

 이렇게 상당히 강력한 open-source LLM에 대한 사용이 가능해지면서 많은 연구자들이 이를 이용해 여러 가지 수많은 연구를 하여 상당히 많은 양의 새롭고 강력한 open-source LLM을 만들어냈다. 그 이름들을 모두 나열할 수는 없고 또 자세한 내용들을 다루기에는 너무 긴 포스팅이 될 것 같기에 간추려서 다음과 같이 정리하고 각 모델에 대한 자세한 리뷰 링크 또한 달아놓도록 하겠다! 😊

 

• LLaMA(리뷰 링크: 클릭): 위의 설명을 참고해주세요!!
• Stanford Alpaca(리뷰 링크: 클릭): Self-Instruct data를 통해 모델을 학습시킴. 비용이 상당히 절감됨.
• Lmsys Vicuna(리뷰 링크: 클릭): ShareGPT 데이터를 통해 모델을 학습시킴. response preference로 평가시키는 방법인 Vicuna Evaluation을 소개함.
• BAIR Koala(리뷰 링크: 클릭): ChatGPT Distillation data + Self-Instruct data를 통해 모델을 학습시킴.
• WizardLM(리뷰 링크: 클릭): 기존 instruction을 method를 통해 좀 더 복잡하고 어렵게 만듦으로써 성능에 개선을 줌.
• Falcon: 따로 모델에 대한 자료는 없고, 사용된 데이터셋에 대한 논문만 있음(리뷰 링크: 클릭)
• Orca(리뷰 링크: 클릭): high-quality data에 대해서 모델을 학습시킴으로써 더 개선된 성능을 보여줌.
• Baize(리뷰 링크: 클릭): Self-Chat을 통한 데이터로 모델을 학습시킴. seed data만으로 ChatGPT를 활용하여 데이터를 만들고 나중에 출력에 대한 피드백까지 제공하면서 모델을 학습시킴.
• phi-1(리뷰 링크: 클릭): 교과서 수준의 high-quality 데이터를 활용해서 모델을 학습시켜서 상당히 작은 사이즈의 모델에서 코딩 능력을 개선시킴.

 

 위와 같이 LLaMA를 사용해서 fine-tune 하여 나오게 된 굵직한 open-source model만 해도 8개에 달할 정도로 LLaMA를 open-source LLM의 시초라고 해도 과언이 아닐 정도이다! 👍 그리고 이렇게 LLaMA에 대한 인기가 조금 식어가기 시작할 때 즈음 또다시 Meta에서 꿈틀거리기 시작하는데... (뒤에 계속 ⬇️)

 

'RE'volution of open-source LLM, LLaMA2 🦙🦙

 위의 제목에서 revolution의 're'를 강조한 것은 re가 '다시'라는 의미이니 다시 한번 혁명을 보여준다는 의미를 나타내고자 강조 표시하였다! 😄 위와 같이 LLaMA와 LLaMA를 활용한 여러 open-source LLM들에 대해서 알아봤다. 정말 많은 open-source LLM들이 나오게 되었는데, 모델들이 나오면 나올수록 점점 단점이 두각 되기 시작하였다. 기본적으로 모델의 성능이 좋기 위해서는 base model의 성능이 좋아야 하기 때문에 LLaMA의 한계에 부딪혀서 open-source LLM의 성장이 점차 주춤하기 시작한 것이다.

 

 Meta에서도 이러한 점을 알았던 것인지 딱 적절한 시기에 기존의 LLaMA에서 개선된 모델이 'LLaMA2'를 선보이며, LLaMA2의 논문인 'LLaMA2: Open Foundation and Fine-tuned Chat Models'도 함께 공개하였다! 😮 새로 나온 이 따끈따끈한 모델은 기존의 LLaMA에서 다음과 같은 변화를 주어서 더 개선시켰다.

 

• 더 많은 양의 데이터 💾  (1.4T → 2.0T)
• 2배 늘어난 context length ✍️  (2,048 → 4,096)
• Chat Fine-tuned version 💬

 

LLaMA2의 개선점 (출처: https://ai.meta.com/llama/)

 

 위와 같이 LLaMA2가 LLaMA에 비해서 특별히 개선된 부분은 더 많은 양의 데이터와 2배가 늘어난 context length 정도로 볼 수 있다. 사실 model architecture 부분에서는 거의 바뀐 부분이 없고 부분 부분 새로운 method가(GQA) 가끔 사용되었다는 점 정도이다. 그래도 기존의 open-source LLM은 모두 능가하는 성능에 심지어는 closed-source model(ChatGPT, PaLM)과 비슷한 수준의 성능을 보여준다는 점에서 확실히 성능을 개선시켰다는 점을 확인할 수 있다.

 

 LLaMA2는 준수한 성능 외에도 눈여겨볼 사항이 하나 더 있는데, 기존의 LLaMA는 pre-trained model만 나왔던 점에 반해 이번 LLaMA2는 chat use case를 사용하여 fine-tune 한 버전인 LLaMA2-Chat도 함께 선보였다는 점이다! 😮 LLaMA2-Chat을 학습시킨 자세한 방법은 상당히 방대하므로 자세한 내용은 논문을 읽어보길 바라고, 대략적인 process는 다음과 같다. (chat fine-tuning process 부분이 상당히 흥미로우니 논문도 한 번 읽어보기를 추천한다!! 👍)

 

LLaMA2 chat fine-tuning process (출처: https://arxiv.org/abs/2307.09288)

 

 이렇게 해서 기존의 LLaMA에서 좀 더 개선된 LLaMA2 모델이 공개되었다. 앞으로 이제 이 LLaMA2 모델을 활용한 새로운 open-source LLM이 등장하는 것은 시간문제라고 생각한다. 이렇게 생각하고 있는 와중에 벌써 LLaMA2를 활용하여 HuggingFace Open LLM leaderboard에서 1위를 꿰찬 모델들이 나오고 있다! 😮 마크 저커버그 Meta 회장이 'I wonder what you guys will make out of this model(이 모델을 사용하여 어떤 것을 만들어낼지 궁금해요!)'라고 말한 것처럼 LLaMA2를 활용하여 또 어떤 신기하고 엄청난 모델들이 만들어질지 궁금하고 또 나올 수 있길 기대한다! 😊

 

2023.07.25 21:00 기준 HugginfFace Open LLM leaderboard 1위를 차지하고 있는 모델은 LLaMA2가 아닌 LLaMA2를 fine-tuning한 FreeWilly2 이다.

 

My opinion & Thank you for everyone 😊

 결국에 LLM의 시장에서 closed-source model과 open-source model은 서로 함께 나아가야 한다고 생각한다. 생각해 보면 closed-source model의 개발로 여러 새로운 method들을 발견할 수 있게 되고, 새로운 방향으로 나아갈 수 있게 된다. 그리고 open-source model은 이러한 closed-source model을 활용하여 좀 더 효율적인 method를 만들거나 closed-source model의 method를 활용하여 개선된 모델을 만들고자 한다. 그리고 closed-source model은 기업에게 사용자들한테 좀 더 개선된 서비스를 제공할 수 있게 해 주고, open-source model은 연구자들로 하여금 여러 연구를 진행할 수 있게 해 주어 기존 모델들에 대한 자세한 분석을 가능하게 해 줌으로써 좀 더 개선된 방안을 제시할 수 있게 해 준다. 따라서 closed-source model과 open-source model은 서로 상호보완 관계에 있다고 생각한다. 

 

 이 포스팅을 끝까지 읽은 독자라면 필자가 약간 open-source를 상당히 좋게 바라보고 있다는 것을 파악할 수 있을 것이다. 😚 사실 결론부터 말하자면 맞는 말이다! 필자는 아직 연구실이나 기업이나 어디에도 속해있지 않은 학생 신분이기에 computing resource 및 비용적 측면에서 상당히 제약을 받고 있는 상황이라서, open-source model의 등장은 가뭄에 내린 단 비라고 표현할 수 있을 것 같다. 덕분에 자원적 제약에서 벗어나 여러 가지 프로젝트와 연구들을 진행해 볼 수 있는 환경이 마련되었기 때문에 open-source model을 좋은 시선으로 바라볼 수 있게 된 것 같다. 다시금 이렇게 연구자들로 하여금 더욱 편하게 연구를 할 수 있도록 open-source model을 만들어준 여러 연구자들에게 감사를 표한다. 🥲