The overview of this paper 최근의 연구는 LLM의 문제 해결 능력 향상의 잠재성을 보여줬다. 하지만, 이전 연구들은 기존 툴의 가용성에 상당히 의존한다. 이 논문에서는 이러한 의존성을 제거하기 위해 closed-loop 프레임워크인 LLM As Tool Makers(LATM)을 제안하였다. LATM에서 LLM은 문제 해결을 위한 자신만의 재사용 가능한 툴을 생성한다. LATM은 2개의 메인 페이즈로 구성되어 있다: tool making & tool using. tool making은 LLM이 서로 다른 요청에 적용될 수 있는 tool을 계속적으로 생성할 수 있게 해 줘서 향후 요청은 task를 해결할 때 우익하다고 생각될 때 해당 APT를 불러올 수 있게 해 준다. 이렇게 해서 이 ..
The overview of this paper 최근의 연구들은 smaller model의 역량을 향상시키기 위해 imitation learning을 통해 large foundation models(LFM)에 의해 생성된 output과 함께 향상시키고자 하였다. 하지만 여기에는 여러 가지 문제점들이 존재한다. 이러한 문제를 해결하기 위해 Orca를 소개하였다. Orca는 LFM의 추론 프로세스를 모방하기 위해 학습하는 13B 모델이다. Orca는 explanation trace(step-by-step process)를 포함하는 GPT-4 로부터 풍부한 시그널을 학습하고, ChatGPT teacher assistant에 의해 지도되는 다른 복잡한 instruction에서 학습되었다. 이러한 progress..
The overview of this paper 이전의 KD는 주로 black-box model API를 모방하기 위해 white-box 분류 모델 또는 small model을 학습시키는데 적용된다. white-box 생성 LLM으로부터 어떻게 효과적으로 distill 하는지는 아직 under-explore 되어 있다. 이 논문에서는 forward KLD를 reverse KLD로 대체함으로써 생성적 larger LM으로부터 smaller LM을 distill 하는 MiniLLM을 소개하였다. 이것은 student model이 teacher 분포의 low-probability 영역을 과도하게 평가하는 것으로부터 모델을 보호하기 때문에 생성적 LM에 더욱 적합한 LM이다. MiniLLM은 전반적으로 높은 퀄..
The overview of this paper 최근 몇 년 동안 LLM은 복잡한 multi-step 추론을 수행하기 위한 능력이 상당히 개선되었다. 하지만, SoTA 모델은 아직 논리적 오류를 만들어 내기도 한다. 더욱 신뢰도 있는 모델을 학습시키기 위해 최종 결과에 대해 피드백을 제공하는 outcome supervision으로 전환될 수 있다. 논문의 실험을 통해 어려운 MATH 데이터셋의 문제를 해결하기 위해 process supervision이 outcome supervision을 상당히 능가하는 모습을 보여줬다. 또한 active learning이 process supervision의 효험을 상당히 개선시킨다는 것을 보여준다. 그리고 80만 개의 step-level human feedback 라..
Koala Overview Koala를 소개하는 포스트에서는 웹으로부터 수집된 대화 데이터에서 Meta의 LLaMA를 fine-tuning 함으로써 학습된 챗봇인 Koala를 소개하였다. 데이터셋 curation과 training process를 설명하고 Koala와 ChatGPT, Alpaca와 비교하는 사용자 연구의 결과 또한 보여줬다. Koala의 결과는 Koala가 다양한 사용자 쿼리에 효과적으로 응답할 수 있고, 응답 생성도 Alpaca보다 더 선호되었고, 절반이 넘는 경우에 최소한 ChatGPT와 타이를 이루는 모습을 보여줬다. 이러한 결과는 충분히 작은 모델도 신중하게 모여진 데이터에서 학습되면 이 모델들의 큰 cousin 모델의 성능을 많이 캡처할 수 있다는 것을 제안한다. 이것은 커뮤니티..
The overview of 'Vicuna' Vicuna 13B는 ShareGPT로부터 수집된 user-shared 대화에서 fine-tuned LLaMA에서 학습된 open-source 챗봇이다. GPT-4를 평가자로 사용한 사전 평가는 Vicuna-13B가 OpenAI ChatGPT와 Google Bard의 90%에 해당하는 퀄리티를 달성하는 반면 LLaMA와 Alpaca보다 90%의 경우에 더 나은 모습을 보여줬다. Vicuna-13B의 학습 비용은 300$ 정도이다. 그리고 Vicuna의 코드와 가중치는 비상업적 사용에 한해서 공개되었다. How Good Is Vicuna? 70K user-shared ChatGPT 대화를 사용하여 Vicuna를 fine-tuning 한 후에, Vicuna는 Al..
The overview of this paper weaker LM을 개선시키기 위한 값싼 method는 stronger model의 output에서 weaker LM을 fine-tune 하는 것이다. 이러한 접근법은 weaker open-source 모델을 사용하여 상업적 모델의 능력을 값싸게 흉내 내는 방식처럼 보인다. 이 논문에서는 이 접근법에 대해 분석하였다. 이를 위해 다양한 규모의 모델 사이즈, 데이터 소스, 모방 데이터의 양을 사용해서 ChatGPT를 모방하는 LM의 시리즈를 fine-tune 하였다. 그리고 이 모델을 crwodworker & NLP 벤치마크에서 모델을 평가하였다. 초기에 논문에서는 모방 모델의 출력 퀄리티에 대해 놀랐다! 왜냐하면 모방 모델이 출력이 instruction을 ..
최근 Hugging Face의 Open LLM Leaderboard를 둘러보던 중 새로운 모델이 리더보드의 1등에 위치해 있는 것을 보고 '어떤 모델이지?'라는 궁금증이 생겨서 이렇게 포스팅을 작성해 본다. 새롭게 1등을 차지한 모델은 바로 TII에서 개발한 Falcon🦅 이라는 모델이다. Falcon은 총 4가지 버전의 모델이 존재하는데, 7B & 40B 사이즈의 모델과 각 사이즈에서 그냥 base 버전과 instruct-tuned 버전까지 해서 4개이다. 그중에 40B 사이즈의 instruct-tuned 버전인 'falcon-40b-instruct'가 Leaderboard에서 1등을 차지하였다. 이번 포스팅에서는 이러한 Falcon 모델에 대해 알아보고 Falcon을 만드는 데 큰 기여를 했던 데이터..
The overview of this paper ChatGPT 같은 chat 모델들은 인상적인 능력을 보여주면서 빠르게 여러 도메인에 적용되어 나가고 있다. 하지만, 제한된 API 때문에 새로운 연구에 장애물을 만들고 있다. 논문에서는 ChatGPT를 대화에 참여시키게 활용함으로써 자동적으로 high-quality multi-turn chat corpus를 생성할 수 있는 파이프라인을 제안하였다. 그다음에 이 데이터들을 parameter-efficient tuning으로 LLaMA를 향상하기 위해 사용하였다. 그 결과 탄생한 모델이 Baize이고, 이 모델은 가드레일이 있는 multi-turn dialogue 세팅에서 좋은 성능을 보여준다. 게다가, ChatGPT의 피드백을 사용하여 Baize 모델의 성..
실제 Sparks of AGI: with GPT-4 논문은 155페이지에 육박할 정도로 엄청난 양의 실험을 진행해 보며 GPT-4를 다방면으로 활용해 보지만, 본 포스팅에서는 그 많은 내용을 다루기에는 힘이 벅차서 중요 부분들만 따로 살펴보았다. 이 포스팅은 다음의 유튜브를 참고하여 작성되었다. 유튜브: https://www.youtube.com/watch?v=Mqg3aTGNxZ0 The overview of this paper AI 연구자들은 다양한 도메인과 task에서 괄목할 만한 능력을 보여주는 LLM을 개발하고 개선시키고 있다. OpenAI에서 개발한 GPT-4는 전례 없는 규모의 계산량과 데이터를 사용해서 학습되었다. 이 논문에서는 GPT-4가 이전 AI 모델보다 더 일반적인 지능을 나타내는 새..
