이제는 ChatGPT를 fine-tuning 할 시간!! ⏰

What a BIG NEWS!!! 📰

 최근 들어 블로그 포스팅을 올리는 것이 뜸해졌는데, 오늘 정말 놀라운 소식을 접하게 되어서 이렇게 오래간만에 찾아오게 되었다. 바로 본론으로 들어가서 우리나라 시간으로는 오늘! (물론 미국 시간으로는 8월 22일이긴 하다 😁) 드디어 OpenAI에서 이들의 강력한 언어 모델인 ChatGPT(gpt-3.5-turbo)에 대해서 fine-tuning을 할 수 있도록 만들었다!! 🫢 그래서 이번 포스팅에서는 OpenAI에서 이 소식을 알리기 위해 올린 글을 토대로 어떻게 ChatGPT를 fuine-tuning 할 수 있는지 그 자세한 내용들과 세부 사항들에 알아보려고 한다! 🤗 이 포스팅은 OpenAI의 글을 토대로 작성되었으니 더욱 자세한 내용을 확인하고 싶다면 다음의 링크를 확인하길 바란다.

 

https://openai.com/blog/gpt-3-5-turbo-fine-tuning-and-api-updates?fbclid=IwAR2H2hJRqKvDaYfY6ZvU4PY-Uhr2wkcD7jTqdbXYjwjiZ5Xo98r6xcM0d8Y 

GPT-3.5 Turbo fine-tuning and API updates

 

Overview 📖

 그간 open-source model을 활용하여 fine-tuning을 하였는가? 그렇다면 이제 open-source model로만 fine-tuning을 해야 한다고만 생각할 필요 없다! 왜냐하면 이제는 ChatGPT(gpt-3.5-turbo)도 fine-tuning을 할 수 있기 때문이다!! ✨ OpenAI에서는 ChatGPT의 fine-tuning을 소개하면서 다음과 같은 연구자들의 가슴을 뛰게 만들 말을 남겼다.

 

"fine-tuning을 거친 gpt-3.5-turbo 모델은 특정 task에서 GPT-4를

능가하는 성능을 보여주기도 하였습니다."

 

 이제 더욱 강력한 베이스 모델로 fine-tuning을 해서 기존 최강의 모델보다 더욱 뛰어난 성능을 보여주는 모델을 만들 수 있다니, 정말 연구자들의 가슴에 불을 지피는 한 마디라고 생각한다. 🔥 아직은 gpt-3.5-turbo 모델의 fine-tuning만 가능하지만, 추후에 가을 즈음에는 GPT-4의 fine-tuning도 가능하게 만들고자 한다고 한다. 그리고 OpenAI API의 data privacy를 따라서 fine-tuning에 사용되는 데이터는 OpenAI를 위해 사용되지 않는다고 한다!

 

Fine-tuning use cases 🧐

 OpenAI에서 진행한 private beta에서, gpt-3.5-turbo를 fine-tuning하는 것은 다음과 같은 사용 예시에서 모델의 성능을 의미 있게 개선시킬 수 있다는 것을 보여줬다.

 

• Improved Steerability: fine-tuning은 instruction을 더욱 잘 따를 수 있게 만들어준다. 예를 들어 fine-tuning을 통해 만약 독일어로 prompt가 들어온다면 항상 독일어로 응답할 수 있도록 만들 수 있다.
• Reliable Output Formatting: fine-tuning은 응답을 일관적인 형태로 만들 수 있는 모델의 능력을 개선시켜준다. 이러한 점은 구체적인 응답 형식을 필요로 하는 코드 작성 문제에서 효과적이다.
• Custom Tone: fine-tuning은 톤과 같은 모델 출력의 질적인 느낌을 연마하여 기업 브랜드의 목소리에 더 잘 맞도록 할 수 있다.

 

 이 외에도 fine-tuning을 통해 향상된 성능으로 prompt의 길이를 줄일 수 있었다고 한다. 그리고 fine-tuning은 prompt engineering, information retrieval, function calling과 같은 다른 기술들과 함께 사용할 때 더욱 강력하다. 이에 대한 자세한 내용은 OpenAI에서 제공해 주는 fine-tuning guide를 확인하길 바란다. 

 

Fine-tuning steps 🪜

 이제 기본적인 gpt-3.5-turbo의 fine-tuning에 대한 정보들을 알아봤으니 직접 코드를 통해 구현해볼 시간이다! 😉 다음은 OpenAI에서 제공해 주는 초간단 fine-tuning 코드를 그대로 가지고 온 것이다 ㅎㅎ gpt-3.5-turbo의 fine-tuning 과정은 데이터 준비, 파일 업로드, fine-tuning job 생성, fine-tuned model 사용으로 이루어져 있다. 그렇게 어렵고 복잡한 코드들은 아니니 간단하게 훑는 느낌으로 볼 수 있길 바란다. 🤗

 

1. Prepare data 💾

 

 말 그대로 자신이 gpt-3.5-turbo를 fine-tuning 시킬 데이터를 정하는 단계로, 자신의 목적에 알맞은 데이터를 선택하면 된다. 이때 gpt-3.5-turbo 모델의 최대 토큰 수용량은 4,096이므로 이보다 긴 context가 주어진다면, truncation이 진행된다. 그리고 아직까지는 각 파일의 크기는 50MB로 제한된다. 이러한 점을 유의해서 데이터셋을 선택해야 한다.

 

{
  "messages": [
    { "role": "system", "content": "You are an assistant that occasionally misspells words" },
    { "role": "user", "content": "Tell me a story." },
    { "role": "assistant", "content": "One day a student went to schoool." }
  ]
}

 

2. Upload files 📁

 

 gpt-3.5-turbo를 fine-tuning 시킬 데이터를 정했다면 이제는 그 학습 데이터 파일을 업로드 해야한다. 아래의 코드에서 OPENAI_API_KEY는 자신의 OpenAI API key를 입력하면 되고(ex. sk-...), file은 fine-tuning 시킬 데이터셋이 있는 경로를 입력해 주면 된다.

 

!curl -https://api.openai.com/v1/files \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F "purpose=fine-tune" \
  -F "file=@path_to_your_file"

 

3. Create a fine-tuning job 🧑

 

 이제 fine-tuning할 내용과 모델을 설정하면 fine-tuning이 시작된다! 그리고 fine-tuning이 끝난 모델은 프로덕션에서 바로 사용이 가능하며, 베이스 모델과 똑같은 rate limits를 가지게 된다.

 

!curl https://api.openai.com/v1/fine_tuning/jobs \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
  "training_file": "TRAINING_FILE_ID",
  "model": "gpt-3.5-turbo-0613",
}'

 

4. Use a fine-tuned model

 

 이제 fine-tuning된 모델을 사용해 볼 차례인데, 다음의 예시는 모델에게 가끔 오타를 가지고 있는 응답을 내놓도록 만든 코드이다.

 

!curl https://api.openai.com/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
  "model": "ft:gpt-3.5-turbo:org_id",
  "messages": [
    {
      "role": "system",
      "content": "You are an assistant that occasionally misspells words"
    },
    {
      "role": "user",
      "content": "Hello! What is fine-tuning?"
    }
  ]
}'

 

Pricing 💸

 사실 ChatGPT를 fine-tuning할 수 있다는 사실보다 더 중요한 것이 우리에게는 남아있다. 그래서 모델을 fine-tuning 시키는 데에는 얼마큼의 비용이 발생하냐는 것이다.. 🥲 OpenAI에서 공개한 pricing은 크게 fine-tuning 시에 드는 비용과 fine-tuned model을 사용하는데 드는 비용으로 나뉜다.

 

• Training: $0.008 / 1K Tokens
• Usage input: $0.012 / 1K Tokens
• Usage output: $0.016 / 1K Tokens

 

 OpenAI에서는 100,000개의 토큰에서 모델을 3 epoch 동안 학습시킬 때 겨우 2.4💲 밖에 비용이 발생하지 않는다고 보여주지만, 유명한 instruction dataset인 Alpaca의 52K Self-Instruct dataset을 사용하여 fine-tuning을 진행한다고 했을 때, 하나의 instruction이 대략 256개 정도의 토큰을 가지고 있다면, 한 epoch를 학습시키는데도 무려 104💲 만큼의 비용이 발생하는 것이다!! 😱 물론 사용하는 데이터셋에 따라 비용은 상이하겠지만, 너무 많은 양의 dataset을 사용한다면 그 비용도 엄청나게 커질 수도 있을 것 같다..

 

A new facet of fine-tuning 🧨

 기존에 fine-tuning을 통해 새로운 모델을 만들어내기 위해서는 open-source LM을 활용해서 fine-tuning을 진행하였다. 하지만, 이 open-source LM에도 한계는 있는데, 그것은 바로 proprietary model에 비해서 open-source model의 성능이 뒤처진다는 것이다. 최근의 LLM 연구들에서 밝혀낸 것처럼, 결국에 가장 중요한 pre-trained model의 기본적인 성능이라고 한다. 예를 들어 아무리 화려한 fine-tuning을 거친다고 해도 베이스가 되는 pre-trained model의 성능이 떨어지게 된다면 별 성능 향상이 없다고 한다. 이러한 점에서 ChatGPT의 fine-tuning이 가능해진 것은 앞으로의 LM 발전에 또 하나의 큰 발돋움이 될 수 있을 것이라 생각한다. 

 

 그리고 이번 포스팅에서 살펴본 내용은 가벼운 느낌의 gpt-3.5-turbo fine-tuning이었는데 더욱 자세한 내용을 알고 싶다면 앞서 말한 fine-tuning guide를 확인할 수 있길 바란다.