ChatGPT의 성능이 안 좋아지고 있다구?!?!? 😲😲

Did you hear that..? 😱

 요즘 세간에 떠도는 하나의 소문이 있다고 한다. 이제는 우리에게 친숙해진, 오히려 없으면 불편함을 느낄 수 있을 정도로 가까워진 ChatGPT의 성능이 안 좋아졌다는 소문이다!! 😮 실제 어떤 소문들이 있는지에 대해 알아보기 전에 우선 최근 ChatGPT와 GPT-4의 정확한 차이에 대해 알아보고, 최근 이 모델들에 생긴 변화에 대해서 알아보도록 하자. 

 

 ChatGPT와 GPT-4는 그 사용된 모델에 차이가 있다. ChatGPT는 GPT-3.5에 RLHF를 진행한 모델이고, GPT-4는 말 그대로 GPT-3.5에서 훨씬 더 발전된 GPT-4 모델을 말한다. (GPT-4에 대해서는 자세히 밝혀진 것이 없기 때문에 정확한 비교는 불가합니다,, 😓) OpenAI에서 제공하는 이 모델들의 API는 각각 'gpt-3.5-turbo'와 'gpt-4'이다. 이러한 모델들의 API는 시간이 지남에 따라 조금씩 업데이트가 되는데 이렇게 업데이트될 때마다 API 이름의 뒤에 넘버링이 붙게 된다. (older version: 'gpt-3.5-turbo-0301' / newer version: 'gpt-3.5-turbo-0613') 이번에 새롭게 나온 gpt-3.5-turbo-0613과 gpt-4-0613에서 사람들의 'ChatGPT의 성능이 안 좋아진 것 같은데..? 🤔'와 같은 사람들의 의구심이 하나 둘 나오기 시작했다. 실제로 실험을 통해 ChatGPT의 성능이 안 좋아지고 있다는 것을 보여준 연구들도 속속들이 나오기 시작하면서 진짜로 ChatGPT의 성능이 안 좋아진 것인지에 대한 진지한 의구심을 품게 만들어가고 있다.

 

 이번 포스팅에서는 이러한 ChatGPT 성능 하락의 진실을 파헤쳐보고, 성능 하락을 제시한 논문들에 대해 살펴본 뒤, 필자의 생각에 대해서 간략하게 말해보고자 한다! 😄 그럼 시작하겠습니다!

 

OpenAI에서 제공하는 GPT-4 & GPT-3.5 API (출처: https://openai.com/pricing)

 

Has the performance of ChatGPT really decreased? 🤨

 ChatGPT의 몇몇 사용자들은 ChatGPT의 성능이 안 좋아지고 있다고 주장하면서, '예전에는 페라리를 몰았다면, 지금은 고장난 트럭을 모는 듯한 느낌이에요.'와 같이 말하기도 하였다. 일부 사용자들은 이와 같은 주장을 하면서 GPT-4 모델이 하나의 범용적인 모델이 아니라 여러 가지 Expert Model(전문가 모델)의 믹스 방식이기 때문에, 이러한 문제가 발생하는 것이 아닌지 의문을 품고 있다. 이에 대해 OpenAI의 입장은 성능이 떨어진 것이 아니라 오히려 향상됐다고 주장한다.

 

 이렇게 양쪽의 입장이 팽팽한 가운데, 과연 누구의 말이 맞는 걸까? 느낌적인 이유로는 정확한 해설이 불가능하기 때문에, ChatGPT의 성능 저하에 대해 다루면서 실험을 진행해본 논문과 연구에 대해 얘기해 보면서 파악해 보도록 하자! 😙

 

How Is ChatGPT's Behavior Changing over Time? (Chen et al., 2023)

 Stanford University와 UC Berkely에서 내놓은 논문인 'How Is ChatGPT's Behavior Changing over Time?' 이라는 논문에서는 구형 버전인 3월 버전 모델들과 신형 버전인 6월 버전 모델들을 몇 개의 task에 대해서 비교해 보면서 ChatGPT와 GPT-4의 성능이 하락되었다는 사실을 보여준다. 물론 특정 task에 대해서는 안 좋은 성능을 보여주긴 했지만, 전반적으로 성능이 살짝 개선되었음을 보여주는 개요로 논문의 내용은 진행된다. 

 

 논문에서는 ChatGPT와 GPT-4의 성능이 안 좋아졌다는 것을 증명하기 위해 총 4가지의 도메인에서 다음의 평가 영역으로 다음의 그림과 같이 평가를 진행하였다. 각각의 task에 대해서는 하나의 evaluation dataset을 사용하였다. 

 

• 수학 문제 해결: 주어진 수가 소수인지 판단하는 문제
• 민감한 질문 응답: 민감한 질문에 대한 answer rate 평가
• 코드 생성: 실행성과 코드의 장황성 평가
• 시각적 추론: 정확히 일치하는지를 평가

 

How Is ChatGPT's Behavior Changing over Time? (출처: 해당 논문)

 

 실제 ChatGPT와 GPT-4의 3월 버전과 6월 버전을 비교해보니 상당히 충격적인 결과들을 확인할 수 있다. 대략적인 그림을 보면 ChatGPT와 GPT-4 모두 성능이 오히려 안 좋아진 것 같은 결과를 보여준다! 😲 task 하나하나에 대한 실험 결과를 분석해 보면 다음과 같다.

 

• 수학 문제 해결: GPT-4의 경우, verbosity(장황성)이 상당히 줄어들면서 CoT 능력이 줄어들고 그에 따라서 성능도 저하된 것 같음. ChatGPT(GPT-3.5)의 경우 verbosity가 증가하며 추론 스텝을 작성하기 시작하며 성능이 개선된 것 같음.
• 민감한 질문: More safe, Less rationale! GPT-4의 경우 민감한 질문에 대해 answer rate가 줄어들었고, response length도 상당히 줄어들면서, 왜 응답에 거부한 것인지에 대한 이유를 더 적게 제공해주기 시작함. ChatGPT의 경우에 answer rate가 증가하고, GPT-4와 비슷하게 less rationale 한 경향을 보여줬음.
• 코드 생성: More verbiage, Less Executable! GPT-4의 경우 실행 가능도가 훨씬 낮아졌고, 장황함은 GPT-3.5에 비해 늘어난 모습을 보여줌(코드에서 장황함은 주석을 더 쓴 것을 의미합니다). GPT-3.5의 경우에 실행 가능도가 낮아졌고, 장황함은 아주 살짝 늘어남.
• 시각적 추론: 미미한 성능 개선이 이루어졌음. 90%의 경우에 3월 버전과 6월 버전은 똑같은 output을 보여줬고, 전반적으로 성능이 좋지 않기도 하고, 3월 버전에서는 성공했던 문제를 6월 버전에서는 실패하는 등의 모습을 보여주기도 하였음.

 

 위의 결과들을 보면 확실히 ChatGPT와 GPT-4의 성능이 안 좋아진 것 같은 느낌이 들게 된다. 논문에서는 이러한 실험 결과를 보여주면서 앞으로 ChatGPT와 GPT-4에 대한 계속적인 모니터링이 필요하다는 것을 주장한다. 😐

 

Is the new gpt-3.5-turbo Model Worse? (Refuel Team, 2023)

 Stanford University와 UC Berkely의 연구에 더불어서 Refuel Team에서도 ChatGPT와 GPT-4의 성능 변화에 대해서 연구를 진행하였다. 특이하게도 이 연구에서 모델의 성능을 평가하는데 사용한 지표는 평가 데이터셋에서 추론 능력의 평가가 아니라 라벨링을 통한 라벨의 퀄리티를 평가하였다! 😮 전체적인 실험 결과의 개요를 살펴보면 다음과 같다.

 

• gpt-3.5-turbo-0613: gpt-3.5-turbo-0301에 비해서 더 빨라진 모습을 보여줬지만, 라벨링 퀄리티는 8개의 데이터셋 중 6개의 데이터셋에서 떨어지는 성능을 보여줬다. 🏃😓
• gpt-4-0613: GPT-4에 비해서 더 빨라졌지만, 라벨링 퀄리티는 크게 달라지지 않았다. 🏃😑

 

 실험에 사용된 method는 여러 NLP task dataset에 대해 gpt-3.5-turbo와 gpt-4의 성능을 label quality와 turnaround time을 기준으로 삼아서 평가를 하였다. 각각의 평가 영역에 대한 자세한 설명은 다음과 같다.

 

• Label Quality: 생성된 라벨과 ground-truth 라벨 간의 일치 🟰
• Turnaround Time: 라벨 당 소요된 생성 시간 ⏱️

 

  이러한 평가 영역을 가지고 평가를 진행한 데이터셋은 다음과 같다. 

 

라벨링을 위해 사용된 데이터셋 리스트 (출처: https://www.refuel.ai/blog-posts/gpt-3-5-turbo-model-comparison)

 

 이렇게 해서 얻어진 label quality와 turnaround time에 대한 결과는 다음과 같다. 그림을 보면 알 수 있겠지만, 대다수의 task dataset에서 gpt-3.5-turbo와 gpt-4는 떨어지는 성능을 보여줬고, 평균 성능에서도 gpt-3.5-turbo는 기존보다 더 떨어지는 성능을 보여줬다. 😓 그리고 gpt-3.5-turbo와 gpt-4 둘 다 CONLL 데이터셋에서 상당한 성능 개선을 보여줬는데, 이것은 아마 새로운 학습 데이터에 이 데이터셋이 포함되어 있었기 때문일 것으로 추정한다고 한다. 🙂

 

Label Quality 비교 결과 (출처: https://www.refuel.ai/blog-posts/gpt-3-5-turbo-model-comparison)

 

 그리고 Turnaround Time에 대해서는 확실히 6월 버전이 3월 버전보다 빠른 모습을 보여줬다. 🏃 이를 미루어 보아 3월 버전에 비해서 6월 버전의 gpt-3.5-turbo와 gpt-4는 성능은 안 좋아졌으나, 그만큼 빨라졌다는 것을 확인할 수 있다. 

 

Turnaround Time 비교 결과 (출처: https://www.refuel.ai/blog-posts/gpt-3-5-turbo-model-comparison)

 

 확실히 gpt-3.5-turbo-0613은 gpt-3.5-turbo-0301에 비해 떨어지는 라벨링 퀄리티를 보여주기는 하나, 그만큼 더 빠른 속도를 보여주기도 한다. 하지만 이 실험에서는 라벨링 퀄리티에 대해서만 알아본 것으로 더욱 정밀한 분석을 위해서는 더 많은 연구들이 필요할 것이라고 연구진들을 주장한다. 😉

 

So, What's the truth❓ 🤨

 이렇게 해서 ChatGPT와 GPT-4의 성능이 안 좋아지고 있다고 주장한 논문과 연구들에 대해서 알아보았다. 글을 읽으면서 적잖이 충격을 받았을 것이라고 생각한다. 🫣 일단 필자부터도 논문과 연구를 보면서 적잖이 충격을 받았기 때문이다! 😄 완벽한 줄로만 알고 있었던 ChatGPT와 GPT-4의 성능이 버전이 업그레이드됨에 따라서 성능이 좋아진 것이 아니라 오히려 안 좋아졌기 때문이다! 독자들도 이와 같은 생각을 가지고 있을 것이라고 생각하는데, 만약에 이런 생각을 가지고 있다면, 독자들도 필자처럼 '성급한 일반화의 오류'에 빠지게 된 것이다! 😆

 

 우선 정확한 이유를 말하기에 앞서서 이 포스팅의 글을 꼼꼼히 읽어본 독자들이라면 앞서 설명한 논문과 연구에는 한 가지 허점이 존재한다는 것을 알 수 있을 것이다. 과연 무엇일까? 무엇이 우리를 '성급한 일반화의 오류'로 이끌게 된 것일까? 자, 앞의 내용들로 돌아가서 두 연구에서 진행한 실험에 대해서 다시 생각해 보자. 두 연구에서 진행한 실험이 정말 wide-range 한가? 아니다!! 🙅 오히려 평가를 진행한 task의 수가 너무 적다고는 생각해보지 않았는가? 물론, 실제로 저 task들에서 새로운 모델이 더 안 좋은 성능을 보여준 것은 사실이지만, 그렇다고 해서 모델의 전반적인 성능이 악화되었다고 쉽게 판단할 수 있을까? 예를 들어, 'How Is ChatGPT's Behavior Changing over Time?'에서 소수를 판별하는 문제만으로 모델의 수학적 능력을 판가름할 수 있을까? 모델의 전반적인 성능에 대한 판단을 내리기 위해서는 좀 더 자세한 실험과 분석이 필요하다고 필자는 생각한다. 🫡 누누이 말하지만, 이것은 필자의 의견일 뿐 이 글을 읽는 독자분들도 독자분들 나름의 의견을 생각해 보고 여러 가지 사고를 겪어보며 좀 더 합리적인 생각을 할 수 있길 바란다! 😉

 

 마지막으로 정리해보면, 확실히 ChatGPT와 GPT-4의 성능은 어떠한 task에 대해서는 성능이 안 좋아지긴 했다. 하지만, 아직은 ChatGPT와 GPT-4의 성능이 안 좋아졌다고 단정 짓기에는 그 증거들이 너무 불충분하다. 따라서 좀 더 많은 연구들이 진행돼서 진실을 밝혀낼 수 있길 바란다! 🫡