Sparks of Artificial General Intelligence: Early experiments with GPT-4 논문 리뷰

 실제 Sparks of AGI: with GPT-4 논문은 155페이지에 육박할 정도로 엄청난 양의 실험을 진행해 보며 GPT-4를 다방면으로 활용해 보지만, 본 포스팅에서는 그 많은 내용을 다루기에는 힘이 벅차서 중요 부분들만 따로 살펴보았다. 이 포스팅은 다음의 유튜브를 참고하여 작성되었다.

유튜브: https://www.youtube.com/watch?v=Mqg3aTGNxZ0 

 

The overview of this paper

 AI 연구자들은 다양한 도메인과 task에서 괄목할 만한 능력을 보여주는 LLM을 개발하고 개선시키고 있다. OpenAI에서 개발한 GPT-4는 전례 없는 규모의 계산량과 데이터를 사용해서 학습되었다. 이 논문에서는 GPT-4가 이전 AI 모델보다 더 일반적인 지능을 나타내는 새로운 LLM 집단의 일부라고 주장한다. 논문에서는 모델의 증가하는 능력과 영향에 대해 논의하였다. 

 

 논문에서는 GPT-4가 mathematics, coding, vision, medicine, law, psychology외에도 더 많은 도메인의 새롭고 어려운 task에서 어떠한 스페셜 prompting 없이 해결할 수 있다고 설명하였다. 게다가, 이 모든 task에서 GPT-4의 성능은 놀라울 정도로 human performance와 가까웠고, 종종 ChatGPT 같은 이전 모델들을 크게 능가하기도 했다. GPT-4의 능력의 폭과 깊이가 주어지면, 이것이 aritifical general intelligence(AGI)의 초기 버전이라고 볼 수 있다고 한다.

 

 GPT-4를 탐색하면서 논문에서는 그 한계를 발견하는 데 특별히 중점을 두었고, 차세대 예측을 넘어서는 새로운 패러다임을 추구해야 할 필요성을 포함하여 AGI의 더 깊고 포괄적인 버전으로 발전하기 위해 앞으로의 과제에 대해 논의한다. 마지막으로 최근의 기술 도약에 따른 사회적 영향과 향후 연구 방향에 대한 성찰로 결론을 맺는다.

 

 

1. Introduction

 논문에서는 GPT-4와 여러가지 상호작용을 하면서 GPT-4의 장단점을 분석하였다. 그렇게 밝혀낸 GPT-4의 비밀 15가지에 대해서 소개해보고자 한다.

 

2. Revelations

2-1. Tool Use

 

 ChatGPT는 도구를 사용하는 것이 불가능했는데 GPT-4는 소수의 instruction & X demonstration으로 도구를 사용할 수 있다! 여기서 말하는 도구는 라이브러리 같은 역할로 예를 들어 인터넷에서 정보를 검색하는 'SEARCH("query")' 또는 계산을 하는 'CALC(expression)' 등을 사용할 수 있다는 의미이다.

 

 ChatGPT도 불가능했던 도구 사용을 GPT-4는 해낼 수 있었다. 이러한 발전은 마치 사람이 처음으로 도구를 쓰면서 진화한 것과 유사하다고 설명한다. 다음의 그림 1은 GPT-4가 질문에 대답하기 위해 여러 도구를 사용하는 예시이다.

 

그림 1. 질문에 대답하기 위해 여러 tool을 사용하는 GPT-4의 예시

 

2-2. Image Understanding

 

 GPT-4는 text prompt에 기반해서 stable diffusion을 사용하여 디테일한 이미지를 생성할 수 있다. 이러한 예시는 LM이 tool을 어떻게 사용해야 하는지에 대해 제대로 이해한 것이라고 볼 수 있다! 어떠한 도시에 대해 설명을 해주면 GPT-4 w/ stable diffusion은 상당히 괜찮은 결과를 보여준다.

 

그림 2. GPT-4와 stable diffusion의 묶음

 

2-3. Code

 

 GPT-4는 코딩 측면에서도 사람과 유사한 성능을 보여주고 있다. 코딩 문제에 대해서 GPT-4, text-davinci-003, 사람의 성능을 비교한 결과 다음의 표 1과 같은 결과가 나왔다. 결과를 살펴보면 GPT-4는 사람보다 더 좋은 성능을 보여주고 있다!

 

표 1. LeetCode에서 zero-shot 정확도

 

2-4. 3D Game Development

 

 GPT-4는 zero-shot 방식을 사용하여 구동 가능한 3D game을 개발할 수 있다. 그림 3은 GPT-4가 만든 구체들이 장애물을 피하는 게임이다.

 

그림 3. 복잡한 3D HTML game 개발 with GPT-4

 

2-5. Mathematics

 

 GPT-4는 올바른 증거를 제시하며 수학 문제를 풀 수 있다. 다음의 그림 4는 GPT-4를 사용하여 IMO 수학 문제를 푼 것으로 논리 정연하게 문제를 해결하는 것을 확인할 수 있다.

 

그림 4. GPT-4로 해결한 IMO 문제

 

2-6. Fermi Questions

 

 Fermi Question은 수학적 모델링 문제의 구체적 유형이다. Fermi Question에는 논리, 근사치 및 대규모 추론을 사용하여 직접 측정하기 어렵거나 불가능한 양 또는 현상에 대한 교육적인 추측이 포함된다. 예를 들어 잘 알려진 Fermi Question은 다음과 같다: '수영장에 골프공을 몇 개나 채울 수 있을까?'. GPT-4의 최종 답변은 아직 정답에서 멀었지만 이러한 문제에 대해 인상적인 해결 시도를 보여줬다.

 

그림 5. Fermi Question에 대한 GPT-4의 대답

 

2-7. Personal Assistant

 

 GPT-4는 기존의 다른 assistant보다 더 다재다능하고 유능한 모습을 보여줬다. 예를 들어서 캘린더로부터 일정을 가져오거나 이메일을 보내거나 읽는 등의 업무도 수행이 가능하다. 그 예시가 다음의 그림 6에 나타나 있다.

 

그림 6. GPT-4의 캘린더와 이메일 수행

 

2-8. AI Handyman

 

 집안에 문제가 생겼을 때 GPT-4에게 해결 방안을 물어보고 그대로 그 지시를 따라보니 문제가 해결되었다. 이것은 GPT-4가 주부로서의 역할도 수행할 수 있다는 것을 보여준다. 다음의 그림 7은 집안에 생긴 문제에 대해 GPT-4에게 해결 방안을 물어본 결과이다.

 

그림 7. GPT-4는 가상의 주부로 활동할 수 있음

 

2-9. Mapping

 

 GPT-4는 집안의 구조에 대해서 설명해 주면 이를 그림으로 그려낼 수 있다. 다음의 그림 8의 왼쪽이 실제 집의 구조이고, 오른쪽이 GPT-4가 그려낸 집안의 구조이다. 상당히 유사한 모습인 것을 알 수 있다.

 

그림 8. GPT-4가 상호작용적으로 맵을 길찾기하는 모습

 

2-10. Theory of Mind

 

 GPT-4는 사람이 생각하는 mental model을 만들 수 있다. 대표적으로 Theory of Mind에서 매우 유명한 예시인 Sally-Anne 테스트가 있는데 GPT-4는 이 테스트를 성공적으로 통과하는 모습을 보여줬다. Sally-Anne test는 매우 대표적인 심리적 task로 자세한 설명은 여기를 참고하길 바란다.

 

그림 9. Sally-Anne false-belief 테스트를 성공적으로 통과함

 

2-11. Autoregressive Model

 

 논문에서는 GPT-4가 어떻게 AR 모델인지 분석한다. 여기서 AR 모델은 시작하기 전에는 output이 언제 끝날 지 모르는 모델을 의미한다. 이를 확인하기 위해서 논문에서는 여러 실험을 진행한다.

 

1. 시의 처음과 끝이 똑같은 단어를 가지고 반대되는 순서로 만들 수 있을까? → GPT-4는 AR 모델이라서 이를 할 수 없었다.
2. GPT-4는 incremental task에서는 좋은 성능을 보여줬지만, discontinuous task에서는 떨어지는 성능을 보여줬다.
3. 조크를 할 때도 펀치 라인이 존재하기에 조크에서도 좋지 않은 모습을 보여줬다.

 

그림 10. 시 example에서도 실패하는 모습을 보여줌

 

2-12. Misinfo

 

 GPT-4는 잘못된 정보를 만들어내고 링크와 이미지를 만들어내기도 하는 등의 문제점을 보여줬다. 

 

그림 11. 가능한 misinformation 시나리오

 

2-13. Data Admission

 

 사람들은 어떤 콘텐츠를 크롤링하고 훈련 데이터로 사용하기를 원하거나 원하지 않는지, 그리고 개인의 역할과 특성을 설명하는 출처 정보로 표시하고 싶은 contribution을 결정하고 지정할 수 있는 인간의 능력과 권리를 요청할 수 있다.

 

2-14. Intrinsic Motivation

 

 논문에서는 GPT-4의 futue work에 대한 방향성이 잡히길 바란다고 말하고 있다. 이는 잘못된 활용이 윤리적 & 안전성 문제를 일으킬 수 있기 때문이다.

 

2-15. Conclusion

 

 이렇게 GPT-4는 유능한 모습을 보여주는데 왜 GPT-4가 이렇게 좋은 성능을 보여주는지는 자세하게 알 수 없다. 한 마디로 어떤 경위로 인해서 이것이 가능한 것인지 설명할 수가 없다는 것이다. GPT-4가 무엇이 가능한지는 알 수 있으나 왜 가능한지는 알 수 없었던 것이다.

 

 

 

 

 

출처

https://www.youtube.com/watch?v=Mqg3aTGNxZ0 

https://arxiv.org/abs/2303.12712

Sparks of Artificial General Intelligence: Early experiments with GPT-4