만약 모델이 여러 감각을 느낄 수 있게 된다면? - Pathways 리뷰

 이 포스트의 제목을 보면은 '무슨 소리를 하는 거지?' 라는 생각이 들 것이다. 하지만 조금 더 깊게 생각해보자. 우리 인간은 어떤 문제를 접하거나 해결할 때, 하나 이상의 감각을 사용한다. 예를 들어서, 컵을 집는다는 상황이 생겼을 때, 먼저 시각으로 컵의 생김새와 컵의 위치를 확인하고, 촉감을 이용하여 컵의 생김새를 확인하고 집는다. 이와 같이, 한 가지 행동을 행할 때에도, 하나 이상의 감각을 사용한다. 하지만, 현재 개발되는 AI 모델들을 보면, 대부분이 오직 하나의 task에만 집중한 모델들만이 개발된다. 예를 들어서, text에 특화된 모델과 image에 특화된 모델이 있다고 해보자. 이 둘은 각각의 task에서는 훌륭한 성능을 보여주지만, 이 둘을 한꺼번에 처리하는 모델은 흔치 않다. 이러한 문제를 해결하기 위해 제안된 모델이 'Pathways'인 것이다.

 

 이 포스트는 구글의 'PaLM'을 학습하기 전에 PaLM에 사용된 Pathways를 짚고 넘어가는 느낌의 포스트이다.

 

 

https://youtu.be/Nf-d9CcEZ2w

 

 

Pathways

 Pathways는 현존하는 AI의 약점들을 해결하고, 이들의 장점을 하나로 모은다는 생각으로부터 시작되었다. 이를 좀 더 자세히 파악하기 위해, 현재 AI의 약점과 Pathways가 이를 어떻게 개선시킬 수 있는지 알아보겠다.

 

 요즘의 AI model은 오직 하나의 task를 수행하기 위해 학습된다. Pathways는 하나의 모델에서 수천에서 수만에 이르는 task들을 수행할 수 있게 만든다.

 

요즘의 AI model들은 각각의 새로운 task에 대해 밑바닥부터 학습한다. 예를 들어서, 당신이 무언가를 배울 때, 이전에 알고 있던 지식들을 모두 잊어버린다고 생각해보자. 이 얼마나 불편할 것인가?!?!?! 하지만, 이러한 방식이 현재 AI model들을 학습시키는 방법들이다. 수천만 개의 task를 수행하기 위해, 똑같이 수천만 개의 서로 다른 AI model을 만들어야 하는 것이 현실이다.

 

 이러한 방식은 그 누구가 보더라도 너무나 비효율적인 방식이다. 그래서 너무 많은 각각의 task를 건들지는 않고, 이미 기존에 존재하는 스킬들을 사용하여 더욱 빠르고 효과적으로 모델을 학습시킬 수 있는 방법을 고안하였다. 그런 식으로 모델이 하나의 작업에 대해 학습하여 다른 작업을 학습하는 데 도움이 될 수 있다.

 

 그래서 Pathways 개발자들은 모델이 필요에 따라 호줄할 수 있고 새롭고 더 복잡한 작업을 수행하기 위해 함께 결합할 수 있는 다양한 기능을 갖기를 원했다. 마치 사람의 뇌처럼 말이다!!

 

 요즘의 AI model은 오직 '하나'의 감각에만 집중한다. 하지만, Pathways는 '여러'개의 감각을 느낄 수 있도록 만들었다.

 

 포스트의 초반에도 설명한 것처럼 사람은 세상을 인지할 때, 여러 감각을 사용하여 이해한다. 이와 마찬가지로, Pathways는 시작적, 청각적, 언어적 이해를 동시에 할 수 있는 multimodel model이 되도록 하였다. 그래서, model이 'leopard'라는 단어를 처리할 때, 'leopard'를 발음하는 소리 또는 표범이 뛰는 영상이 내부적인 응답으로 처리될 수 있도록 하였다. 그 결과로, model은 더욱 통찰력을 갖고, 실수와 편향을 가지지 않게 될 수 있었다.

 

 그리고 또한 AI model은 이러한 친숙한 감각들에만 국한되지 않는다. Pathwyas는 더욱 추상적인 형태의 데이터도 처리할 수 있어서, 기후 역학과 같은 복잡한 시스템에서 인간 과학자들이 놓칠 수 있었던 유용한 패턴을 찾는 데에도 도움이 될 수 있다. 

 

요즘의 AI model은 너무 'dense'하고, 비효율적이야! Pathways는 이를 'sparse'하고, 효율적으로 만들었어~

 

 세 번째 문제점은, 현재의 모델들이 너무 촘촘하다는 것이다. 이 말은 task가 얼마나 쉬운지 또는 어려운지는 고려하지 않고, 그저 신경망 네트워크를 활성화시켜서 task를 성취한다는 의미이다. 이러한 방식은 사람의 접근 방식과는 매우 다르다. 우리 뇌의 각 부분은 각각 특화된 분야가 상이하다. 따라서, 이 상황이 주어졌을 때, 이 상황에 필요한 부분만이 작용을 한다. 한 가지 예를 들면, 우리의 뇌는 수많은 뉴런으로 이루어져 있지만, 우리가 문장을 이해할 때 사용하는 뉴런의 수는 극히 일부이다.

 

 인공지능도 이와 같은 방식으로 작동할 수 있다. 바로 '드문드문'하게 작동하는 하나의 model을 만드는 것이다. 이 말인 즉슨, task를 수행하기 위해 오직 매우 적은 부분만이 활성화된다는 것이다. 사실 모델은 task에 대해 모델의 어떤 부분을 활성화시켜야 좋은지에 대해 역동적으로 학습한다. 이 과정을 통해 모델의 가장 관련성이 높은 부분을 통해 task를 라우팅하는 방법을 배운다. 이러한 구조는 모델에게 다양한 task에 대해 배울 수 있는 넓은 수용량을 줄 뿐만 아니라, 더욱 빠르고 호율적이게 만들어 준다. 왜냐하면 모든 task에 대해서 전체 네트워크를 작동시키는 것이 아니기 때문이다.

 

 예를 들어서, GSared와 Swin Transformer는 가장 큰 머신 러닝 모델들이지만, 이 둘은 sparse activation을 사용하기 때문에, 유사한 크기의 모델에 비해 10분의 1의 에너지만을 소모한다. 물론 성능은 유지한 채 말이다! 요약하자면, 요즘의 머신러닝 모델들은 너무 하나의 task에 특화되어 있다. 이들은 더 많은 task에 대해서도 충분히 수행할 수 있음에도 불구하고 말이다!! 이들은 여러 입력을 통합할 수 있음에도 불구하고 오직 하나의 입력 형태에만 의존하고, 능숙함과 전문 지식의 전문화가 필요할 때에도 무차별적인 대입에 의존하는 경향이 있다..

 

 이는 Pathways가 개발된 계기이기도 하다. Pathways는 하나의 task를 수행하는 하나의 AI 시스템들 수천, 수만개를 일반화시켜서, 서로 다른 타입의 데이터를 이해할 수 있게 하면서, 우수한 효율성 또한 보여준다. 단순히 패턴을 인식하는 단일 목적 모델의 시대에서 보다 범용적인 지능형 시스템이 우리 세계에 대한 더 깊은 이해를 반영하고 새로운 요구에 적응할 수 있는 시대로 우리를 발전시킬 것이다.

 

 

 

 

https://blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/

Introducing Pathways: A next-generation AI architecture