구글의 최강 챗봇, LaMDA에 대해 알아보자! Language Models for Dialog Applications 논문 리뷰

 먼저 포스트를 시작하기 전에, 요즘의 논문들은 뭐가 이리도 분량이 많은 건지,, 이 LaMDA의 논문만 해도 40페이지를 넘기는 분량을 보여준다. 그래서 본 포스트는 구글에서 직접 LaMDA를 소개한 블로그의 내용도 함께 인용하여 작성되었다는 점을 감안해주셨으면 합니다 ㅎㅎ 그러면 바로 논문 리뷰 포스트로 뛰어 들어가 볼까요~??

 

 

The overview of this paper

  Language Model, 즉 LM은 발전에 발전을 거듭하여 NLP 분야에 사용되지 않는 분야가 없을 정도로 엄청난 성능을 자랑하고 있다. 예를 들어서, 언어 번역, 문서 요약과 같은 분야에도 사용된다. 이들 중에서도 오픈 챗봇은 어떠한 주제에 대해서도 대화를 할 수 있는 능력을 요구한다. 그래서 넓은 분야의 지식과 잠재적 응용을 필요로 하기에 아마도 가장 어려운 주제 중 하나일 것이다..! 게다가 챗봇은 사람과의 대화에서 윤리적이어야 하고, 외부 정보로 얻게 된 정보가 아닌 정보를 사용해서는 안 된다.

 

 구글에서는 발전된 챗봇 모델인 'LaMDA'를 소개하였다. 이 논문에서는 이 모델의 대략적인 구조와 모델의 안정성$($safety$)$, groundedness$($죄송합니다 자세한 해석을 뭐라 해야할 지 모르겠네요 ㅠㅠ$)$, 마지막으로 높은 퀄리티에 대해 연구하였다. LaMDA는 대화에 특화된 Transformer 기반의 신경망 LM을 fine-tuning하여 제작되었고, 약 1370억 개의 파라미터로 이루어져 있다. 그리고 LaMDA는 외부의 지식들을 레버리징하면서 학습되었다.

 

 

목표 & 방법

 LaMDA는 총 3개의 주된 목적을 가지고 개발되었는데, 각각 퀄리티, 안정성, groundedness이다. 각각은 다음의 명시된 방법들로 측정되었다.

 

• Quality: 논문에서는 퀄리티를 '얼마나 알맞는가$($Sensibleness$)$', '얼마나 구체적인가$($Specificity$)$', '얼마나 흥미로운가$($Interestingness$)$' 세 개의 차원으로 분해하였는데, 각각은 사람이 평가하였다. 각각 하나씩 살펴보면, Sensibleness는 문맥의 흐름에 얼마나 알맞는 대답을 내었는지를 측정하는 지표이다. Specificity는 모델이 이전 dialog context에 대해 얼마나 구체적인 대답을 내었는지를 측정하는 지표이다$($단, 모든 문장에 대해 보편적으로 답할 수 있는 문장은 치지 않는다.$)$. 마지막으로, Interestingness는 모델이 얼마나 통찰력 있고, 예상하지 못한 위트있는 답변을 함으로써 더욱 사실같은 채팅을 만드는가를 평가하는 지표이다.

 

• Safety: 모델을 개발할 때, 좋은 성능을 내는 것도 중요하지만, 그만큼 AI 윤리를 따라는 것 또한 중요하게 생각하였다. Safety는 채팅에서 모델이 표시해야 하는 동작을 캡처하는 안전 목표의 설명 세트로 구성되어있다. 이러한 목표는 모델의 출력이 유저에게 피해가 가도록 고의된 결과를 내놓지 못하도록 하고, 부당한 편향을 강화하지 않도록 하기 위해 시도되었다. 예를 들어, 이러한 목적은 모델이 폭력적이거나, 특정 집단을 부정하거나, 신성 모독을 하는 등의 대답을 하지 않도록 학습시켰다. 

 

• Groundedness: 현재 LM의 generated sentence를 보면 그럴 듯 하게 보이지만, 외부 소스로부터 세워진 사실상 모순의 사실들이다. 이러한 점은 LaMDA에게 groundedness에 대해 학습하도록 하게 하였다. Groundedness는 외부 세계에 대한 주장을 포함하는 모든 응답의 비율로 권위 있는 외부 출처에 의해 뒷받침될 수 있는 외부 세계에 대한 주장이 있는 응답의 비율로 정의된다. 이와 관련된 방법인 Informativeness는 모든 응답의 비율로 알려진 소스에 의해 뒷받침될 수 있는 외부 세계에 대한 정보가 포함된 응답의 비율로 정의된다. 따라서, 실제 세계의 정보를 포함하고 있지 않은 casual response는 Informativeness에는 영향을 주지만, Groundedness에는 영향을 주지 않는다. 알려진 출처에서 LaMDA가 생성한 응답은 사실에 근거한다고 보장하지는 않지만, 사용자 또는 외부 시스템이 해당 출처의 신뢰성을 기반으로 응답의 유효성을 판단할 수 있게 한다. 

 

LaMDA Pre-training

 목적과 방법이 정의됨과 함께, LaMDA의 two-stage training인 pre-training과 fine-tuning을 소개하였다. pre-training의 단계에서 우선 1.56조 가량의 단어를 포함하고 있는 데이터셋을 생성하였다. 이는 구글이 이전에 개발했던 챗봇 모델보다 대략 40배 가량 많은 양의 데이터이다. 이 데이터는 대중들의 대화 데이터와 다른 공공 웹 문서로부터 수집되었다. 이 데이터셋을 토큰화한 결과, 2.81조 개의 SentencePiece 토큰으로 나눠졌고, GSPMD을 사용하여 이전의 토큰을 토대로 다음 토큰을 예측하는 방식으로 pre-train 하였다. 이러한 방식은 GPT와 크게 다른 점이 없다. 이 pre-train된 LaMDA 모델은 이 외에도 NLP 분야에서 다양하게 사용되었다. 

 

 

LaMDA Fine-Tuning

 fine-tuning 단계에서는, LaMDA에게 문장이 주어졌을 때, 그에 대한 응답을 생성하는 task와 safe하고 high-quality한 응답을 분류하는 task를 동시에 진행시킴으로써, 하나의 모델에 multi-task가 수행 가능한 모델을 만들었다. LaMDA generator는 두 작성자 간의 앞뒤 대화로 제한된 대화 데이터셋에서 다음 토큰을 예측하도록 훈련되었고, LaMDA classifier은 라벨링된 데이터에 대해 응답의 Safety and Quality rating$($SSI$)$를 예측하면서 학습되었다. 채팅 중에는, LaMDA generator가 몇 개의 후보 응답을 생성하고, LaMDA classifier가 모든 후보 응답에 대해 SSI를 구하였다. 그리고 후보 응답들은 우선 낮은 Safety score에 따라 필터링된다. 그 후에 남은 후보 응답들은 SSI score에 따라 다시 랭크되고, 가장 위에 있는 후보가 응답으로 선택된다. LaMDA classifier로 생성 작업에 사용되는 훈련 데이터를 추가로 필터링하여 고품질 응답 후보의 밀도를 높였다.

 

그림 1. LaMDA generator가 후보 응답을 생성하고, LaMDA classifier가 후보 응답에 점수를 매김

 

 

Factual Grounding

 사람들은 그들의 fact를 도구를 사용하거나 지식 베이스를 참고하면서 확인할 수 있지만, 많은 LM들은 그들의 지식을 오직 파라미터 속에 그리는 수밖에 없다. LaMDA의 original 응답의 groundedness를 향상시키기 위해, LaMDA와 사람 간의 대화를 수집하여 데이터셋을 만들었다. 여기에는 정보 검색 쿼리 및 해당되는 경우에는 검색된 결과로 주석이 추가된다. 그 다음에, LaMDA의 generator와 classifier을 이 데이터셋에 기반을 두고 학습시켰는데, 이는 LaMDA와 유저 간의 대화에서  LaMDA의 응답에 대한 groundedness를 향상시키기 위해, 외부 정보 검색 시스템을 활용하기 위해서이다. 이것은 매우 초기적 작업이지만, 이를 통해 희망적인 결과를 얻을 수 있었다.

 

그림 2. LaMDA는 의인화가 가능한데, 모델이 자기 자신을 에베레스트 산이라고 생각하는 의인화를 한 예시이다.

 

 

평가

 논문에서 제안한 key metrics에 대한 progress를 측정하기 위해, pre-trained model, fine-tuned model, 그리고 평론가들로부터 multi-turn 2저자 대화를 위해 대화 데이터를 수집하였다. 그리고, 또 다른 평론가 그룹에게는 이 응답들에 대해 Quality, Safety, Groundedness를 평가하도록 하였다.

 

 그 결과, LaMDA는 모든 차원과 모든 모델 크기의 비교에도 불구하고, 모든 모델 중 가장 좋은 성능을 보여줬다. Quality meric은 fine-tuning이 있든 없든 모델의 파라미터 수를 향상시켰다. Safety는 혼자 model을 scaling할 때는 별 이익이 없는 것처럼 보였지만, fine-tuning과 함께할 때, 향상을 보여줬다. Groundedness는 모델의 크기가 커짐에 따라 향상되었는데, 왜냐하면 더욱 큰 모델은 더 많은 양의 새로운 지식에 대한 메모리 수용량을 가지고 있기 때문이다. 하지만, fine-tuning을 통해 모델이 외부 지식 소스에 액세스하고 지식을 기억하는 일부 부하를 외부 지식 소스로 효과적으로 이동시킬 수 있었다. fine-tuning과 함께라면, model이 사람 수준의 safety와 groundedness를 유지하면서, 사람 수준의 quality와 gap을 많이 좁힐 수 있었다. 

 

그림 3. pre-trained model(PT), fine-tuned model(LaMDA), human rater-generated dialog에 대해 Sensibleness, Specificity, Interestingness, Safety, Groundedness, Informativeness를 비교하였음.

 

 

 

 

출처

https://ai.googleblog.com/2022/01/lamda-towards-safe-grounded-and-high.html

LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything

https://arxiv.org/abs/2201.08239

LaMDA: Language Models for Dialog Applications

https://jiho-ml.com/weekly-nlp-50/

https://jiho-ml.com/weekly-nlp-51/