LaMDA의 뒤를 잇는 Pathways를 사용한 초거대 언어 모델! - PaLM 리뷰$($2$)$

 저번 PaLM 리뷰 포스트에 이어서 두 번째 PaLM 리뷰 포스트입니다~! PaLM 리뷰 포스트$($1$)$을 보고 싶으시다면 여기를 참고해주시길 바랍니다!! 이번 포스트에서는 PaLM의 모델 구조에 대해 자세하게 다뤄보려고 합니다. 이 포스트는 PaLM을 소개한 논문인 'PaLM: Scaling Language Modeling with Pathways'를 참고하여 작성되었습니다.

 

 

PaLM Architecture

 PaLM은 기존의 Transformer architecture에서 오직 decoder만을 사용하였다. $($각 시점에서 오직 자신과 이전의 시점들만 볼 수 있음$)$ 그리고 이에 조금의 수정을 하였다.

 

• SwiGLU 활성화 함수: PaLM에는 SwiGLU 활성화 함수 $(Swish(xW) \cdot xV)$가 사용되었다. 왜냐하면, 기존의 ReLU와 GeLU, Swish activation보다 훨씬 향상된 성능을 보여줬기 떄문이다. 이 SwiGLU를 사용하기 위해서는 MLP에서 2개가 아닌 3개의 행렬곱이 필요하지만, 연구에 따르면 컴퓨팅 등가 실험에서 품질 향상을 보여주었다.

 

• 병렬 레이어: PaLM에서는 Transformer block에 대해 기존의 '직렬' 방식이 아닌, '병렬' 방식을 사용하였다. 기존의 직렬 방식은 다음과 같이 쓸 수 있다.

$y = x + MLP(LayerNorm(x + Attention(LayerNorm(x))))$

 

 여기서 병렬로 변환하면 다음과 같아진다.

 

$y = x + MLP(LayerNorm(x)) + Attention(LayerNorm(x))$

 

 병렬 방식을 사용하게 되면, 15% 정도 빠른 속도로 학습을 진행할 수 있다. 왜냐하면, MLP와 Attention의 입력 행렬곱이 한 번에 진행될 수 있기 때문이다.

 

• Multi-Query Attention: 기존의 Transformer 방식은 $k$ attention head를 사용하고, 각각의 attention head에서는 각 시점에 대한 입력 벡터는 모양 $[k, h]$의 "query", "key" 및 "value" 텐서로 linear projection된다. 여기서 $h$는 attention head의 크기이고, $key/value$ projection은 각 head에 대해 공유된다. 이러한 방식은 모델의 퀄리티와 학습 속도의 중립을 유지하는 효과를 가지고 있지만, autoregressive한 decoding time에서 상당한 비용 절약 효과를 가지고 있다. 이는 왜냐하면, 기존의 multi-headed attention은 가속기 하드웨어 위에서 autoregressive decoding 중에 낮은 효율성을 가지기 때문이다. 왜냐하면, $key/value$ tensor가 예시들 사이에서 공유되지 않고, 한 번에 오직 하나의 토큰만이 디코딩되기 때문이다.

 

• RoPE 임베딩: PaLM에는 absolute 또는 relative position embedding이 사용되지 않고, RoPE embedding이 사용되었다. 왜냐하면, RoPE embedding이 긴 문장 길이에 대해 더 좋은 성능을 보여줬기 때문이다.

 

• Shared Input-Output Embeddings: 이전 작업에서 자주$($보편적으로는 아니지만$)$ 수행되는 입력 및 출력 임베딩 행렬을 공유하였다.

 

• No Biases: dense kernel이나 layer norm에 어떠한 편향도 사용하지 않았다. 거대한 모델에 대해서는 이렇게 하는 것이 학습 안정성을 향상시켰기 때문이다.

 

• Vocabulary: PaLM은 256k개의 토큰을 가지는 SentencePiece vocabulary를 사용하였다. 여기서 256k개의 토큰은 과도한 토큰화를 하지 않고, 학습 코퍼스의 많은 수의 언어를 지원하기 위해 선택되었다. vocabulary는 학습 데이터로부터 생성되었고, 이것이 학습 효율성을 향상시킨다는 것을 알 수 있었다. vocabulary는 lossless하고 reversible한데, 이는 vocabulary에 white space가 완벽하게 보존된다는 의미이다. 그리고, vocabulary에 없는 Unicode character는 각 바이트에 대한 어휘 토큰과 함께 UTF-8 byte로 분할되었다. 숫자는 항상 각각의 digit token으로 분할되었다. $($123.5 -> 1 2 3 . 5$)$

 

 

Model Scale Hyperparameter

 모델의 크기를 여러가지로 하여 실험을 진행하였는데, 각각 540B, 62B, 8B개의 파라미터를 가지는 모델들이다. 각 모델들의 구체적인 설명은 다음의 표를 참고하여라.

 

표 1. model architecture detail

 

 

마무리

 이 포스트에서는 모델의 구조에 대해 간략하게 살펴보았다. 더욱 자세한 내용들까지 다루기에는 양이 너무 방대하여 이렇게까지만 작성한 점 양해 부탁드립니다,, 더욱 자세한 내용을 보고 싶으시면 아래 첨부되어 있는 논문을 한 번 읽어보시길 바랍니다!! 그럼 이만 포스트를 마쳐보도록 하겠습니다~

 

 

 

 

출처

https://arxiv.org/abs/2204.02311

PaLM: Scaling Language Modeling with Pathways