transformer

Insight 😎

LM의 context window, 길어야 할까? 짧아야 할까? 📏🤨

2023.07.26

Newly spotlighted elements of LM ✨ LM은 시시각각 변화해가고 있다. 며칠 전에 새롭게 발표된 모델이 오늘에서는 그 면모가 낱낱이 파악되어 부족한 점들이나 단점들이 지적받고 있는 요즘이다. 😥 그만큼 LM은 그것이 파라미터든 데이터든 다방면으로 빠르게 변화해나가고 있는데, 이번 포스팅에서 다뤄보고자 하는 내용은 오랜 시간 동안 별로 건드려지지 않다가 최근에 여러 연구(Chen et al., 2023, Ding et al., 2023, Liu et al., 2023)를 통해 다시 각광받고 있는 내용인 LM의 context window에 대해서 얘기해보고자 한다! 😊 What is the 'context window'? 🤔 시작하기에 앞서서 이번 포스팅에서 중요하게 다뤄볼 내용인 ..

Insight 😎

How has scaling law developed in NLP? 🤔 - NLP에서 scaling law는 어떻게 발전되었을까?

2023.07.24

Before Starting.. 2017년 NLP를 포함한 지금까지의 딥러닝의 판도를 뒤집어엎는 혁신적인 모델인 'Transformer'가 제안되었다. 이번 포스팅에서 다뤄볼 내용은 Transformer에 대한 자세한 내용이 아니기에 따로 깊이 알아보지는 않겠지만, 이번 포스팅을 이해하기 위해서는 이 모델의 사이즈에 대해서는 알아둘 필요가 있다. Transformer의 사이즈는 465M 개의 파라미터를 가지는 모델이었다. 하지만, 불과 3년 만에 이 사이즈가 정말 작게 느껴지게 할 만큼 큰 사이즈의 모델인 GPT-3(175B)가 나오게 되었다. 그리고 현재까지도 이보다 더 큰 모델들은 계속 나오고 있다. LM의 사이즈가 이렇게 점점 커지게 된 이유는 무엇일까? 그 이유는 Kaplan et al. 2020..

LM의 context window, 길어야 할까? 짧아야 할까? 📏🤨

How has scaling law developed in NLP? 🤔 - NLP에서 scaling law는 어떻게 발전되었을까?

티스토리툴바