'LM' 태그의 글 목록

Insight 😎

LM을 가장 최적으로 평가할 수 있는 방법은 무엇일까? 😎

2023.07.27

이번 포스팅은 기존의 포스팅과 살짝 다르게 PPT 자료를 활용하여 설명하도록 하겠다. 이번 포스팅의 주제는 제목에서 보여지는 것처럼 LM의 Evaluation metric에 대해서 알아보는 시간을 가져보려고 한다! 😊 기존의 Evaluation metric에 대해서 알아보고, 기존 metric들에 어떠한 문제가 있는지 알아본 뒤, 마지막으로 어떤 개선안들이 생겨났는지에 대해서 한 번 알아보도록 하겠다. 만약 PPT를 보면서 궁금하거나 오류가 있는 것 같은 사항들은 PPT 또는 포스팅에 댓글을 달아주시면 답변을 달아놓도록 하겠습니다! 재밌게 봐주십쇼! 🤩 https://docs.google.com/presentation/d/1XL_B0nI-yp2dgLDVrEzTlLcg9DpUnALBklmpJ4iOZRw/e..

Insight 😎

LM의 context window, 길어야 할까? 짧아야 할까? 📏🤨

2023.07.26

Newly spotlighted elements of LM ✨ LM은 시시각각 변화해가고 있다. 며칠 전에 새롭게 발표된 모델이 오늘에서는 그 면모가 낱낱이 파악되어 부족한 점들이나 단점들이 지적받고 있는 요즘이다. 😥 그만큼 LM은 그것이 파라미터든 데이터든 다방면으로 빠르게 변화해나가고 있는데, 이번 포스팅에서 다뤄보고자 하는 내용은 오랜 시간 동안 별로 건드려지지 않다가 최근에 여러 연구(Chen et al., 2023, Ding et al., 2023, Liu et al., 2023)를 통해 다시 각광받고 있는 내용인 LM의 context window에 대해서 얘기해보고자 한다! 😊 What is the 'context window'? 🤔 시작하기에 앞서서 이번 포스팅에서 중요하게 다뤄볼 내용인 ..

Insight 😎

How has scaling law developed in NLP? 🤔 - NLP에서 scaling law는 어떻게 발전되었을까?

2023.07.24

Before Starting.. 2017년 NLP를 포함한 지금까지의 딥러닝의 판도를 뒤집어엎는 혁신적인 모델인 'Transformer'가 제안되었다. 이번 포스팅에서 다뤄볼 내용은 Transformer에 대한 자세한 내용이 아니기에 따로 깊이 알아보지는 않겠지만, 이번 포스팅을 이해하기 위해서는 이 모델의 사이즈에 대해서는 알아둘 필요가 있다. Transformer의 사이즈는 465M 개의 파라미터를 가지는 모델이었다. 하지만, 불과 3년 만에 이 사이즈가 정말 작게 느껴지게 할 만큼 큰 사이즈의 모델인 GPT-3(175B)가 나오게 되었다. 그리고 현재까지도 이보다 더 큰 모델들은 계속 나오고 있다. LM의 사이즈가 이렇게 점점 커지게 된 이유는 무엇일까? 그 이유는 Kaplan et al. 2020..

LM을 가장 최적으로 평가할 수 있는 방법은 무엇일까? 😎

LM의 context window, 길어야 할까? 짧아야 할까? 📏🤨

How has scaling law developed in NLP? 🤔 - NLP에서 scaling law는 어떻게 발전되었을까?

티스토리툴바