LLM

Insight 😎

LM을 가장 최적으로 평가할 수 있는 방법은 무엇일까? 😎

2023.07.27

이번 포스팅은 기존의 포스팅과 살짝 다르게 PPT 자료를 활용하여 설명하도록 하겠다. 이번 포스팅의 주제는 제목에서 보여지는 것처럼 LM의 Evaluation metric에 대해서 알아보는 시간을 가져보려고 한다! 😊 기존의 Evaluation metric에 대해서 알아보고, 기존 metric들에 어떠한 문제가 있는지 알아본 뒤, 마지막으로 어떤 개선안들이 생겨났는지에 대해서 한 번 알아보도록 하겠다. 만약 PPT를 보면서 궁금하거나 오류가 있는 것 같은 사항들은 PPT 또는 포스팅에 댓글을 달아주시면 답변을 달아놓도록 하겠습니다! 재밌게 봐주십쇼! 🤩 https://docs.google.com/presentation/d/1XL_B0nI-yp2dgLDVrEzTlLcg9DpUnALBklmpJ4iOZRw/e..

Insight 😎

How has scaling law developed in NLP? 🤔 - NLP에서 scaling law는 어떻게 발전되었을까?

2023.07.24

Before Starting.. 2017년 NLP를 포함한 지금까지의 딥러닝의 판도를 뒤집어엎는 혁신적인 모델인 'Transformer'가 제안되었다. 이번 포스팅에서 다뤄볼 내용은 Transformer에 대한 자세한 내용이 아니기에 따로 깊이 알아보지는 않겠지만, 이번 포스팅을 이해하기 위해서는 이 모델의 사이즈에 대해서는 알아둘 필요가 있다. Transformer의 사이즈는 465M 개의 파라미터를 가지는 모델이었다. 하지만, 불과 3년 만에 이 사이즈가 정말 작게 느껴지게 할 만큼 큰 사이즈의 모델인 GPT-3(175B)가 나오게 되었다. 그리고 현재까지도 이보다 더 큰 모델들은 계속 나오고 있다. LM의 사이즈가 이렇게 점점 커지게 된 이유는 무엇일까? 그 이유는 Kaplan et al. 2020..

LM을 가장 최적으로 평가할 수 있는 방법은 무엇일까? 😎

How has scaling law developed in NLP? 🤔 - NLP에서 scaling law는 어떻게 발전되었을까?

티스토리툴바