'Paper Reading 📜/Natural Language Processing' 카테고리의 글 목록 (6 Page)

Paper Reading 📜/Natural Language Processing

만약 모델이 여러 감각을 느낄 수 있게 된다면? - Pathways 리뷰

2023.02.01

이 포스트의 제목을 보면은 '무슨 소리를 하는 거지?' 라는 생각이 들 것이다. 하지만 조금 더 깊게 생각해보자. 우리 인간은 어떤 문제를 접하거나 해결할 때, 하나 이상의 감각을 사용한다. 예를 들어서, 컵을 집는다는 상황이 생겼을 때, 먼저 시각으로 컵의 생김새와 컵의 위치를 확인하고, 촉감을 이용하여 컵의 생김새를 확인하고 집는다. 이와 같이, 한 가지 행동을 행할 때에도, 하나 이상의 감각을 사용한다. 하지만, 현재 개발되는 AI 모델들을 보면, 대부분이 오직 하나의 task에만 집중한 모델들만이 개발된다. 예를 들어서, text에 특화된 모델과 image에 특화된 모델이 있다고 해보자. 이 둘은 각각의 task에서는 훌륭한 성능을 보여주지만, 이 둘을 한꺼번에 처리하는 모델은 흔치 않다. 이러한..

Paper Reading 📜/Natural Language Processing

구글의 최강 챗봇, LaMDA에 대해 알아보자! Language Models for Dialog Applications 논문 리뷰

2023.02.01

먼저 포스트를 시작하기 전에, 요즘의 논문들은 뭐가 이리도 분량이 많은 건지,, 이 LaMDA의 논문만 해도 40페이지를 넘기는 분량을 보여준다. 그래서 본 포스트는 구글에서 직접 LaMDA를 소개한 블로그의 내용도 함께 인용하여 작성되었다는 점을 감안해주셨으면 합니다 ㅎㅎ 그러면 바로 논문 리뷰 포스트로 뛰어 들어가 볼까요~?? The overview of this paper Language Model, 즉 LM은 발전에 발전을 거듭하여 NLP 분야에 사용되지 않는 분야가 없을 정도로 엄청난 성능을 자랑하고 있다. 예를 들어서, 언어 번역, 문서 요약과 같은 분야에도 사용된다. 이들 중에서도 오픈 챗봇은 어떠한 주제에 대해서도 대화를 할 수 있는 능력을 요구한다. 그래서 넓은 분야의 지식과 잠재적 응용..

Paper Reading 📜/Natural Language Processing

DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter 논문 리뷰

2023.01.25

본 포스트를 읽기 전에 DistilBERT에 사용된 메인 테크닉인 Knowledge Distillation에 대해서 먼저 학습하시길 바랍니다. 다음의 포스트를 참고하시오. The overview of this paper NLP에서 large-scale의 pre-trained model을 활용하여 transfer learning을 처리하는 일이 흔해지면서, 이 거대한 규모의 모델을 한정된 자원으로 어떻게 구동할지는 아직도 어려운 문제로 남아있다. 그래서 이 논문에서는 작은 규모의 general purpose language representation model임에도 불구하고, 다양한 분야의 task에 대해 좋은 성능을 보여주는 DistilBERT를 제안하였다. 이 DistilBERT는 BERT에 비해 40..

Paper Reading 📜/Natural Language Processing

It's Not Just Size That Matters: Small Language Models Are Also Few-Shot Learners 논문 리뷰

2023.01.18

이 논문에서는 PET을 이용한다. 이 PET에 대해 궁금하다면 다음의 포스트를 확인하길 바란다. PET 논문 리뷰: https://cartinoe5930.tistory.com/entry/PET-Exploiting-Cloze-Questions-for-Few-Shot-Text-Classification-and-Natural-Language-Inference-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0 PET: Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference 논문 리뷰 이전에 리뷰했던 논문인 'It's Not Just Size That Metters; Small Langua..

Paper Reading 📜/Natural Language Processing

GPT-2: Language Models are Unsupervised Multitask Learners 논문 리뷰

2022.12.11

Pre-trained Language Modeling paper reading 요즘 NLP 분야에서 뜨거운 감자인 pre-trained Language Modeling에 관한 유명한 논문들을 읽고 리뷰를 하였다. 이번 포스트에서는 저번 포스트인 GPT-1의 후속 모델인 GPT-2에 대해서 리뷰하였다. ELMo: 'Deep contextualized word representations' reading & review BERT: 'Pre-training of Deep Bidirectional Transformers for Language Understanding' reading & review GPT-1: 'Improving Language Understanding by Generative Pre-Trai..

Paper Reading 📜/Natural Language Processing

GRU: Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation 논문 리뷰

2022.12.09

The overview of this paper 이 논문에서는 두 개의 RNN으로 구성된 RNN Encoder-Decoder로 불리는 새로운 신경망 모델을 제안하였다. 하나의 RNN은 고정된 길이의 벡터 representation에 심볼의 시퀀스를 인코드하였고, 다른 하나는 또 다른 심볼의 시퀀스에 representation을 디코드하였다. 제안된 모델의 인코더와 디코더는 source sequence가 주어졌을 때, target sequence의 조건부 확률을 최대화하기 위해 공동으로 학습된다. 통계적 기계 번역 시스템의 성능은 기존 로그 선형 모델의 추가 기능으로 RNN Encoder-Decoder에서 계산된 phrase pair의 조건부 확률을 사용하여 개선됨을 경험적으로 확인할 수 있었다. 정성적으..

Paper Reading 📜/Natural Language Processing

ELECTRA: Pre-training Text Encoders as Discriminators rather than Generators 논문 리뷰

2022.12.08

The overview of this paper BERT에서는 token을 [MASK]로 바꾸면서 입력에 손상을 주고, 이렇게 대체된 토큰을 기존의 토큰으로 재구조하는 Masked language modeling$($MLM$)$ pre-training 방법을 사용한다. 이러한 방법은 dowastream NLP task을 진행할 때, 좋은 결과를 보여주지만, 효과적으로 진행하기 위해서는 거대한 양의 컴퓨팅이 수행되어야 한다. 이에 대한 대안으로, 논문에서는 replaced token prediction이라는 sample-efficient 한 pre-training task를 제안하였다. 그다음에, 모델이 손상된 토큰의 기존 정체성을 예측하게 학습시키는 것 대신에, 손상된 입력의 각 토큰이 generator..

Paper Reading 📜/Natural Language Processing

ALBERT: A Lite BERT for Self-supervised Learning of Language Representations 논문 리뷰

2022.12.07

The overview of this paper 자연어를 pretraining할 때 증가된 모델의 크기는 downstream task에 대해 향상된 성능을 보여준다. 하지만, GPU 또는 TPU 메모리 제약에 가로막혀 training time에 제한이 생기게 된다. 이를 해결하기 위해 이 논문에서는 두 개의 parameter reduction 기술을 소개함으로써 기존의 BERT에서 적은 메모리 사용으로 더 향상된 속도의 training을 보여줬다. 종합적인 실험적 증거들은 제안된 방법이 기존의 BERT보다 더욱 잘 scale함을 보여줬다. 그리고 또한 inter-sentence의 일관성을 모델링하는 것에 집중하는 self-supervised loss를 사용하고, 이것이 다중 sentence 입력과 함께 ..

Paper Reading 📜/Natural Language Processing

RoBERTa: A Robustly Optimized BERT Pretraining Approach 논문 리뷰

2022.12.07

The overview of this paper 이 논문은 BERT의 replication study로 다양한 key parameter들과 training data의 크기의 중요성에 대해 알아보았다. 그 과정에서 연구진들은 BERT는 상당히 undertrained 되었다는 사실을 알아내었다. 그리고 BERT 이후에 출시된 모델들에 대해 BERT가 그에 웃도는 또는 능가하는 성능을 보여줄 수 있다는 것 또한 알아냈다. 실제로도 GLUE, RACE, SQuAD 같은 데이터셋에서 SoTA를 차지하기도 했다. 이러한 결과가 강조하는 것은 이전에 간과되었던 디자인 선택과 요즘에 발표되는 개선안들의 근원에 대해 의문점을 제기하였다. Table of Contents 1. Introduction 2. Backgroun..

Paper Reading 📜/Natural Language Processing

XLNet: Generalized Autoregressive Pretraining for Language Understanding 논문 리뷰

2022.12.06

What improvements have been made in this paper? XLNet 논문은 이전의 모델인 Transformer-XL을 소개한 연구진들이 후속으로 진행해서 발표한 논문으로, Transformer-XL을 개선시키고, BERT의 MLM으로부터 발생하는 문제들을 해결한 모델인 XLNet을 소개하였다. 이 XLNet의 특징은 다음과 같다. 이 XLNet은 당시에 SOTA였던 Transformer-XL의 아이디어를 통합하여 사전 훈련을 진행하였다. XLNet은 factorization order의 모든 순열에 대해 예상 가능성을 최대화하여 양방향으로 문맥을 학습할 수 있게 하였다. auto regressive formulation 덕분에 BERT의 제약을 극복할 수 있었다. 위와 같은 ..

티스토리툴바