'Paper Reading 📜/Natural Language Processing' 카테고리의 글 목록 (4 Page)

Paper Reading 📜/Natural Language Processing

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks 논문 리뷰

2023.04.03

The overview of this paper BERT와 RoBERTa는 semantic textual simialrity$($STS$)$ 같은 문장 쌍 회귀 task에 대해서 새로운 SoTA performance를 달성하였다. 하지만 이러한 task는 두 문장이 네트워크에 입력되어야 하므로 상당한 computational overhead를 발생시킨다. BERT를 사용하여 10,000개 문장의 모음에서 가장 비슷한 짝을 찾는 것은 5,000만 번의 추론 계산이 필요하다. 이러한 BERT의 구조는 semantic similarity search 뿐만 아니라 clustering 같은 unsupervised task에 대해서는 부적합하다. 논문에서는 simase & triplet network를 사용해서 c..

Paper Reading 📜/Natural Language Processing

Data Augmentation methods in NLP

2023.03.29

현재 딥러닝 분야에서는 데이터의 부족에 시달리고 있다. 왜냐하면 모델의 성능을 향상시키기 위해서는 더 많은 데이터가 필수적인데 이를 위해 필요한 데이터의 양은 한정적이기 때문이다. 따라서 이를 해결하기 위해 발명된 기술이 Data Augmentation이다. Data Augmentation에 대해 간략하게 설명하면 기존에 존재하는 데이터에 약간의 변형 또는 손상을 가해서 새로운 데이터를 만드는 방법이다. 이 방법은 주로 Computer VIsion 분야에서 사용되는데 NLP에도 Data Augmentation 기법이 존재한다는 사실을 알게 되고 한 번 공부해보면서 포스트를 작성하였다. 이 포스트는 다음의 블로그들을 참고하여 작성되었다. https://neptune.ai/blog/data-augmentat..

Paper Reading 📜/Natural Language Processing

GPT-4 Techinal Report Review

2023.03.28

Introduction GPT-4는 real-world에서는 사람보다 조금 못한 능력을 보여주지만, 그래도 전문적 및 학문적 벤치마크에서 사람 수준의 성능을 보여주는 large multimodel model$($이미지와 텍스트를 입력으로 받고, 텍스트 출력을 내놓음$)$ 이다. 예를 들어 변호사 자격증 시험$($simulated bar exam$)$에서 GPT-3.5의 하위 10% 기록과 상반되게 상위 10%의 성적을 기록하였다. 6개월 동안 적대적 테스트 프로그램과 ChatGPT의 교훈을 사용하여 GPT-4를 반복적으로 조정하여 사실성$($factuality$)$, 조종성$($steerability$)$ 및 가드레일을 벗어나지 않는 측면에서$($완벽하지는 않지만$)$ 최고의 결과를 얻었다. 불과 1년 ..

Paper Reading 📜/Natural Language Processing

BigBird: Transformers for Longer Sequences 논문 리뷰

2023.03.25

The overview of this paper Transformer 기반의 BERT 같은 모델은 NLP 분야에서 가장 성공한 모델 중 하나이다. 하지만 불행하게도, Transformer 기반 모델들의 가장 큰 약점은 full attention 메커니즘 때문에 sequence의 길이에 따라 메모리 사용량이 곱절로 늘어난다는 것이다. 이를 완화하기 위해, 논문에서는 이러한 quadratic을 linear로 줄인 sparse attention 메커니즘을 사용한 Big Bird를 제안하였다. 논문에서는 BigBird가 sequence 함수의 범용적인 근사치가 되고 Turing complete하다고 말했다. 그리고 BigBird는 full attention model의 quadratic 특성을 보존하였다. 논문..

Paper Reading 📜/Natural Language Processing

Sparse Transformers: Generating Long Sequence with Sparse Transformers 논문 리뷰

2023.03.22

The overview of this paper Transformer는 매우 강력한 sequence model이지만, sequence의 길이에 따라서 시간과 메모리가 곱절로 필요하다는 단점이 있다. 이 논문에서는 attention 행렬의 sparse factorization을 소개하였는데, 이는 Transformer의 시간 복잡도를 $O(n \sqrt{n})$으로 줄였다. 또한 논문에서는 다음의 내용들을 소개하였다. 더욱 깊은 네트워크를 학습시키기 위해 모델의 구조와 초기화에 변동을 주었음. attention 행렬의 재계산으로 메모리를 아낌. 학습을 위해 fast attention을 사용함. 이러한 변화를 준 모델을 Sparse Transformer라고 부르기로 했다. 이 모델은 수백개의 레이어를 사용해..

Paper Reading 📜/Natural Language Processing

GPT-3: Language Models are Few-Shot Learners 논문 리뷰

2023.03.21

ChatGPT 이후로 세상은 GPT-4의 출시로 인해 또 한 번 들썩이고 있다. 필자도 GPT-4가 처음 나오고 OpenAI의 소개 영상을 보고 GPT-4의 능력에 대해 강한 궁금증을 가지고 있는 상태이다. GPT-4를 리뷰하기 전에 GPT-3에 대해서 먼저 리뷰해야겠다는 생각에 이렇게 리뷰를 해본다. GPT-3를 소개한 논문인 'Language Models are Few-Shot Learners'는 총 75페이지에 달하는 긴 논문이기 때문에 다 리뷰하는 것에는 무리가 있어 특정 부분만 리뷰하였다. The overview of this paper 최근의 연구들에 의하면 많은 NLP task에 대해 상당한 수준의 벤치마크를 얻게 된 데에는 거대한 양의 text corpus에 대해 pre-training하고..

Paper Reading 📜/Natural Language Processing

TinyBERT: Distilling BERT for Natural Language Understanding 논문 리뷰

2023.03.12

The overview of this paper BERT와 같은 LM pre-training은 여러 NLP task에 대해 상당히 성능을 향상시켰다. 하지만, PLM은 보통 계산적 비용이 매우 비싸고, 그에 따라서 자원이 제한된 환경에서 실행하는데 어려움이 있다. 논문에서는 Transformer distillation method를 제안해서 추론 속도를 빠르게 하고, 모델 크기도 줄어들게 하고, 그 대신에 정확도는 유지시켰다. 이 Transformer distillation method는 Transformer 기반 모델에 대해 knowledge distillation$($KD$)$을 적용시켰다. 이를 위해 풍부한 지식을 가지고 있는 큰 'teacher' BERT에서 작은 'student' TinyBERT..

Paper Reading 📜/Natural Language Processing

Pre-LN Transformer: On Layer Normalization in the Transformer Architecture 논문 리뷰

2023.03.09

The overview of this paper Transformer는 NLP task에서 널리 사용된다. 하지만 Transformer를 학습시키기 위해, 대게 신중하게 디자인된 learning rate warm-up stage를 사용한다. 이 learning rate warm-up stage는 최종 성능에 많은 영향을 끼치지만, optimization의 속도를 저하시키고 더 많은 hyper-parameter tuning을 필요로 한다. 이 논문에서는 learning rate warm-up stage가 왜 필수적인지와 layer normalization$($LN$)$의 위치에 대한 연구를 진행하였다. 구체적으로, 논문에서는 초기화 시 residual block 사이에 layer normalization을..

Paper Reading 📜/Natural Language Processing

Longformer: The Long-Document Transformer 논문 리뷰

2023.03.07

The overview of this paper 기존의 Transformer 기반의 모델들은 long sequence 처리가 불가능하였다. 왜냐하면, 계산량이 기하급수적으로 늘어났기 때문이다. 이러한 제약을 해결하기 위해, sequence length에 따라 선형적으로 스케일링되는 attention mechanism을 가지고 있는 Longformer을 소개하였다. 이는 수천개 또는 더 긴 토큰을 가지는 문서에 대해서도 쉽게 처리할 수 있게 만들어주었다. Longformer의 attention mechanism은 기존의 self-attention에 대한 drop-in 대체이고, local windowed attention과 task motivated global attention을 합쳤다. 이전의 long..

Paper Reading 📜/Natural Language Processing

SpanBERT: Improving Pre-training by Representing and Predicting Spans 논문 리뷰

2023.03.06

The overview of this paper 논문에서는 텍스트 범위를 더욱 잘 표현하는 pre-training method인 SpanBERT를 소개하였다. 논문에서의 방식은 BERT를 다음과 같이 확장하였다. 1. 랜덤 토큰을 마스킹하기 보다는 인접한 랜덤 토큰을 마스킹 2. Span Boundary Representations$($SBO$)$를 학습시켜 각각의 token representation에 의존하지 않고 masked token의 전체 내용을 예측. SpanBERT는 BERT를 능가하는 성능을 보여줬고, SpanBERT는 QA와 coreference resolution 같은 span selection 문제에서 좋은 성능을 보여줬다. Table of Contents 1. Introduction..

티스토리툴바