Zero-shot, One-shot, Few-shot Learning이 무엇일까?

 요즘 머신러닝 논문들을 읽어보면 zero-shot, one-shot, few-shot 등을 많이 볼 수 있다. 이번 포스트에서는 이 용어들에 대해 알아보고 이 method들이 어떨 때 사용되는지 알아보았다.

 

Overview

머신러닝에서는 데이터가 충분하지 않을 때 사용할 수 있는 다양한 방법이 있다. N-shot learning은 딥러닝 모델이 5개 이하의 이미지만을 사용해서 학습될 때의 경우이다. N-shot learning 필드는 각 $K$ 클래스의 labeled sample의 수 $n$을 포함하고 있다. 이 N-shot learning은 다음의 3개로 나뉘어진다: zero-shot learning, one-shot learning, few-shot learning. 이 3 method는 training example의 가용성에 의존하여 사용된다. N-shot learning은 데이터셋이 크고, 데이터를 라벨링하는 것의 비용이 비싸다고 판단될 때 사용된다. 또는 여러 샘플을 사용할 수 있는 경우 각 작업에 대한 특정 기능을 추가하기 어려울 때 사용할 수 있다. 

 

 

Table of Contents

1. Zero-shot Learning

2. One-shot Learning

3. Few-shot Learning

 

 

1. Zero-shot Learning

zero-shot learning은 데이터 라벨링을 사용하지 않고 모델링을 학습하는 문제이다. zero-shot learning은 적은 양의 사람의 간섭을 받고, 모델은 이전에 학습된 개념과 추가적으로 존재하는 데이터에 의존한다. 자세히 말하면, 모델이 이미 알고 있는 클래스 간에 존재하는 관계에 대한 지식을 사용함으로써 새 클래스에 대한 예측을 만들어낸다. 이 method는 데이터 라벨링 task에 필요한 시간과 노력을 줄여준다. 훈련 예제를 제공하는 대신 zero-shot learning은 기계가 학습한 기존 범주와 관련시킬 수 있도록 새로운 범주에 대한 높은 수준의 설명을 제공한다. 

 

 zero-shot learning은 training과 inference, 두 개의 stage로 이루어져 있다. 학습에서 의미론적 속성의 중간 계층을 캡처한 다음 추론 단계에서 이 지식을 활용하여 새로운 클래스 집합 사이에서 범주를 예측한다. 이 수준에서 두 번째 계층은 속성과 클래스 간의 관계를 모델링하고 클래스의 초기 속성 서명을 사용하여 범주를 수정한다.

 

zero-shot learning (그림 출처: The Essential Guide to Zero-Shot Learning [2023])

 

 

2. One-shot Learning

 one-shot learning은 과거의 데이터를 사용해서 분류를 수행한다. one-shot learning의 경우에 오직 하나의 각 클래스의 example을 가지고 있다. 이제 모델은 하나의 예시에 기반하여 새로운 클래스에 대해 예측을 하는 것이 목표이다. 얼굴 인식 기술 같은 경우에도 보통 one-shot learning을 사용한다. 

 

one-shot learning (그림 출처: How do zero-shot, one-shot and few-shot learning differ?)

 

3. Few-shot Learning

 Few-shot learning은 새로운 데이터로부터 작은 example set을 사용해서 새로운 task를 학습하는 low-short learning이라고도 알려져 있다. few-shot learning에서는 각 클래스에 대해 한정된 수의 labeled example을 가지고 있다. few-shot learning에서 목표는 labeled data의 적은 example을 기반해서 새로운 클래스에 대한 예측을 내놓는 것이다. few-shot learning을 보면 one-shot learning과 유사하다는 것을 알 수 있는데, 실제로 few-shot learning은 one0shot learning의 보다 더 유동적인 버전이다. training example면에서 few-shot learning이 하나보다 더 많다는 차이가 있다. 

 

few-shot learning (그림 출처: Everything you need to know about Few-Shot Learning)

 

 

 이번 포스트에서는 데이터가 부족하거나 데이터의 라벨링에 큰 비용이 소모된다고 예상될 때 사용할 수 있는 방법인 Meta Learning에 대해 알아보았다. 물론 많이 부족하고 개념적인 부분만 짚고 넘어가긴 했지만, 이 포스트가 Meta Learning의 개념적 부분을 알고자 하는 사람들에게 도움이 되었으면 하면서 포스트를 마치겠다.

 

 

 

 

출처

https://analyticsindiamag.com/how-do-zero-shot-one-shot-and-few-shot-learning-differ/

How do zero-shot, one-shot and few-shot learning differ?

https://velog.io/@yjkim0520/Few-Shot-Learning-One-shot-Zero-shot-

Few Shot Learning (One shot, Zero shot ...)

https://www.techopedia.com/definition/34949/zero-shot-one-shot-few-shot-learning

What is Zero-Shot, One-Shot, Few-Shot Learning? - Definition from Techopedia