[Machine Learning] Multiclass Classification

Multiclass Classification: One-vs-all

 이제부터 두 개 이상의 카테고리를 가지는 데이터에 대해서는 이 방식을 사용하여 분류할 것이다. $y={0,1}$ 대신에, 좀 더 확장된 $y={0,1,...,n}$을 사용할 것이다.

 

 $y={0,1,...,n}$이므로 문제를 $n+1$ 이진 분류 문제로 나눈다. 각각에서 $y$가 우리의 클래스 중 하나의 구성원일 확률을 예측한다. 

 

 

 기본적으로 하나의 클래스를 선택해서 다른 모든 클래스를 하나의 두 번째 클래스로 묶는다. 이를 반복적으로 하여, 이진 logistic regression을 각 케이스에 적용시킨 다음에, 가장 높은 값을 반환한 hypothesis를 예측으로 사용한다. 다음의 그림은 하나의 데이터셋이 3개의 클래스로 분류되는 과정을 보여준다.

 

 

 이를 요약하면,  각 클래스에 대해 $y=i$인 확률을 예측하기 위해 logistic regression 분류기 $h_{\theta}(x)$를 학습시킨다. 새로운 $x$에 대해 예측을 하기 위해서는, $h_{\theta}(x)$의 값을 극대화시키는 클래스를 선택하면 된다.