[Machine Learning] Classification & Representation

Classification

 분류를 하기 위한 한 가지 방법으로는, 선형 회귀를 사용해서 0.5보다 큰 값은 1로, 0.5보다 작은 값은 0으로 매핑을 하는 방법이 있다. 하지만, 이 방법은 잘 작동하지 않는데, 보통 분류 문제가 선형 함수 문제가 아니기 때문이다.

 

 분류 문제는 예측하려는 값이 소수의 이산값만 취한다는 점을 제외하면 회귀 문제와 같다. 지금부터는 이진 분류 문제에 집중할 것이다. 이 문제에서 $y$는 0과 1, 오직 두 값만 가질 수 있다. 예를 들어, 스팸 분류기를 만든다고 할 때, $x_{i}$는 이메일의 feature가 되고, $y$는 스팸 메일일 경우 1, 아닐 경우 0이 된다. 그래서 $y \in {1, 0}$이 된다. 0은 negative class로 불리고, 1은 positive class로 불린다. 그리고 이들은 기호 "-"와 "+"로 나타내지기도 한다. $x^{(i)}$가 주어지면, 그에 상응하는 $y^{(i)}$는 training example을 위한 라벨이 된다.

 

Hypothesis Representation

 $y$가 이산값이라는 사실을 무시하고, 기존의 선형 회귀 알고리즘을 사용해서 주어진 $x$에 대해 $y$를 예측하는 방식으로 접근해보자. 그러나 이 방법이 매우 열악한 example을 구성하는 것은 쉽다. 직관적으로, $h_{\theta}(x)$에 대해 1보다 큰 값이나 0보다 작은 값을 가질 수 없다. 왜냐하면, $y \in {0,1}$이기 때문이다. 이를 고치기 위해, hypothesis $h_{\theta}(x)$의 형태를 $0 \leq h_{\theta}(x) \leq 1$을 만족하도록 바꿔보자. 이는 Logistic Funtion에 $\theta^{T}x$을 넣음으로써 성취할 수 있다.

 

 이렇게 얻게 된 새로운 형식은 "Sigmoid Function"을 사용한다.

 

 

 다음의 그림은 sigmoid function의 모습을 보여주고 있다.

 

 

 함수 $g(z)$는 어떤 실수든 간에 모두 (0, 1)의 범위안으로 매핑한다. 이는 임의 값 함수를 분류에 더 적합한 함수로 변환하는 데 유용하다. 

 

 $h_{\theta}(x)$는 출력이 1일 확률을 준다. 예를 들어, $h_{\theta}(x) = 0.7$일 때 70%의 확률로 출력이 1이라는 확률을 준다. 이 예시에서 출력이 0일 확률은 100 - 70인 30%이다.

 

 

 

Decision Boundary

 불연속 0 또는 1의 분류를 얻기 위해, hypothesis function의 출력을 다음과 같이 변환할 수 있다.

 

 

 이를 logistic function $g$에 적용하면, 입력값이 0보다 크거나 같을 때, 출력값은 0.5보다 크거나 같다.

 

 

 다음의 식을 기억해두자.

 

 

 $g$에 대한 입력값이 $\theta^{T}X$이면, 이는 다음과 같다.

 

 

 이러한 설정에서는 이제 이렇게 말할 수 있다.

 

 

 decision boundary는 $y=0$과 $y=1$로 구분하는 선이다. 이는 hypothesis function에 의해 만들어지게 된다.

 

Example:

 

 

 이 경우에 decision boundary는 그래프에서 $x_{1} = 5$인 수직선을 나타낸다. 이 수직선의 왼쪽에 있는 모든 값은 $y=1$이고, 오른쪽에 있는 모든 값은 $y=0$이다.

 

 다시 말해서, sigmoid function $g(z)$의 입력은 선형일 필요가 없고, 함수가 원형이나 다른 모양이어도 상관 없다!