[Machine Learning] Model & Cost Function

Model Representation

 앞으로 사용될 경우를 위해, 몇 가지 기호들을 정의하고 넘어가도록 하자. $x^{(i)}$는 입력 변수를 나타내고, 입력 특징이라고도 부른다. $y^{(i)}$는 출력 또는 타겟 변수를 나타내고, 이 값이 우리가 예측하고자 하는 값이다. $(x^{(i)}, y^{(i)})$ 쌍은 학습 예시라고 부르고, 이 데이터셋은 학습할 때 사용된다. 그리고 m개 학습 예시로 이루어진 리스트 $(x^{(i)}, y^{(i)}); i=1, ..., m$을 training set이러고 부른다. 그리고 이 모든 기호에서 등장한 "$i$"는 training set의 인덱스일 뿐, 지수의 역할을 하지 않는다! 🙅 또한, $X$는 입력 변수들의 공간을, $Y$는 출력 변수들의 공간을 나타낸다.

 

 supervised learning을 좀 더 공식적으로 설명하면, training set가 주어지면 함수 $h: X \to Y$를 학습하여 $h(x)$가 $y$의 해당 값에 대한 "좋은" 예측 변수가 되도록 하게 하는 것이다. 이 함수 $h$는 hypothesis$($가설$)$이라고 부른다. 이 과정을 그림으로 나타내면 다음과 같다.

 

 

 예측하려는 타겟 변수가 연속적일 때, 학습 문제를 "회" 문제라고 한다. $y$가 소수의 이산 값만 가질 수 있는 경우에는 이를 "분류" 문제라고 한다. 

 

 

Cost Function

 hypothesis function의 정확도를 cost function을 사용해서 측정할 수 있다. cost function은 모든 입력$x$에 대한 hypothesis의 결과와 실제 출력값 $y$를 비교해서, 평균 차를 구한다. 이를 수식화하면 다음과 같다.

 

 

 구분하자면, $\bar{x}$가 $h_{\theta}(x_{i}) - y_{i}$의 제곱의 평균 또는 예측 값과 실제 값의 차이인 $\frac {1}{2} \bar{x}$이다. 이 함수는 다른 말로 "squared error function$($제곱 오차 함수$)$" 또는 "Mean squared error$($평균 제곱 오차$)$"라고 부른다. 제곱 함수의 미분 항이 $\frac {1}{2}$ 항을 상쇄하므로 경사 하강 계산이 편의를 위해 평균을 $\frac {1}{2}$에 의해 절반으로 줄인다. 다음의 그림은 cost function에 대한 요약이다.

 

 

 

Cost Function - Intuition I

 시각적으로 생각해서 training dataset이 xy 평면에 흩뿌려져 있다고 생각해보자. 이 흩뿌려진 데이터 점들을 통과하는 직선을 그어보자.

 

 우리의 목표는 가장 그럴듯한 선을 찾는 것이다. 가장 그럴듯한 선은 흩뿌려진 점들의 평균 제곱 수직 거리가 가장 적은 선이 될 것이다. 가장 이상적인 선은 데이터셋의 모든 점을 지나는 선이 될 것이다. 그 경우에는 $J(\theta_{0}, \theta_{1})$는 0이 될 것이다. 아래의 그림은 cost function이 0인 이상적인 상황을 보여주고 있다.

 

 

 $\theta_{1} = 1$일 때, 데이터셋의 모든 점을 지나는 경사가 1인 선을 얻게 된다. 반대로, $\theta_{1} = 0.5$일 때, 적합도에서 데이터 포인트 까지의 수직 거리가 증가하는 것을 볼 수 있다.

 

 

 이는 cost function을 0.58까지 증가시킨다. 몇 가지 다른 점을 플로팅하면 다음의 그래프가 생성된다.

 

 

 목표처럼, cost function을 최소화해야 한다. 이 경우에는 $\theta_{1} = 1$이 global 최솟값이다.

 

 

Cost Function - Intuition II

등고선 그래프는 여러 등고선을 포함하고 있다. 두 변수 함수의 등고선은 똑같은 선의 모든 점에서 변함없는 변수를 가진다. 아래 그림의 오른쪽이 이 그래프에 대한 예시이다.

 

 

 똑같은 색깔의 등고선 위에 있는 모든 점은 똑같은 cost function 값을 가진다. 위 그림에서 초록색 선 위의 세 개의 점은 $J(\theta_{0}, \theta_{1})$에 대해 똑같은 값을 가지고, 결과적으로 똑같은 선 위에 위치하게 된다. 동그라미 쳐진 $x$는 그래프에 대한 cost function의 값을 보여준다. 이 $x$는 $\theta_{0} = 800, \theta_{1} = -0.15$의 값을 가진다. 또다른 $h(x)$로 등고선 그래프를 나타내면 다음의 그래프를 갖게 된다.

 

 

 $\theta_{0} = 360, \theta_{1} = 0$일 때, 등고선 그래프에서 $J(\theta_{0}, \theta_{1})$의 값은 cost function 오차를 줄여서 중심에 더욱 가까워졌다. 이제 hypothesis function을 줘서 데이터에 더욱 잘 맞는 positive 기울기를 갖게 된다.

 

 

 위의 그래프는 가능한 만큼 cost function을 죄소화해서 결과적으로 $\theta_{1}=0.12, \theta_{0}=250$의 값을 가지게 된다. 이 값들을 위 그림의 오른쪽처럼 찍어보면 동그라미의 가장 안 쪽에 찍히게 된다.