[Machine Learning] Evaluating a Learning Algorithm

Evaluating a Hypothesis

 다음을 통해 예측 오류에 대한 몇 가지 문제 해결을 수행한다.

 

• 더 많은 training example을 가져오기
• 작은 feature 세트를 시도
• 추가적인 feature을 시도
• 다항의 feature을 시도
• $\lambda$ 값을 늘리거나 줄이기

 

 이제 새로운 hypothesis를 평가하는 방법에 대해 알아보자.

 

 hypothesis는 training example에 대해 낮은 오차를 가지고 있을 수 있지만, 아직 부정확하다 $($overfitting 때문$)$. 따라서 hypothesis를 평가하기 위해서는 주어진 training example 데이터셋에 대해 두 개의 세트로 분리하여야 한다: training set & test set. 보통 training set는 데이터의 70% 정도이고, test set은 데이터의 30% 정도이다.

 

 이 2개의 세트를 사용한 새로운 프로시저는 다음과 같다.

 

1. training set를 사용해서 $\theta$를 학습하고 $J_{train}(\theta)$를 최소화시킴.
2. test set 오차 $J_{test}(\theta)$를 계산함.

 

The test set error

 

1. linear regression에 대해서: $J_{test}(\theta) = \frac {1}{2m_{test}} \sum_{i=1}^{m_{test}} (h_{theta}(x_{test}^{(i)}) - y_{test}^{(i)})^{2}$
2. 분류에 대해서는 잘못 분류된 오차를 다음과 같이 계산한다.

 

 

 이것은 잘못 분류된 결과에 기반을 둔 오차 결과를 이진값 0과 1로 준다. test set에 대한 평균 test error는 다음과 같다.

 

 

 이것은 test data에서 잘못 분류된 부분의 비율을 알려준다.

 

 

Model Selection and Train/Valid/Test Sets

 학습 알고리즘이 training set에서 잘 작동한다고 해서 이것이 좋은 hypothesis라고 섵불리 판단할 수는 없다. 이것이 overfit된 것이어서 test set에는 더 안 좋은 결과를 보여줄 수도 있다. 파라미터를 학습한 데이터 세트에서 측정한 hypothesis의 오차는 다른 데이터 세트의 오차보다 낮다. 

 

 서로 다른 polynomial degree를 사용한 많은 모델들이 주어지면, 체계적인 방법으로 '최고의' 함수를 찾아야 한다. hypothesis의 모델을 선택하기 위해서는, 각각의 polynomial degree를 테스트해서 나온 error 결과를 살펴봐야 한다.

 

 데이터셋을 3개의 세트로 분리하는 방법은 다음과 같다.

 

• Training set: 60%
• Cross validation set: 20%
• Test set: 20%

 

 이제 3개의 서로 다른 데이터 세트에 대해서 분리된 error 값을 계산할 수 있다.

 

1. 각각의 polynomial degree에 대한 training set을 사용해서 파라미터 $\theta$를 최적화한다.
2. cross validation set를 사용해서 가장 적은 error를 가지는 polynomial degree d를 찾는다.
3. test set과 $J_{test}(\theta^{(d)})$를 사용해서 일반화된 error를 측정한다.

 

 이 방식을 사용하면 polynomial degree d는 test set를 사용해서 학습되지 않는다.