[Machine Learning] Computing Parameters Analytically

Normal Equation

 경사 하강법은 cost function $J$의 값을 줄이는 방법 중 하나이다. cost function의 값을 줄이는 다른 방법을 알아보도록 하자! 이번에 알아볼 방법은 명쾌하게 최소화를 하고, 반복 알고리즘을 사용하지 않는다. "Normal Equation"은 $\theta_{j}$에 관하여 미분을 함으로써 0으로 설정하여 $J$를 최소화한다. 이는 반복 없이 최적의 $\theta$를 찾을 수 있게 해준다. normal equation 공식은 다음과 같다.

 

$\theta = (X^{T}X)^{-1}X^{T}y$

 

 

 normal equation에서는 feature scaling을 할 필요가 없다. 다음의 표는 경사 하강법과 normal equation 간의 비교를 보여준다.

 

Gradient Descent	Normal Equation
$\alpha$를 선택해야 함	$\alpha$를 선택할 필요 X
많은 반복 동반	반복할 필요 X
$O(kn^{2})$	$O(n^{3})$
$n$의 값이 클 때 잘 작동	$n$의 값이 크면 느려짐

 

 normal equation에서 inversion을 계산하는 것은 복잡도 $O(n^{3})$을 가진다. 그래서 많은 수의 feature을 가지고 있으면, normal equation은 느려진다. $n$의 값이 10,000을 넘어서게 되면, normal equation에서 반복 프로세스로 넘어가는 것이 좋다.

 

 

Normal Equation Noninvertibility

 만약 $X^{T}X$가 비가역성이면 일반적으로 다음과 같다.

 

• 두 feature가 매우 밀접하게 관련된 redundant feature
• 너무 많은 feature$(m \leq n)$. 이 경우에는 몇 개의 feature를 없애거나 "정규화"를 사용하면 된다.

 위 문제에 대한 해결책에는 다른 feature와 선형적으로 종속된 feature을 삭제하거나 기능이 너무 많을 때 하나 이상의 feature을 삭제하는 것이 포함된다.