[Machine Learning] Machine Learning Algorithm Application

Prioritizing What to Work On

System Desing Example:

 

 스팸 메일을 분류한다고 할 때, 이메일 세트가 주어지면 각 이메일에 대한 벡터를 만들어야 한다. 이 벡터의 각각의 entry는 단어들을 나타낸다. 벡터는 일반적으로 데이터셋에서 흔하게 발견되는 단어들을 모아서 10,000개에서 50,000개의 entry를 포함하고 있다. 만약 이메일에서 단어가 찾아지면, 이에 대한 entry를 1로 하고, 찾아지지 않으면 entry를 0으로 한다. $x$ 벡터들이 모두 준비되면 알고리즘을 학습시키고 최종적으로 이메일에 적용해서 스팸인지 아닌지를 분류하는데 사용한다.

 

 

 어떻게 하면 분류기의 성능을 향상시킬 수 있을까?

 

• 많은 데이터를 수집하기
• 정교한 feature 사용$($ex. 스팸 메일의 이메일 헤더 사용$)$
• 알고리즘을 발전시켜서 입력값을 다른 방식으로 처리$($스팸 메일에서 misspelling을 인식하게 하기$)$

 

 어떠한 옵션이 더 도움이 되는지는 단언할 수 없다..

 

 

Error Analysis

 머신러닝 문제를 해결하기 위해 추천된 방법들은 다음과 같다.

 

• 간단한 알고리즘에서 시작해서 빠르게 구현하고 cross validation data에서 테스트를 한다.
• learning curve를 그려서 더 많은 데이터 또는 더 많은 feature가 도움이 될 지를 파악한다.
• cross validation set의 example에서 발생한 오류들을 검사하고 가장 많은 오류가 발생하는 부분의 경향을 파악한다.

 

 예를 들어 500개의 이메일 example에서 100개의 이메일을 잘못 분류했다고 해보자. 그러고 이 잘못 분류된 100개의 이메일을 분석해서 어떤 유형의 이메일들인지 분류해보자. 새로운 신호와 feature를 사용해서 이 100개의 이메일을 올바르게 분류하도록 도움을 주도록 한다. 따라서 대부분의 잘못 분류된 이메일은 비밀번호를 훔치려 한다. 그런 다음 해당 이메일에 특정한 몇 가지 feature를 찾아 모델에 추가할 수 있다. 또한 어근에 따라 각 단어를 분류하면 오류율이 어떻게 변하는지 확인할 수 있다.

 

 

 오류율을 하나의 실수 값으로 가지는 것은 매우 중요하다. 그 외에 알고리즘의 성능을 평가하는 것은 힘들다. 예를 들어 단어에 대해 stemming을 사용하면 5%의 오류율 대신에 3%의 오류율을 갖게 된다고 하면 모델에 이 stemming을 추가해야 한다. 하지만 대문자와 소문자를 구분했을 때 3%의 오류율 대신에 3.2%의 오류율을 갖게 된다면 이 feature을 사용하는 것은 피해야 한다. 따라서 새로운 것을 시도하고, 오류율에 대한 수치를 얻고, 결과에 따라 새로운 feature를 유지할지 여부를 결정해야 한다.