분류성능평가지표(Precision, Recall, f1-score)

What is this?

machine learning에서 모델이나 패턴의 분류 성능 평가에서 사용되는 지표이다. 이를 통해 모델의 분류 성능을 더 자세하게 파악이 가능하다. 이러한 결과를 이용하여 모델의 개선 방향성을 잡아갈 수 있게 된다.

 

 

Table of Contents

1. Precision, Recall, and Accuracy

   1-1. Precision$($정밀도$)$

   1-2. Recall$($재현율$)$

   1-3. Accuracy$($정확도$)$

   1-4. F1-score

2. 그 외의 지표들

   2-1. ROC curve

   2-2. AUC

 

 

본문으로 들어가기 전에, confusion matrix에 대해 알아보겠다. confusion matrix는 훈련을 통한 prediction의 성능을 측정하기 위해 예측값와 실제값을 비교하기 위한 표이다. 다음의 그림 1이 confusion matrix를 표현한 것이다.

 

그림 1. Confusion Matrix

여기서, T는 True, F는 False, P는 Positive, N은 Negative를 의미한다. 즉, TP와 TN은 실제값을 맞게 예측한 것이며, FP와 FN은 실제값과 다르게 예측한 것이다.

 

 

1. Precision, Recall, and Accuracy

Precision, Recall, Accuracy는 실로 많이 사용되는 지표들로, 각각은 정밀도, 재현율, 정확도를 뜻한다. 

 

1-1. Precision$($정밀도$)$

Precision$($정밀도$)$란 모델이 True라고 분류한 것 중, 실제로도 True인 것의 비율을 말한다. 즉, 다음과 같은 식으로 표현이 가능하다. 

 

$(Precision) = \frac{TP}{TP + FP}$

 

이러한 특성 때문에, Positive 정답률$($PPV$)$ 라고도 불린다. 이를 confusion matrix로 표현해보면 다음의 그림 2와 같다.

 

그림 2. Precision을 confusion matrix로 표현

 

1-2. Recall$($재현율$)$

Recall$($재현율$)$이란, 실제 True인 것 중에서 모델이 True라고 예측한 것의 비율이다. 이를 수식으로 나타내면 다음과 같다.

 

$(Recall) = \frac{TP}{TP + FN}$

 

이를 confusion matrix로 표현하면 다음의 그림 3과 같다.

 

그림 3. Recall을 confusion matrix로 표현

 

재현율$($Recall$)$은 정밀도$($Precision$)$과 TP의 경우를 다른 관점에서 바라보는 것이다. 즉, Precision이나 Recall은 모두 실제 True인 정답을 모델이 True라고 예측할 경우에 관심이 있으나, 바라보고자 하는 관점만 다르다. Precision은 모델의 입장에서, 그리고 Recall은 실제 정답의 입장에서 정답을 정답이라고 맞춘 경우를 바라보고 있다. 따라서, Precision과 Recall은 상호보완적으로 사용할 수 있으며, 두 지표가 모두 높을수록 좋은 모델이다.

 

1-3. Accuracy$($정확도$)$

Accuracy$($정확도$)$는 True를 True로 올바르게 예측한 것과 False를 False로 올바르게 예측한 것을 계산한 지표이다. 수식으로는 다음과 같이 나타낼 수 있다.

 

$(Accuracy) = \frac{TP + TN}{TP+FN+FN+TN}$

 

이를 confusion matrix로 표현하면 다음의 그림 4와 과 같다.

 

그림 4. Accuracy를 confusion matrix로 표현

 

정확도는 가장 직관적으로 모델의 성능을 나타낼 수 있는 평가 지표이다. 하지만, 여기에는 치명적인 오류가 존재할 수 있는데, 바로 domain의 편향이다. 예를 들어서, 어떤 병에 대해서 한달 동안에 진단을 받으러 온 사람의 성별을 예측한다고 가정해보자. 하지만, 이 병은 특성상 여성에게 더 많이 나타나는 병일 경우에는, 해당 데이터의 domain이 불균형하게 되므로, 여성을 예측하는 성능을 높지만, 남성을 예측하는 성능은 매우 낮을 수밖에 없다. 따라서 이를 보완할 지표의 필요성이 대두되기 시작했다.

 

1-4. F1-score

F1-score는 Precision과 Recall의 조화 평균이다. 이를 수식으로 나타내면 다음과 같다. 

 

$(F1score) = 2 \times \frac{1}{\frac{1}{Precision}+\frac{1} {Recall}} = 2 \times \frac{Precision \times Recall}{Precision+Recall}$

 

이를 confusion matrix로 표현하면 다음의 그림 5와 같다. 

 

그림 5. F1-score을 confusion matrix로 표현

 

F1-score는 데이터의 라벨이 불균형 구조일 때, 모델의 성능을 정확하게 평가할 수 있으며, 성능을 하나의 숫자로 표현할 수 있다. 여기서 단순 산술평균을 사용하지 않는 이유는 무엇일까? 이를 이해하기 위해서는 조화평균을 이해해야만 한다.

조화평균은 서로 다른 길이의 A, B와 이 두 길이의 합만큼 떨어진 변 $($AB$)$으로 이루어진 사다리꼴을 생각해보자. 이 AB에서 각 변의 길이가 만나는 지점으로부터 맞은 편의 사다리꼴의 변으로 내린 선분이 바로 조화평균이다.

 

그림 6. 조화평균 예시

 

단순한 평균이라기 보다는 작은 길이 쪽으로 치우치게 된, 그러면서 작은 쪽과 큰 쪽의 사이의 값을 가진 평균이 도출된다. 이렇게 조화평균을 이용하면 산술평균을 이용하는 것보다, 큰 비중이 끼치는 편향이 줄어든다고 볼 수 있다. 이를 통해, F1-Score는 다음과 같이 생각할 수 있다.

 

그림 7. F1-Score 조화평균

 

2. 그 외의 지표들

이 외에도 성능을 평가하기 위한 다양한 지표가 존재한다.

 

2-1. ROC$($Receiver Operating Characteristic$)$ curve

여러 임계값들을 기준으로 해서 Recall-Fallout의 변화를 시각화한 것이다. 여기서 Fallout은 수식으로 $Fallout(FPR)= \frac{FP} {TN+FP}$ 이다. Fallout은 실제 False인 데이터 중에서 모델이 Trued로 분류한, 그리고 Recall은 True인 데이터 중에서 모델이 True로 분류한 비율을 나타낸 지표로써, 이 두 지표를 x, y의 축으로 놓고 그려지는 그래프를 해석한다. 아래의 그림이 이에 대한 예시이다.

 

그림 8. ROC curve

curve가 왼쪽 위 모서리에 가까울수록 모델의 성능이 좋다고 평가한다. 즉, Recall이 크고 Fall-out이 작은 모형이 좋은 모형인 것이다. 또한, $y=x$의 그래프보다 더 상단에 있어야 어느정도 성능이 있다고 말할 수 있다.

 

2-2. AUC$($Area Under Curve$)$

ROC curve는 그래프이기 때문에 명확한 수치로써 비교하기가 어렵다. 따라서 그래프 아래의 면적값을 이용한다. 이것이 바로 AUC$($Area Under Curve$)$이다. 최대값은 1이며 좋은 모델일수록 1에 가까운 값이 나온다.

 

 

 

 

참고문헌

https://leedakyeong.tistory.com/entry/%EB%B6%84%EB%A5%98-%EB%AA%A8%EB%8D%B8-%EC%84%B1%EB%8A%A5-%ED%8F%89%EA%B0%80-%EC%A7%80%ED%91%9C-Confusion-Matrix%EB%9E%80-%EC%A0%95%ED%99%95%EB%8F%84Accuracy-%EC%A0%95%EB%B0%80%EB%8F%84Precision-%EC%9E%AC%ED%98%84%EB%8F%84Recall-F1-Score

분류 모델 성능 평가 지표 - Confusion Matrix란? :: 정확도(Accuracy), 정밀도(Precision), 재현도(Recall), F1 Sc

https://sumniya.tistory.com/26

분류성능평가지표 - Precision(정밀도), Recall(재현율) and Accuracy(정확도)