분류 성능 평가 지표
- 정확도 (Accuracy)
- 오차행렬 (Confusion Matrix)
- 정밀도 (Precision)
- 재현율 (Recall)
- F1 스코어
- ROC AUC
정확도는 불균일한 데이터 셋이 있을 경우 양날의 칼이 될 수 있으므로 잘 사용되지는 않는다.
이진분류에서 사용되는 것은 따로 있다.
오차행렬
정밀도 = TP / (FP + TP) : 예측을 P로한 것들 중 예측과 실제가 P인 경우
재현율 = TP / (FN + TP) : 실제가 P인 것들 중에 예측과 실제가 P인 경우
분류하려는 업무의 특성상 정밀도 또는 재현율이 특별히 강조돼야 할 경우 분류의 결정 임계값(Threshold)을 조정해서 정밀도 또는 재현율의 수치를 높일 수 있다.
하지만 정밀도와 재현율은 상호 보완적인 평가 지표이기 때문에 어느 한쪽을 강제로 높이면 다른 하나의 수치는 떨어지기 쉽다. 이를 정밀도/재현율의 트레이드 오프(Trade-off)라고 부른다.
분류 결정 임계값이 낮아질수록 Positive로 예측할 확률이 높아진다.
그러면 재현율이 증가한다.
사이킷런은 precision_recall_curve() 함수를 통해 임계값에 따른 정밀도, 재현율의 변화값을 제공한다.