CV - OD 성능 평가 Metric - mAP

📌 이 글은 권철민님의 딥러닝 컴퓨터 비전 완벽 가이드 강의를 바탕으로 정리한 내용입니다.

---

목차

1. mAP(mean Average Precision)
2. Object Detection에서의 Precision과 Recall
3. IOU 값에 따라 Detection 예측 성공 결정
4. Object Detection에서의 TP, FP, FN
5. Confidence 임곗값에 따라 정밀도와 재현율의 값이 변화된다
6. mAP 계산하기

---

Object Detection 성능 평가 Metric - mAP

AP는 precision과 recall을 그래프로 나타냈을 때의 면적이다.

각 class마다 하나의 AP를 갖게 되는데, 모든 class의 AP에 대해 평균값을 낸 것이 바로 mAP(mean AP)이다.

즉, 모든 class에 대하여 Precision/Recall의 값을 avg취한 것이라고 볼 수 있다.

---

mAP(mean Average Precision)

• 재현율(Recall) : Object가 Detected된 비율
• 재현율의 변화에 따른 정밀도(Precision)의 평균 성능 수치

 

관련 지표

• IOU
• Precision-Recall Curve

---

Object Detection에서의 Precision과 Recall

Precision : 검출 알고리즘이 검출 예측한 결과가 실제 Object들과 얼마나 일치하는지를 나타내는 지표

Recall : 검출 알고리즘이 실제 Object들을 빠뜨리지 않고 얼마나 정확히 검출 예측하는지를 나타내는 지표

 

Recall이 중요한 경우 : 암진단 (틀리면 진짜 큰일 남, 일단 맞고 보자)

Precision이 중요한 경우 : 틀려도 큰일 나진 않지만 정확도가 좋아야 함

 

역시나 좋은 알고리즘은 Precision과 Recall이 둘다 좋아야 한다.

---

IOU 값에 따라 Detection 예측 성공 결정

Object Detection에서는 개별 Object에 대한 검출(Detection) 예측이 성공했는지의 여부를 IOU로 결정한다.

즉, True Positive를 IOU로 결정한다.

---

Object Detection에서의 TP, FP, FN

P : 예측을 참이라고 함. 예측을 하긴 함

FP : 예측을 하긴 했는데 틀림

FN : 답이 있는데 예측을 못함

TP : 예측을 하고 맞음

TN : 잘 안쓰임

 

정밀도(Precision) = TP / FP+TP : 신중함

재현율(Recall) = TP / FN+TP : 최대한 안틀림

 

정밀도가 좋으려면 FP가 작아야 함

재현율이 좋으려면 FN이 작아야 함

---

Confidence 임곗값에 따라 정밀도와 재현율의 값이 변화된다

• Confidence 임곗값이 낮으면, Bounding Box 수 많아짐 >> 난사
• Confidence 임계값이 높으면, Bounding Box 수 적어짐 >> 신중함

 

Confidence를 낮추면 낮출수록 잘못 Detect 한다.

지속적으로 Confidence를 낮춰보면 Detect하는 객체가 많아진다. 근데 맞는지는 모른다

정밀도는 낮아지고 재현율은 올라간다.

---

mAP 계산하기

 

 

Confidence = 0.9 일 때

• 매우 신중함 → Precision : 1
• 한 번의 시도에 성공(1/1) 
• 5개의 대상 중 1개만 탐지 → Recall : 0.2 

 

Confidence = 0.05 일 때

• 10번 예측해서 5번 맞춤 → Precision : 0.5
• 5개의 대상 중 5개 맞음 → Recall : 1

---

mAP(mean Average Precision)

• AP는 한 개의 Object에 대한 성능 수치
• mAP는 여러 Object들의 AP를 평균한 값