[ML] Object Detection에서 mAP란?

최근 YOLO 실시간 개체 검출에 대한 논문을 보면서 성능평가지표인 mAP, fps의 용어에 대해 정확한 이해가 되지 않아 정리해보았다.

 

합성곱 신경망(Convolutional Neural Network CNN)의 모델 성능 평가는 아래 그림과 같이 mAP를 이용하여 평가하는 것을 볼 수 있다.

 

mAP [mean Average Precision]

AP(Average Precision)는 인식 알고리즘의 성능을 하나의 값으로 표현한 것으로서 precision-recall 그래프에서 그래프 선 아래 쪽의 면적으로 계산된다. Average precision이 높으면 높을수록 그 알고리즘의 성능이 전체적으로 우수하다는 의미이다. 컴퓨터 비전 분야에서 물체인식 알고리즘의 성능은 대부분 Average precision으로 평가한다.

여기서 precision과 recall이란 무엇일까?

---

precision [정밀도]  : 모든 검출 결과 중 옳게 검출한 비율을 의미한다. 

위의 식에서 TP [true positive]은 실제 상황이 positive인데 예측 결과도 positive인 경우를 말한다. 즉, 옳은 검출이다.

FP [false positive]는 실제 상황이 negative인데 예측 결과는 positive인 경우를 말한다. 즉, 틀린 검출이다. 

 

이 둘의 공통점은 예측 결과가 positive인 것이다.

따라서 precision은 예측 결과가 positive인 것중에 옳은 검출의 비율을 의미한다.

 

---

Recall [재현율] : 마땅히 검출해내야하는 물체들 중에서 제대로 검출된 것의 비율을 의미한다.

위의 식에서 TP [true positive]은 실제 상황이 positive인데 예측 결과도 positive인 경우를 말한다. 즉, 옳은 검출이다.

FN [false negative]는 실제 상황이 positive인데 예측 결과는 negative인 경우를 말한다. 즉, 검출되어야 하는 것이 검출되지 않았음을 의미한다. 

 

이 둘의 공통점은 실제 상황이 positive인 것이다.

따라서 recall은 실제 상황이 positive인 것중에 옳은 검출의 비율을 의미한다.

일반적으로 정확도(precision)과 검출율(recall)은 서로 반비례 관계를 가진다. 정확도가 높으면 검출율은 낮아지고, 정확도가 낮아지면 검출율은 올라간다. 따라서 정확도와 검출율의 성능 변화 전체를 확인해야 한다. 그러한 대표적인 방법이 precision-recall 그래프를 이용하는 것이다.

---

FPS [Frame for sec]

FPS는 1초당 프레임의 수를 의미한다.

 

동영상을 물리적으로 환원하면 시간상 연속된 정지 사진들의 모음으로 볼 수 있는데, 이 각각의 정지 사진 하나를 '프레임'이라 부른다. 이런 사진 토막들이 1초에 몇 장 보이느냐, 즉 프레임이 보이는 속도를 가리켜 'Frame Rate', 우리말로 옮기면 프레임률이라 하며, 단위로는 'fps' 혹은 국제 표준인 'Hz'를 쓴다.

 

 

---

참고자료 : bskyvision.com/465

물체 검출 알고리즘 성능 평가방법 AP(Average Precision)의 이해

참고자료 : https://ctkim.tistory.com/79 [DEVELOPER]

mAP(Mean Average Precision) 정리

참고자료 : namu.wiki/w/FPS

FPS - 나무위키