物体検出モデルの評価指標

物体検出を評価する際の指標をよく忘れるのでまとめておきます。

まずはTP・TN・FP・FNを求める

最初に画像をTP・TN・FP・FNの4つの領域に分けます。

• TP（True Positive）
  画像中に物体が存在し、物体があると判断できた領域。
  
• TN（True Negative）
  画像中に物体が存在せず、物体がないと判断できた領域。
  
• FP（False Positive）
  画像中に物体がないのに、物体があると判断してしまった領域。
  
• FN（False Negative）
  画像中に物体があるのに、物体がないと判断してしまった領域。
  
  

	予測が正	予測が負
正解が正	TP	FN
正解が負	FP	TN

図で表すと以下のようになります。 TP・TN・FP・FNの面積に基づいてどの程度検出できているかを評価していきます。

Accuracy

正解率とも呼ばれます。画像全体に対して正しく判断できていた領域の割合をあらわします。

ただし、例えば、画像中の5％を占める物体があり、画像中の物体を全く認識しなかった場合でもAccuracyは95%となります。
このように物体を全く認識しないモデルでも非常に高いと値となることがあるので、Accuracyだけを用いるのは危険です。

Precision

精度とも呼ばれます。物体があると判断した領域のうち、実際に物体がある領域の割合を表します。

実際の物体のほんの一部しか検出していなくてもPrecision100%となってしまうので注意が必要です。

Recall

再現率とも呼ばれます。実際に物体が存在する領域のうち、物体が存在すると判断できた領域の割合をあらわします。

ただし、画像全体を物体として認識していた場合にもRecall100%となるので注意です。

F-maesure

F値とも呼ばれます。トレードオフの関係にあるPrecisionとRecallの調和平均です。

（P、RはそれぞれPrecision、Recall）

IoU(Intersection over Union)

実際に物体が存在する領域と、モデルが物体が存在すると判断した領域のうち、実際に物体が存在する領域の割合を表します。

オーバーラップ率と覚えたほうが理解しやすいかも。
けっこう厳しい指標です。


いろいろな指標を組み合わせて評価することが大事なようです。精度95%！！とか言われても大したことないときもあるし。