セマンティックセグメンテーションの評価方法 

4 views (last 30 days)
Kodai Sato
Kodai Sato on 26 Jan 2020
Commented: Kenta on 28 Jan 2020
上のURLを参考に自分で用意したデータセットでセマンティックセグメンテーションを行ったのですが,セマンティックセグメンテーションの評価法がわかりません.精度で評価する場合,MeanAccuracyとGlobalAccuracyのどちらを使用すればよいのでしょうか?

Accepted Answer

Kenta
Kenta on 27 Jan 2020
Edited: Kenta on 27 Jan 2020
こんにちは、そのほかにもF値やIOUなどがありますが、どの指標がよいかは、Kodai Sato様の目的によるので少なくとも私には明確には答えられないような気がします。
例えばglobal accuracyの定義は以下のようになっています。下のURLをそのまま引用しています。
"GlobalAccuracy is the ratio of correctly classified pixels, regardless of class, to the total number of pixels. Use the global accuracy metric if you want a quick and computationally inexpensive estimate of the percentage of correctly classified pixels."
こちらは単に、全ピクセルのうち、どのくらいが正しく分類できているか示しています。シンプルでわかりやすい・すぐに計算できる一方で、例えばラベルが非常に不均衡な場合(Aが100に対しBが1しかない)すべてAと答えれば精度はかなり高くなります。
accuracyは、"For each class, Accuracy is the ratio of correctly classified pixels to the total number of pixels in that class, according to the ground truth. In other words,
Accuracy score = TP / (TP + FN)"
と書いていて、各クラスの精度を平均したものが、meanaccuracyとして算出されます。これは各クラスの平均を出しているので、さきほどのような問題はましになる一方、"For example, labeling all pixels "car" gives a perfect score for the "car" class (although not for the other classes). "とあるように、解釈ミスを引き起こすこともあります。
ほかにIOUなどもありますので、自分の目的が果たされているか/いないかを明確に表す指標を探し、それを軸に議論するのがよいのではないでしょうか。
  2 Comments
Kodai Sato
Kodai Sato on 27 Jan 2020
global accuracyとMeanAccuracyの違いがよく理解できていなかったので非常に参考になりました.
ありがとうございました.
Kenta
Kenta on 28 Jan 2020
はい、よかったです。ほかの質問も回答(コメント)してますので、そちらも返信いただけると幸いです。宜しくお願い致します。

Sign in to comment.

More Answers (0)

Products


Release

R2019b

Community Treasure Hunt

Find the treasures in MATLAB Central and discover how the community can help you!

Start Hunting!