重访语义分割评估指标：细粒度交并比的优化与评估
计算机视觉与模式识别
2023-10-31 v1 人工智能
机器学习
摘要
语义分割数据集常表现出两类不平衡：类不平衡（某些类别出现更频繁）与尺寸不平衡（某些物体占据更多像素）。这导致传统评估指标偏向于多数类（如整体像素级准确率）和大物体（如平均像素级准确率及每数据集平均交并比）。为弥补这些缺陷，我们提出使用细粒度 mIoU 及相应的最坏情况指标，从而提供更全面的分割技术评估。这些细粒度指标对大物体的偏向更小，提供更丰富的统计信息，并对模型与数据集审计具有宝贵洞察。此外，我们开展了一项广泛的基准研究，在 12 个多样的自然与航拍分割数据集上用所提指标训练并评估了 15 种现代神经网络。我们的基准研究凸显了不应基于单一指标进行评估的必要性，并确认细粒度 mIoU 降低了对大物体的偏向。而且，我们识别出架构设计与损失函数所起的关键作用，由此得出优化细粒度指标的最佳实践。代码见 \href{https://github.com/zifuwanggg/JDTLosses}{https://github.com/zifuwanggg/JDTLosses}。
引用
@article{arxiv.2310.19252,
title = {Revisiting Evaluation Metrics for Semantic Segmentation: Optimization and Evaluation of Fine-grained Intersection over Union},
author = {Zifu Wang and Maxim Berman and Amal Rannen-Triki and Philip H. S. Torr and Devis Tuia and Tinne Tuytelaars and Luc Van Gool and Jiaqian Yu and Matthew B. Blaschko},
journal= {arXiv preprint arXiv:2310.19252},
year = {2023}
}
备注
NeurIPS 2023