语义分割模型中可解释系统性错误的自动发现与评估
计算机视觉与模式识别
2024-11-19 v1
摘要
本文提出了一种新方法，用于发现语义分割模型中的系统性错误。例如，语义分割模型中的系统性错误可以是模型对某一目标类别（如行人）进行大量误分类的现象，如将停车表计误判为行人。随着这些模型在如自动驾驶等关键应用中的快速部署，及时检测和解释这些系统性错误至关重要。然而，关键挑战在于如何在无标签数据上自动发现此类错误，并形成可解释的语义子组以进行干预。为此，我们利用多模态基础模型检索错误，并通过概念关联性以及错误的本质来研究这些错误的系统性特征。我们展示了此类错误存在于在伯克利深度驾驶数据集上训练的SOTA分割模型（UperNet ConvNeXt 和 UperNet Swin）中，通过定性和定量分析表明该方法有效，能够为这些模型发现连贯的系统性错误。我们的工作为语义分割领域尚未充分探索的模型分析和干预开辟了道路。
引用
@article{arxiv.2411.10845,
title = {Automatic Discovery and Assessment of Interpretable Systematic Errors in Semantic Segmentation},
author = {Jaisidh Singh and Sonam Singh and Amit Arvind Kale and Harsh K Gandhi},
journal= {arXiv preprint arXiv:2411.10845},
year = {2024}
}
备注
7 pages main paper (without references), total 13 pages & 9 figures