通过最大差异竞争揭示语义分割的失效案例

语义分割是计算机视觉中被广泛研究的任务，每年都有大量方法被提出。得益于深度学习在语义分割中的引入，现有基准上的性能已接近饱和。一个自然的问题是：在封闭（且频繁复用）的测试集上的优越性能，能否迁移到具有无约束变化的开放视觉世界？本文在极低人工标注成本约束下，通过揭示现有语义分割方法在开放视觉世界中的失效案例，朝回答该问题迈出了一步。受先前模型证伪研究的启发，我们从一个任意大的图像集出发，通过最大化（MAximizing the Discrepancy, MAD）两种分割方法之间的差异自动采样出一个小图像集。所选图像具有最大的潜力来证伪两种方法中任一（或两者）。我们还显式施加若干条件以使暴露的失效案例多样化，对应不同的潜在根本原因。在 MAD 竞争中更难被暴露失效的分割方法被认为更优。我们对十种 PASCAL VOC 语义分割算法进行了彻底的 MAD 诊断。通过对实验结果的详细分析，我们指出了竞争算法的优势与不足，以及语义分割进一步发展的潜在研究方向。代码已公开于 \url{https://github.com/QTJiebin/MAD_Segmentation}。