MiSuRe 是解释图像分割的唯一方法
计算机视觉与模式识别
2024-06-21 v2
摘要
过去十年，深度学习架构主导了计算机视觉领域，凭借其卓越的成功。然而，其性能往往以可解释性为代价，因其高度非线性的特性。因此，一个平行领域——可解释人工智能（eXplainable Artificial Intelligence，简称 XAI）应运而生，旨在生成有关深度学习模型决策过程的洞见。XAI 中的一个重要问题是生成显著性图（saliency maps）。这些是输入图像中对模型最终决策贡献最大的区域。然而，目前大多数工作集中于图像分类，而图像分割——尽管是一项普遍的任务——却未获得相同关注度。本文提出了 MiSuRe（Minimally Sufficient Region，最小充分区域）作为一种用于生成图像分割显著性图的算法。由 MiSuRe 生成的显著性图旨在消除无关区域，仅突出输入图像中对图像分割决策至关重要的区域。我们在三个数据集上进行分析：Triangle（人工构造）、COCO-2017（自然图像）以及 Synapse 多器官（医学图像）。此外，我们识别了这些后处理显著性图的一个潜在用途，以对分割模型进行后置可靠性评估。
引用
@article{arxiv.2406.12173,
title = {MiSuRe is all you need to explain your image segmentation},
author = {Syed Nouman Hasany and Fabrice Mériaudeau and Caroline Petitjean},
journal= {arXiv preprint arXiv:2406.12173},
year = {2024}
}