重新思考显著性图：面向解释的用户意图驱动的认知人类对齐分类与评估框架
计算机视觉与模式识别
2026-01-06 v2 人工智能
机器学习
摘要
显著性图在深度学习的视觉解释中被广泛使用，但关于其既定目的及其与多样化用户查询的对齐性仍存根本性共识不足。这一模糊性阻碍了解释方法的有效评估和实际实用性。为弥合这一差距，我们引入了参考框架 × 粒度 (RFxG) 分类法，一个原则性概念框架，将显著性解释组织沿两个 Essential 轴：参考框架：区分点态（"为什么是这个预测？"）与对比（"为什么是这个而不是另一个？"）解释。粒度：从细粒度类别级（如"为什么是 Husky？"）到粗粒度组级（如"为什么是 Dog？"）解释。借助 RFxG 视角，我们展示了现有评估指标的关键局限性，这些指标几乎只关注点态忠诚度，而忽略对比推理和语义粒度。为系统评估 RFxG 两个维度上的解释质量，我们提出了四个新颖忠诚度指标。我们的全面评估框架将这些指标应用于十个最先进的显著性方法、四个模型架构和三个数据集。通过倡导向以用户意图为导向的评估，我们的工作提供了既能开发仅对底层模型行为忠诚的视觉解释，又能与人类理解和询问的复杂性相匹配的解释方法所必需的概念基础和实用工具。
引用
@article{arxiv.2511.13081,
title = {Rethinking Saliency Maps: A Cognitive Human Aligned Taxonomy and Evaluation Framework for Explanations},
author = {Yehonatan Elisha and Seffi Cohen and Oren Barkan and Noam Koenigstein},
journal= {arXiv preprint arXiv:2511.13081},
year = {2026}
}