中文

显著性卡片:一种刻画与比较显著性方法的框架

机器学习 2023-06-01 v2 计算机视觉与模式识别

摘要

显著性方法是一类常见的机器学习可解释性技术,用于计算各输入特征对模型输出的重要性。我们发现,随着开发的快速推进,用户难以了解新方法的优势与局限,从而出于非原则性原因(如流行度)选择方法。此外,尽管相应的评估指标在增加,现有方法仍假设显著性方法具有普适的期望属性(如忠实性),而未考虑多样化的用户需求。为此,我们引入显著性卡片:对显著性方法的运作方式及其在一组评估指标上表现的结构化文档。通过对 25 篇显著性方法论文和 33 项方法评估的综述,我们识别出用户在选择方法时应考虑的 10 个属性。我们将这些属性分为三类,涵盖显著性的计算与解释过程:方法论(即显著性如何计算)、敏感性(即显著性与底层模型和数据的关系),以及可感知性(即最终用户如何解释结果)。通过整理这些信息,显著性卡片使用户能更全面地评估和比较不同方法的影响。通过对来自不同背景的 9 位用户(包括研究人员、放射科医生和计算生物学家)的半结构化访谈,我们发现显著性卡片为讨论单个方法提供了详细词汇,并支持更系统地选择适合任务的方法。此外,借助显著性卡片,我们能够以更结构化的方式分析研究格局,识别满足未竟用户需求的新方法与评估指标的机会。

关键词

引用

@article{arxiv.2206.02958,
  title  = {Saliency Cards: A Framework to Characterize and Compare Saliency Methods},
  author = {Angie Boggust and Harini Suresh and Hendrik Strobelt and John V. Guttag and Arvind Satyanarayan},
  journal= {arXiv preprint arXiv:2206.02958},
  year   = {2023}
}

备注

Published at FAccT 2023, 19 pages, 8 figures, 2 tables