从灵活性到操控性：可解释人工智能评估的滑坡效应
人工智能
2024-12-10 v1
摘要
缺乏真实解释标签是可解释人工智能（XAI）定量评估的基本挑战。当评估方法具有大量必须由用户指定的超参数时，这一挑战变得尤为突出，因为没有真实标签来确定最优超参数选择。通常无法对超参数进行穷举搜索，研究人员通常基于文献中的类似研究做出规范性选择，这为用户提供了极大的灵活性。在本工作中，我们展示了这种灵活性如何被利用来操控评估结果。我们将这种操控框架化为对评估的对抗攻击，其中看似无害的超参数设置变化会显著影响评估结果。我们通过多个数据集展示了这种操控的有效性，在多个解释方法和模型上均观察到评估结果的大幅变化。最后，我们提出了一种基于超参数排序的缓解策略，旨在为此类操控提供鲁棒性。本工作强调了进行可靠 XAI 评估的困难，并强调了在 XAI 中采用整体且透明的评估方法的重要性。
引用
@article{arxiv.2412.05592,
title = {From Flexibility to Manipulation: The Slippery Slope of XAI Evaluation},
author = {Kristoffer Wickstrøm and Marina Marie-Claire Höhne and Anna Hedström},
journal= {arXiv preprint arXiv:2412.05592},
year = {2024}
}
备注
Published in ECCV 2024 Workshop on Explainable Computer Vision: Where are We and Where are We Going? Shorter non-archival version also appeared in the NeurIPS 2024 Interpretable AI workshop. Code is available at \url{https://github.com/Wickstrom/quantitative-xai-manipulation}