“让我们就此达成一致”: 探究可解释人工智能在文本摘要中的不一致问题
人工智能
2025-11-07 v2
摘要
可解释人工智能 (XAI) 方法在文本摘要中至关重要，用于理解模型行为并建立对模型生成摘要的信任。尽管 XAI 方法有效，但近期研究已指出该领域的一个关键挑战，称为“不一致问题”。当不同的 XAI 方法对相同模型结果生成冲突的解释时，就会发生这种问题。此类差异引发了对解释一致性的担忧，降低了对模型解释的信心，这对于安全和可信赖的 AI 应用至关重要。本工作是首次对文本摘要中的不一致问题进行经验性调查，表明此类差异在最先进的摘要模型中广泛存在。为解决这一空白，我们提出了区域可解释人工智能 (RXAI)，一种基于分段的方法，其中将每篇文章分为较小的连贯段落。我们对文本段落使用 XAI 方法以创建局部解释，从而有助于减少不同 XAI 方法之间的不一致，从而增强 AI 生成摘要的可信度。我们的结果表明，局部解释比全文解释更一致。该方法使用两个基准摘要数据集进行验证，Extreme summarization (Xsum) 和 CNN/Daily Mail，表明不一致性显著降低。此外，开发了一个交互式 JavaScript 可视化工具，用于轻松、带颜色编码的探索 Attribution 分数在句子水平上的解释，增强用户对模型解释的理解。
引用
@article{arxiv.2410.18560,
title = {"Let's Agree to Disagree": Investigating the Disagreement Problem in Explainable AI for Text Summarization},
author = {Seema Aswani and Sujala D. Shetty},
journal= {arXiv preprint arXiv:2410.18560},
year = {2025}
}
备注
This is a preprint version of the manuscript accepted for publication in the Machine Learning Journal (Springer Nature)