解释方法质量评估标准的元综述
人工智能
2023-08-30 v1
摘要
由于决策支持系统(DSS)中近期涌现大量不透明 AI 模型,解释方法及其评估已成为可解释人工智能(XAI)中的重要问题。由于最准确的 AI 模型不透明、透明度与可理解性低,解释对于偏见检测和不确定性控制至关重要。在评估解释方法质量时,可选标准繁多。然而,由于现有标准侧重于评估单一解释方法,如何比较不同方法的质量并不明确。尽管关于解释方法比较评估的论述甚少,但这种共识的缺失在该领域造成了严谨性的严重短缺。本文中,我们对涵盖可解释性评估的十五篇文献综述进行了半系统性元综述,以识别可用于解释方法比较评估的现有标准。本文的主要贡献是建议将适当信任(appropriate trust)作为标准,以衡量主观评估标准的结果,从而使比较评估成为可能。我们还提出了一个解释质量方面模型。该模型将定义相近的标准分组,并与三个已识别的质量方面——模型、解释与用户——相关联。我们还注意到文献中四个被广泛接受的标准(组),涵盖解释质量的所有方面:性能、适当信任、解释满意度与保真度。我们建议将该模型用作比较评估的图表,以在解释质量研究中产生更具泛化性的成果。
引用
@article{arxiv.2203.13929,
title = {A Meta Survey of Quality Evaluation Criteria in Explanation Methods},
author = {Helena Löfström and Karl Hammar and Ulf Johansson},
journal= {arXiv preprint arXiv:2203.13929},
year = {2023}
}
备注
15 pages, 4 figures, 2 tables, conference article