解谜：增强深层网络解释的忠诚性与可理解性
计算机视觉与模式识别
2025-03-19 v3
摘要
人工智能（AI）的快速发展推动了深度学习模型在各个领域的普及，但其内在的不可见性在医疗、医药和地球科学等关键领域造成了挑战。可解释人工智能（XAI）应运而生，以阐明这些“黑箱”模型，帮助解读其决策过程。然而，不同的XAI方法常产生截然不同的解释，导致方法间变异性大，增加不确定性，削弱对深层网络预测可信度。本研究通过引入一个新框架，专注于最大化解释的准确性和可理解性，来解决这一挑战。该框架整合了多个既有XAI方法的输出，并利用称为“解释优化器”的非线性神经网络模型，构建统一的最优解释。优化器通过两个关键指标评估解释：忠诚性（准确反映网络决策）和复杂度（可理解性）。在平衡这两者方面，它提供准确且易于理解的解释，解决了当前XAI局限的关键问题。在2D物体和3D神经科学成像中的多类和二分类实验确认了其有效性。我们的优化器在3D和2D任务中分别比最佳XAI方法高出155%和63%的忠诚性得分，同时降低了复杂度，便于理解。这些结果表明，基于特定质量标准的最优解释是可实现的，为解决当前XAI文献中方法间变异性问题提供了解决方案，支持更可信的深层网络预测。
引用
@article{arxiv.2405.10008,
title = {Solving the enigma: Enhancing faithfulness and comprehensibility in explanations of deep networks},
author = {Michail Mamalakis and Antonios Mamalakis and Ingrid Agartz and Lynn Egeland Mørch-Johnsen and Graham Murray and John Suckling and Pietro Lio},
journal= {arXiv preprint arXiv:2405.10008},
year = {2025}
}
备注
Accepted manuscript in AI Open Journal (https://www.sciencedirect.com/journal/ai-open)