以人为中心的可解释人工智能(XAI)的未来不在于事后解释
机器学习
2024-05-29 v2 人工智能
计算机与社会
人机交互
摘要
可解释人工智能(XAI)在使人类理解并信任深度学习系统方面起着关键作用。随着模型变得更大、更普及并渗透到日常生活的各个方面,可解释性对于最小化模型错误的不良影响是必要的。遗憾的是,当前以人为中心的 XAI 方法(例如医疗、教育或个性化广告中的预测任务)往往依赖单一的事后解释器,而近期工作已发现,当应用于同一底层黑盒模型的实例时,事后解释器之间存在系统性分歧。因此,本文提出一项行动呼吁,以应对当前最先进解释器的局限。我们主张从事后可解释性转向设计可解释的神经网络架构。我们识别出以人为中心的 XAI 的五个需求(实时、准确、可操作、人类可解释、一致),并提出两种按设计可解释的神经网络工作流方案(基于 InterpretCC 的自适应路由与基于 I2MD 的时间诊断)。我们假定,以人为中心的 XAI 的未来既不在解释黑盒,也不在于回归传统的可解释模型,而在于内在可解释的神经网络。
引用
@article{arxiv.2307.00364,
title = {The future of human-centric eXplainable Artificial Intelligence (XAI) is not post-hoc explanations},
author = {Vinitra Swamy and Jibril Frej and Tanja Käser},
journal= {arXiv preprint arXiv:2307.00364},
year = {2024}
}
备注
Viewpoint paper, under review at JAIR