隐形用户：通过解释形式与目标揭示终端用户对可解释 AI 的需求
人机交互
2023-02-16 v2 人工智能
摘要
非技术终端用户是最先进可解释人工智能（XAI）技术的沉默且隐形的用户。他们的 AI 可解释性需求与要求未被纳入 XAI 技术的设计与评估中，而这些技术本是为向终端用户解释 AI 决策 rationale 并辅助其关键决策而开发的。这使得 XAI 技术在医疗、刑事司法、金融和自动驾驶系统等高风险应用中无效甚至有害。为系统性理解终端用户需求以支撑 XAI 的技术开发，我们开展了 EUCA 用户研究，涵盖 32 名外行参与者在四项 AI 辅助关键任务中的表现。该研究识别了针对基于特征、示例和规则的 XAI 技术（体现为终端用户友好的解释形式）以及 XAI 评估目标（体现为解释目标）的全面用户需求，这些需求被证明可直接启发新 XAI 算法与评估指标的提出。EUCA 研究结论、所识别的用于技术规约的解释形式与目标，以及 EUCA 研究数据集，支撑了以终端用户为中心的、可访问、安全且可问责的 XAI 技术的设计与评估。
引用
@article{arxiv.2302.06609,
title = {Invisible Users: Uncovering End-Users' Requirements for Explainable AI via Explanation Forms and Goals},
author = {Weina Jin and Jianyu Fan and Diane Gromala and Philippe Pasquier and Ghassan Hamarneh},
journal= {arXiv preprint arXiv:2302.06609},
year = {2023}
}
备注
EUCA dataset, code, and appendix are at: https://weinajin.github.io/euca. An earlier longer version of the EUCA study (with EUCA prototyping framework) is at: arXiv:2102.02437. The followup paper applying the EUCA study findings is at: arXiv:2208.08739