可解释性陷阱：超越可解释AI中的暗黑模式
人机交互
2021-09-28 v1 人工智能
摘要
为了使可解释AI（XAI）系统值得信赖，理解有害影响与生成设计良好的解释同样重要。在本文中，我们探讨了XAI中一种重要但尚未明确阐述的负面效应。我们引入了可解释性陷阱（EPs），即AI解释产生的、即使没有操纵用户意图也会显现的、意料之外的负面下游效应。EPs不同于暗黑模式，但与之相关，后者是故意欺骗性的做法。我们通过将EPs与暗黑模式区分开来，并强调围绕陷阱的不确定性所带来的挑战，来阐明EPs的概念。我们通过一个案例研究来定位和操作化这一概念，该案例展示了尽管出于最佳意图，仍可能出现意想不到的负面效应，例如对数值解释产生不合理的信任。我们提出了在三个相互关联的层面（研究、设计和组织）上解决EPs的主动和预防性策略。
引用
@article{arxiv.2109.12480,
title = {Explainability Pitfalls: Beyond Dark Patterns in Explainable AI},
author = {Upol Ehsan and Mark O. Riedl},
journal= {arXiv preprint arXiv:2109.12480},
year = {2021}
}