警惕AI的“解释”
机器学习
2025-04-10 v1
摘要
理解日益复杂的人工智能系统所做出的决定和采取的行动仍是关键挑战。这导致了一个不断扩大的解释性人工智能 (XAI) 研究领域，突显了解释在增强信任、支持采纳和满足监管标准方面的潜力。然而，何为“好”解释的疑问取决于目标、利益相关者和具体情境。从宏观层面看，心理学见解如心智模型对齐概念可提供指导，但在实践中由于社会和技术因素，成功难以实现。由于这一问题定义模糊，解释可能质量较差（例如不忠实、不相关或不连贯），可能导致重大风险。相反， poorly designed 的解释实际上可能造成伤害，包括错误决策、隐私违规、操纵，甚至减少AI的采纳。因此，我们警告利益相关者要警惕AI的解释：尽管它们可能至关重要，但并非透明度或负责任AI采纳的自动解决方案，而且其滥用或局限性可能加剧伤害。关注这些警告可以帮助指导未来的研究，以提高AI解释的质量和影响力。
引用
@article{arxiv.2504.06791,
title = {Beware of "Explanations" of AI},
author = {David Martens and Galit Shmueli and Theodoros Evgeniou and Kevin Bauer and Christian Janiesch and Stefan Feuerriegel and Sebastian Gabel and Sofie Goethals and Travis Greene and Nadja Klein and Mathias Kraus and Niklas Kühl and Claudia Perlich and Wouter Verbeke and Alona Zharova and Patrick Zschech and Foster Provost},
journal= {arXiv preprint arXiv:2504.06791},
year = {2025}
}
备注
This work was inspired by Dagstuhl Seminar 24342