脆弱的人工智能、因果混淆与错误心智模型：XAI项目中的挑战与成效
人工智能
2021-06-11 v1 机器学习
摘要
由深度学习架构推动的人工智能进展不容否认。在若干情形下，深度神经网络驱动的模型已在基准自主任务中超越人类水平表现。然而，这些智能体的底层策略不易解释。事实上，鉴于其底层深度模型，对于任何合理复杂的智能体，都无法直接理解从观测到动作的映射。在不过度牺牲性能的前提下，产出这种“打开AI系统黑箱”的支撑技术，是DARPA XAI项目的根本目标。在我们参与该项目的过程中，得出若干“全局性”要点：1）解释需高度贴合其应用场景；2）许多看似高性能的RL智能体极为脆弱且难以解释；3）因果模型可支撑丰富解释，但如何呈现并非总是一目了然；4）人类受试者会对AI构建出极其错误的心智模型，且这些模型往往难以打破。本文探讨这些要点的由来，提供补充说明，并给出未来工作建议。
引用
@article{arxiv.2106.05506,
title = {Brittle AI, Causal Confusion, and Bad Mental Models: Challenges and Successes in the XAI Program},
author = {Jeff Druce and James Niehaus and Vanessa Moody and David Jensen and Michael L. Littman},
journal= {arXiv preprint arXiv:2106.05506},
year = {2021}
}