BaTCAVE：机器人行为的可信解释

黑盒神经网络是现代机器人不可或缺的一部分。然而，当利益相关者（如工程师和立法机构）缺乏对神经网络决策过程的洞察时，在现实场景中部署此类高风险系统会带来重大挑战。目前，可解释 AI 主要针对自然语言处理和计算机视觉定制，在应用于机器人时存在两个关键不足：缺乏在决策任务中的基础，以及缺乏评估其解释可信度的能力。在本文中，我们引入了一种可信的可解释机器人技术，该技术基于人类可理解的高级概念，这些概念归因于神经网络做出的决策。我们提出的技术通过将神经网络的激活与人类可理解的可视化相匹配，为解释提供相关的不确定性分数。为了验证我们的方法，我们在各种模拟和现实世界的机器人决策模型上进行了一系列实验，证明了所提出的方法作为一种事后、人类友好的机器人诊断工具的有效性。