面向机器人故障的可解释AI：生成提升用户在故障恢复中辅助效果的解释
人工智能
2021-08-05 v1
摘要
随着智能系统能力不断增强，机器人在日常生活中的集成日益增多。然而，在此类复杂人类环境中交互时，机器人系统的偶发故障不可避免。可解释AI领域一直试图使复杂决策系统更具可解释性，但大多数现有技术面向领域专家。相反，在许多故障情形中，机器人将需要非专家用户的恢复辅助。在本工作中，我们引入一种新型解释，向非专家解释智能体计划执行期间意外故障的原因。为使错误解释有意义，我们研究了在一组手写解释中，哪些类型的信息最有助于非专家识别故障与解决方案。此外，我们研究了此类解释如何自主生成，扩展了现有的编码器-解码器模型，并跨环境泛化。我们在家庭环境中机器人执行拾放操作任务的背景下探究了这些问题。我们的结果表明，捕获故障上下文与过往动作历史的解释，对非专家识别故障与解决方案最为有效。进一步，通过第二次用户评估，我们验证了模型生成的解释可泛化至未见的办公室环境，且与手写解释同样有效。
引用
@article{arxiv.2101.01625,
title = {Explainable AI for Robot Failures: Generating Explanations that Improve User Assistance in Fault Recovery},
author = {Devleena Das and Siddhartha Banerjee and Sonia Chernova},
journal= {arXiv preprint arXiv:2101.01625},
year = {2021}
}