一种用于机器人操作中人助失效规避的注意力迁移模型

由于真实世界动态与硬件不确定性，机器人在任务执行中不可避免地会发生失效，导致不期望甚至危险的执行结果。为规避失效并提升机器人性能，在早期识别并纠正异常的机器人执行至关重要。然而，由于推理能力与知识存储有限，机器人难以在规划与执行中自主诊断并纠正自身异常。为提升机器人自主诊断能力，本研究开发了一种新颖的人到机器人注意力迁移(H2R-AT)方法，通过利用人类指令来识别机器人操作错误。H2R-AT通过将注意力映射机制融合进一种新颖的堆叠神经网络模型而开发，将人类语言注意力迁移为机器人视觉注意力。借助该注意力迁移，机器人理解人类所关注的对象与位置，从而识别并纠正异常操作。我们在仿真框架CRAIhri中设计了两个代表性任务场景：“在厨房中为人倒水”与“在工厂中拣取缺陷齿轮”，并引入异常机器人操作；招募了252名志愿者提供约12000条语言提醒以学习与测试H2R-AT。该方法有效性通过注意力迁移的高准确率73.68%以及规避抓取失效的高准确率66.86%得到验证。