多模态示范式机器人编程:初步探索

近年来,与工厂工人等终端用户紧密协作的工业机器人数量有所增长。协作机器人的这一日益增长的使用,部分得益于终端用户机器人编程方法的可用性,这些方法允许非机器人程序员用户的人员教导机器人任务动作。示范式编程(PbD)正是这样一种终端用户编程方法,它使用户能够通过演示期望的机器人行为,来绕过使用编程语言指定机器人运动的复杂性。演示通常通过在被称为触觉示教的过程中物理引导机器人完成某项任务动作所需运动来提供。触觉示教使用户能够在机器人的构型空间中直接演示任务行为,这使其成为以低认知负担著称的协作机器人流行终端用户编程方法。然而,由于触觉示教将编程者的教导限制于运动演示,它未能利用人类在相互提供物理任务演示时自然使用的其他模态信息,如注视与语音。将多模态信息纳入传统触觉编程工作流,有潜力通过突出程序的关键方面、减少歧义以及提升机器人学习者的情境意识来增强机器人学习,并能够洞察人类编程者的意图与困难。在本扩展摘要中,我们描述了一项关于多模态触觉演示的初步研究,以及利用多模态演示增强机器人学习与用户编程体验的未来方向。