“不，向右”——通过共享自主实现机器人操作的在线语言纠正

用于语言引导人-机器人交互的系统必须满足两个广泛采用的关键诉求：适应性与学习高效性。遗憾的是，现有的指令跟随智能体无法适应，缺乏融入在线自然语言监督的能力，且即便能够，也需要数百个演示才能学习即便简单的策略。在本工作中，我们提出语言信息潜在动作与纠正(LILAC)框架来解决这些问题，该框架能在执行过程中在线融入并适应自然语言纠正——“向右”或“不，朝书那边”。我们在共享自主范式下探索丰富的操作领域。LILAC 不采用人与机器人之间的离散轮替，而是在人与机器人间分配能动性：语言作为已学习模型的输入，产生一个有意义、低维的控制空间供人引导机器人。每次实时纠正都精炼人的控制空间，从而实现精确、持续的行为——且额外好处是仅需少量演示即可学习。我们通过用户研究评估我们的方法，用户与 Franka Emika Panda 机械臂协作完成复杂操作任务。相较于涵盖开环指令跟随与单轮共享自主的现有学习基线，我们表明这种纠正感知方法获得了更高的任务完成率，并因其可靠性、精确性与易用性而被用户主观偏好。