学习多模态注意力以操控状态变化的柔性物体

为在日常生活中辅助人类，机器人需要自主地学习、适应物体与环境并执行恰当的动作。我们着手于使用真实食材制作炒蛋的任务，其中机器人需要感知蛋的状态并在蛋被加热、状态持续变化的同时实时调整搅拌运动。在以往工作中，处理变化中的物体被认为具有挑战性，因为感官信息包含动态的、重要或嘈杂的信息，且每次应关注的模态都会改变，难以实现感知与运动生成的实时化。我们提出一种带注意力机制的预测循环神经网络，能够对传感器输入进行加权，区分各模态的重要性和可靠性，从而实现快速高效的感知与运动生成。该模型通过示范学习进行训练，使机器人获得类人技能。我们使用机器人 Dry-AIREC 验证了所提技术，借助我们的学习模型，其能够使用未知食材完成炒蛋。机器人可根据蛋的状态改变搅拌方式和方向，例如起初在整个锅中搅拌，随后在蛋开始受热后，针对特定区域进行翻动和分离动作，尽管我们并未显式指示这些动作。