“做什么而非怎么做”：从零开始解决一个欠驱动插入任务

机器人操作需要一组复杂的技能，这些技能需要被仔细组合与协调以解决问题。然而，机器人学中的大多数强化学习（RL）方法研究所针对的任务实际上仅由单一操作技能构成，例如抓取物体或插入已预抓取的物体。因此，被指定的是技能（‘如何’解决任务）而非完整操作的真正目标（‘做什么’）。相反，我们研究一个复杂的操作目标，要求智能体学习并组合多样的操作技能。我们提出一个具有挑战性、高度欠驱动的孔中插钉任务，使用自由的、旋转不对称的钉，需要广泛的操作技能。虽然正确的钉的（重新）定向是成功插入的前提，但与之相关的奖励并不存在。因此智能体需要理解这一先决条件并学习满足它的技能。最终的插入奖励是稀疏的，允许解决方案的自由度，并导致任务设计期间未设想的复杂涌现行为。我们在多任务 RL 框架中采用调度辅助控制（SAC-X）结合正则化分层策略优化（RHPO）来解决该问题，并在单个机器人上从零开始在仿真中成功解决该任务，其中数据极为有限。