ConCent：基于接触中心的单演示真实-仿真-真实学习

仿真到真实策略迁移——将在仿真中训练的策略部署到现实世界——是在没有大规模真实世界数据的情况下扩展机器人操作的一种有前景的范式。然而，由于接触动力学的差异，迁移仿真训练的策略仍然具有挑战性——特别是在接触丰富的任务中，细微的差异可能完全改变任务结果。由于被操作对象与环境之间的交互通过接触进行，任务成功取决于准确复现与任务相关的接触。因此，在操作中，接触中心保真度——复现接触事件序列（接触发生的时间、地点和方式）和局部接触动力学（每个接触处的力和运动如何演化）——是任务成功的必要条件。基于这一见解，我们提出了一个接触中心的真实-仿真-真实强化学习框架，将从真实演示中提取的任务相关接触事件序列作为学习目标。我们将对象近似为基元组，并在仿真中优化其接触几何，使得所得的局部接触动力学解释观察到的状态转换。接触事件序列通过重放演示自动提取。该序列作为结构化奖励信号，引导策略走向在现实中验证的物理合理接触机制，并防止利用不切实际的仿真器接触。该信号自动获得，无需针对每个任务设计奖励。在接触丰富的操作任务上的实验表明，与无约束的强化学习基线相比，仿真到真实策略迁移更加稳定和鲁棒。