模型控制与强化学习集成：紧密插入策略的仿真到现实迁移
机器人学
2025-05-20 v1
摘要
在容差较紧()的情况下进行物体插入是一项重要但具有挑战性的装配任务，因为即使存在微小误差也会导致不理想的接触。近期的研究工作集中于强化学习(RL)，该方法通常依赖于精心定义的稠密奖励函数。本文提出了一种有效策略，用于此类任务，将传统模型基于控制的方法与RL相结合，以实现更高的插入精度。该策略在仿真环境中进行训练，随后实现对真实系统的零样本迁移。该方法采用基于势场的控制器，在仿真中获得完整可观测性下的插入插头到插座的模型控制策略。随后，该策略被集成到残差强化学习中，后者仅使用稀疏的目标到达奖励在仿真中进行训练。关于观测噪声和动作幅度的课程计划用于训练残差RL策略。两个策略组件均以插头和插座的SE(3)姿态为输入，返回插头的SE(3)姿态变换，该变换由机器人臂通过控制器执行。集成策略部署在真实系统上，无需进一步训练或微调，仅需基于视觉SE(3)对象跟踪器即可运行。对该方案及备选方案在仿真和现实中的各种物体和条件下进行了评估。该方法在该领域的近期RL方法以及基于混合策略的先前工作方面表现优异。消融实验揭示了该方法各个组成部分的影响。
引用
@article{arxiv.2505.11858,
title = {Integrating Model-based Control and RL for Sim2Real Transfer of Tight Insertion Policies},
author = {Isidoros Marougkas and Dhruv Metha Ramesh and Joe H. Doerr and Edgar Granados and Aravind Sivaramakrishnan and Abdeslam Boularias and Kostas E. Bekris},
journal= {arXiv preprint arXiv:2505.11858},
year = {2025}
}