基于柔顺运动基元的深度强化学习在富接触技能中的应用

近年来，工业机器人在各行业中被部署以处理先进制造与高精度任务。然而，与人类操作员相比，工业机器人的灵活性、适应性与决策技能有限，这阻碍了其进一步集成。装配任务对机器人尤其具有挑战性，因为它们是富接触的，且对微小不确定性也敏感。尽管强化学习（RL）提供了一个从零学习富接触控制策略的有前景框架，但由于高脆弱性与样本复杂度，其对高维连续状态-动作空间的适用性仍相当有限。为解决这些问题，我们提出了不同的剪枝方法以促进收敛与泛化。具体而言，我们将任务划分为自由与富接触子任务，在笛卡尔空间而非关节空间执行控制，并对控制策略进行参数化。这些剪枝方法在动态运动基元（DMP）框架内自然实现。为处理富接触任务，我们通过引入一个耦合项扩展DMP框架，该耦合项像人类手腕一样在与环境接触时提供主动柔顺。我们证明了所提方法能够学习对空间、尺寸、形状及密切相关场景保持不变的插入技能，同时处理大不确定性。最后我们证明了学习到的策略可轻松从仿真迁移到真实世界，并在UR5e机器人上取得相似性能。