稠密堆积环境下双臂推-抓协同的学习

在稠密堆积环境中进行机器人抓取由于抓取机会稀少而具有挑战性。非预防动作可以在稠密环境中增加可行的抓取机会，但大多数研究仍聚焦于单臂操作。单臂系统的策略未能充分发挥双臂协同的优势。我们提出了一种面向目标的分层深度强化学习 (DRL) 框架，用于学习双臂推-抓协同以增强稠密堆积环境中的机械臂操作。该框架通过预训练的深度学习主干网络和 novel CNN 基于 DRL 的模型（采用 Proximal Policy Optimization, PPO 进行训练），开发出双臂推-抓策略。该主干网络增强了稠密堆积环境中的特征映射。引入一种 novel 模糊化奖励函数以加速高效策略的学习。该系统在 Isaac Gym 中开发并训练，然后在仿真和实际机器人上进行测试。实验结果表明，该框架有效地将视觉数据映射到双臂推-抓动作，使双臂系统能够在复杂环境中抓取目标对象。与其他方法相比，我们的方法生成 6 自由度抓取候选方案，并实现双臂推动作，模仿人类行为。结果表明，该方法在稠密堆积环境中高效完成任务。