学习集中化双臂装配

机械臂广泛应用于现代制造过程。然而，其在非结构化环境中的部署仍是一个开放问题。为应对真实世界操作任务的多样性、复杂性和不确定性，有必要开发一个对环境特征假设更少灵活框架。近年来，强化学习（RL）在单臂机器人操作方面取得了优异结果。然而，聚焦双臂操作的研究仍然稀少。从经典控制视角看，解决此类任务通常涉及对两个机械臂与任务中物体之间交互的复杂建模，以及两个机器人在控制层面的耦合。相反，在这项工作中，我们探索无模型RL对双臂装配的适用性。由于我们旨在贡献一种不限于双臂装配、而是通用双臂操作的方法，我们将建模工作保持在最低限度。因此，为避免对两个机器人与所用装配工具之间交互的建模，我们提出一种模块化方法，具有两个分散式单臂控制器，并通过单一集中式学习策略进行耦合。我们通过仅使用稀疏奖励将建模工作降至最低。我们的架构实现了成功装配并从仿真到真实世界的简单迁移。我们在双臂插孔任务上展示了该框架的有效性，并分析了不同动作空间的样本效率和成功率。此外，我们比较了不同间隙下的结果，并展示了在处理位置不确定性时的扰动恢复与鲁棒性。最后，我们将仿真中训练的策略零样本迁移到真实世界并评估其性能。