基于去中心化深度强化学习的多机器人协同物体运输

由于物体过大和/或过重的问题，物体运输对单个机器人而言可能是一项具有挑战性的任务。多机器人系统可利用增加的驱动能力与更灵活的构型来解决此类问题。然而，个体数量的增加也改变了系统的动力学，使得多机器人系统的控制更为复杂。更糟糕的是，若整个系统依赖于集中式决策单元，数据流量会因系统规模扩大而易于过载。在本研究中，我们提出一种多机器人系统的去中心化控制方案，其中每个个体配备深度 Q 网络（DQN）控制器以执行超大物体运输任务。DQN 是一种深度强化学习算法，因此不需要系统动力学知识，而是使机器人通过任务环境中的试错式交互学习适当的控制策略。由于同类控制器分布在各个个体上，计算瓶颈被系统性地避免。我们展示了由双机器人团队穿过门道搬运一根超大杆件的场景中的此类系统。所呈现的多机器人系统学习了任务的抽象特征并观察到协同行为。去中心化 DQN 式控制器对不确定性表现出很强的鲁棒性。此外，我们提出一种通用度量来定量评估协作。