基于深度元强化学习与最优控制的最小限制多智能体避障
机器人学
2021-06-03 v1
摘要
在不同目标要求和系统动力学约束下的多智能体无碰撞轨迹规划与控制已被广泛研究，并在机器学习和强化学习领域近期受到关注。然而，特别是在使用大量智能体时，构建最小限制的避障策略对于经典方法和基于学习的方法都至关重要。在本文中，我们提出了一种最小限制避障模块，用于评估多智能体系统的安全性，并仅在需要防止碰撞时接管控制。LR-CAM 是一种单一策略，可以包裹多智能体系统中所有智能体的策略。它允许每个智能体在保证安全的前提下追求任何目标。所提出的最小限制策略的优势在于，仅在即将发生不可避免的危险时才中断并否决默认控制器。我们使用基于长短期记忆的变分自编码器使 LR-CAM 能够适应环境中智能体数量的变化。此外，我们提出了一种基于 Hamilton-Jacobi 值函数的新型奖励函数的离策略元强化学习框架来训练 LR-CAM。所提出的方法通过基于 ROS 的仿真进行了完整的元训练，并在真实多智能体系统上进行了测试。我们的结果表明，LR-CAM 比经典的最小限制基线高出 30%。此外，我们表明，即使多智能体系统中只有一部分智能体使用 LR-CAM，所有智能体的成功率也将显著提高。
引用
@article{arxiv.2106.00936,
title = {Least-Restrictive Multi-Agent Collision Avoidance via Deep Meta Reinforcement Learning and Optimal Control},
author = {Salar Asayesh and Mo Chen and Mehran Mehrandezh and Kamal Gupta},
journal= {arXiv preprint arXiv:2106.00936},
year = {2021}
}