车载网络中基于MADRL的无人机防碰撞轨迹设计

在即将到来的6G网络中，无人机（UAV）有望通过充当移动基站发挥基础性作用，特别是对于要求严苛的车联网（V2X）应用。在此场景下，最具挑战性的问题之一是为协同服务同一区域的多架无人机设计轨迹。这种联合轨迹设计可以使用多智能体深度强化学习（MADRL）算法来执行，但确保无人机之间的无碰撞路径成为一项关键挑战。传统方法涉及在训练期间施加高额惩罚以阻止不安全状态，但事实证明这些方法可能无效；而二进制掩码可用于限制不安全动作，但将其天真地应用于所有智能体可能导致次优解和低效率。为了解决这些问题，我们提出了一种基于排名的二进制掩码方法。排名较高的无人机以最优方式移动，而排名较低的无人机利用此信息来定义改进的二进制掩码，从而减少不安全动作的数量。这种方法能够在探索与利用之间取得良好平衡，从而在保持安全约束的同时提升训练性能。