面向车联网中无人机编队轨迹设计的多智能体元顾问

未来的车联网需要持续连接才能为高度移动的用户在城市环境中提供服务。为了缓解固定陆基宏基站（MBS）在非直线（NLoS）条件下的覆盖限制，无人机编队可作为空中基站部署，动态重新定位以跟踪车联用户和交通热点，协调陆基网络。本文 addresses 在不同服务区域和不同起飞配置下下的合作多智能体轨迹设计，其中快速和安全的跨场景适应至关重要。我们将问题建模为多任务去中心化部分可观测马尔可夫决策过程（Decentralized Partially Observable Markov Decision Process, POMDP），并使用集中训练、去中心化执行的双向dueling深度Q网络（3DQN）进行求解，以实现在实际部署中实现在线训练。然而，高效探索仍是一个瓶颈，传统策略如 $\epsilon$-greedy 需要精细调优。为克服这一困难，我们提出了带有顾问覆盖（advisor override）的多智能体元顾问（MAMO）。该框架通过在任务之间联合学习的元策略来指导智能体的探索。它使用动态覆盖机制，允许智能体在顾问未能为特定场景泛化时拒绝不一致的指导。跨三个真实城市场景和多种起飞配置的仿真结果表明，MAMO 在收敛速度和回报方面优于调优的 $\epsilon$-greedy 基线，超过仅用顾问的 ablation 和单一通用策略。最后，我们展示了所学习的 UABS 编队显著优于无空中支持部署的网络性能。