基于多智能体深度强化学习的 MANET 鲁棒可扩展路由

高度动态的移动自组织网络（MANETs）一直是开发和部署鲁棒、高效且可扩展路由协议最具挑战性的环境之一。在本文中，我们提出 DeepCQ+ 路由，它以一种新颖的方式将新兴的多智能体深度强化学习（MADRL）技术集成到现有的基于 Q 学习的路由协议及其变体中，并在仅以有限网络参数和条件训练的情况下，在广泛的 MANET 配置中持续实现更高性能。在定量上，与其基于 Q 学习的对应协议相比，DeepCQ+ 显示出持续更高的端到端吞吐量且开销更低，其效率总体提升 10-15%。在定性上且更重要的是，DeepCQ+ 在许多未训练过的场景（就网络规模、移动条件和流量动态而言）中保持了极为相似的性能增益。据我们所知，这是 MADRL 用于 MANET 路由问题的首次成功演示，其实现了并在训练场景范围之外的环境中保持了高度的可扩展性与鲁棒性。这意味着 DeepCQ+ 结合 MADRL 与 Q 学习的混合设计方法显著提升了其实用性与可解释性，因为真实世界 MANET 环境很可能超出训练过的 MANET 场景范围。