DeepCQ+：面向高度动态网络的多智能体深度强化学习鲁棒可扩展路由
网络与互联网体系结构
2021-12-01 v1 人工智能
机器学习
摘要
高度动态的移动自组织网络（MANET）仍然是开发和部署鲁棒、高效且可扩展路由协议最具挑战性的环境之一。在本文中，我们提出了 DeepCQ+ 路由协议，它以一种新颖的方式将新兴的多智能体深度强化学习（MADRL）技术集成到现有的基于 Q-learning 的路由协议及其变体中，并在广泛的拓扑和移动性配置下持续实现更高的性能。在保持基于 Q-learning 的路由协议整体结构的同时，DeepCQ+ 用精心设计的 MADRL 智能体替换了静态配置的参数化阈值和手写规则，从而无需预先配置此类参数。大量仿真表明，与基于 Q-learning 的对应协议相比，DeepCQ+ 显著提高了端到端吞吐量，降低了开销，且端到端延迟（跳数）没有明显退化。定性地看，也许更重要的是，DeepCQ+ 在许多未经训练的场景下（就网络规模、移动性条件和流量动态而言）保持了显著相似的性能提升。据我们所知，这是 MADRL 框架在 MANET 路由问题上的首次成功应用，即使在训练场景范围之外的环境中也展示了高度的可扩展性和鲁棒性。这意味着我们基于 MARL 的 DeepCQ+ 设计解决方案显著提升了用于比较的基于 Q-learning 的 CQ+ 基线方法的性能，并提高了其实用性和可解释性，因为现实世界的 MANET 环境可能会在 MANET 训练场景范围之外发生变化。我们还讨论了进一步提高性能和可扩展性增益的额外技术。
引用
@article{arxiv.2111.15013,
title = {DeepCQ+: Robust and Scalable Routing with Multi-Agent Deep Reinforcement Learning for Highly Dynamic Networks},
author = {Saeed Kaviani and Bo Ryu and Ejaz Ahmed and Kevin Larson and Anh Le and Alex Yahja and Jae H. Kim},
journal= {arXiv preprint arXiv:2111.15013},
year = {2021}
}
备注
arXiv admin note: substantial text overlap with arXiv:2101.03273