面向延迟关键服务动态路由与调度的灵活多代理深度强化学习框架
网络与互联网体系结构
2025-10-14 v1 人工智能
摘要
及时地将延迟敏感信息传递给动态、异构网络，日益成为工业自动化、自主驾驶和增强现实等多种交互式应用的关键需求。然而，大多数现有网络控制解决方案仅针对平均延迟性能，难以提供严格的端到端（E2E）峰值延迟保证。本文通过利用近期在多代理深度强化学习（MA-DRL）方面的突破，解决可靠地在应用指定截止日期前递送数据包的挑战。我们首先介绍延迈受限最大吞吐（DCMT）动态网络控制问题，并指出当前解决方案的局限性。随后，我们提出一种新型MA-DRL网络控制框架，采用集中式路由和分布式调度架构。该框架利用关键网络领域知识，基于多代理深度确定性策略梯度（MADDPG）技术设计有效的MA-DRL策略，其中集中式路由和分布式调度代理根据数据包生命周期动态分配路径并调度数据包传输，从而最大化准时数据包递送。该框架的通用性允许将数据驱动的深度强化学习（DRL）代理与传统规则基于策略相结合，以在性能和学习复杂度之间取得合适的平衡。我们的结果确认了该框架相对于传统基于随机优化的方法的优势，并为数据驱动DRL代理与新型规则基于策略在高效和高性能控制延迟关键服务方面的作用与相互作用提供了关键见解。
引用
@article{arxiv.2510.11535,
title = {A Flexible Multi-Agent Deep Reinforcement Learning Framework for Dynamic Routing and Scheduling of Latency-Critical Services},
author = {Vincenzo Norman Vitale and Antonia Maria Tulino and Andreas F. Molisch and Jaime Llorca},
journal= {arXiv preprint arXiv:2510.11535},
year = {2025}
}