MARLIN：基于 Soft Actor-Critic 的强化学习用于真实网络中的拥塞控制
机器学习
2023-06-27 v1 人工智能
网络与互联网体系结构
摘要
快速高效的传输协议是日益分布式的世界的基础。持续提供改进通信性能以支持下一代应用和服务的负担，加上系统与网络技术日益增加的异质性，推动了在特定环境下表现良好的拥塞控制（CC）算法设计。设计一个能适应广泛场景的通用 CC 算法仍是开放的研究问题。为应对此挑战，我们提出应用一种新颖的强化学习（RL）方法。我们的方案 MARLIN 使用 Soft Actor-Critic 算法来最大化熵与回报，并将学习过程建模为无限时域任务。我们在具有变化背景流量模式的真实网络上训练 MARLIN，以克服研究人员将 RL 应用于 CC 时遇到的仿真到现实的失配。我们在文件传输任务上评估了我们的方案，并与 TCP Cubic 比较。虽然还需进一步研究，但结果表明 MARLIN 能以很少的超参数调优达到与 TCP 相当的结果，且任务与其训练设置显著不同。因此，我们相信我们的工作代表了基于最大熵 RL 框架构建 CC 算法有前景的第一步。
引用
@article{arxiv.2302.01301,
title = {MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks},
author = {Raffaele Galliera and Alessandro Morelli and Roberto Fronteddu and Niranjan Suri},
journal= {arXiv preprint arXiv:2302.01301},
year = {2023}
}
备注
10 pages, 5 figures, AAAI 2023 workshop "Reinforcement Learning Ready for Production", accepted at NOMS 2023 - IEEE/IFIP Network Operations and Management Symposium