迈向公平且高效的基于学习的拥塞控制
网络与互联网体系结构
2024-03-05 v1 机器学习
摘要
近年来出现了大量基于学习的拥塞控制 (CC) 解决方案，它们表现出优于传统 TCP 方案的性能。然而，由于其目标函数与这些特性之间的不匹配，它们未能提供持续良好的收敛特性，包括公平性、快速收敛和稳定性。尽管直观上可行，但将这些特性集成到现有的基于学习的 CC 中具有挑战性，因为：1) 它们的训练环境是为单流性能优化而设计的，无法进行多流协同优化；2) 没有可直接测量的指标将这些特性表示到训练目标函数中。我们提出了 Astraea，一种新的基于学习的拥塞控制，可确保在保持稳定性的同时快速收敛到公平性。Astraea 的核心是一个多智能体深度强化学习框架，该框架通过支持多个竞争流之间交互策略的学习，在训练过程中显式优化这些收敛特性，同时保持高性能。我们进一步构建了一个忠实的多流环境，模拟并发流的竞争行为，显式表达收敛特性以在训练期间对其进行优化。我们已经完全实现了 Astraea，我们的综合实验表明，Astraea 能够快速收敛到公平点，并表现出比同类方法更好的稳定性。例如，当多个流竞争同一瓶颈时，Astraea 实现了接近最优的带宽共享（即公平性），收敛速度提高达 8.4 倍，吞吐量偏差缩小 2.8 倍，同时实现了与先前解决方案相当甚至更好的性能。
引用
@article{arxiv.2403.01798,
title = {Towards Fair and Efficient Learning-based Congestion Control},
author = {Xudong Liao and Han Tian and Chaoliang Zeng and Xinchen Wan and Kai Chen},
journal= {arXiv preprint arXiv:2403.01798},
year = {2024}
}