Iroko：一种用于数据中心流量控制强化学习原型开发的框架
网络与互联网体系结构
2020-12-09 v1 机器学习
机器学习
摘要
近期的网络研究已确认，数据驱动的拥塞控制（CC）比传统的 TCP 拥塞控制更高效。特别是深度强化学习（RL）有潜力学习最优网络策略。然而，RL 存在不稳定与过拟合的缺陷，这些缺陷迄今使其无法被接受用于数据中心网络。在本文中，我们分析了 RL 在数据中心环境中成功所需的条件。我们提出了一个新的仿真器 Iroko，其开发用于支持不同的网络拓扑、拥塞控制算法与部署场景。Iroko 与 OpenAI gym 工具包接口，从而允许在相同条件下对不同的 RL 与传统 CC 算法进行快速且公平的评估。我们给出了三种深度 RL 算法对比 TCP New Vegas 与 DCTCP 的初步基准测试。我们的结果表明，这些算法能够学习到在哑铃与胖树拓扑上超越 TCP New Vegas 性能的拥塞控制策略。我们将仿真器开源并公开可用：https://github.com/dcgym/iroko
引用
@article{arxiv.1812.09975,
title = {Iroko: A Framework to Prototype Reinforcement Learning for Data Center Traffic Control},
author = {Fabian Ruffy and Michael Przystupa and Ivan Beschastnikh},
journal= {arXiv preprint arXiv:1812.09975},
year = {2020}
}
备注
5 figures, 1 Table, 11 pages, Accepted to http://mlforsystems.org/accepted_papers.html (ML for Systems) workshop