CFR-RL：SDN 中基于强化学习的流量工程
网络与互联网体系结构
2020-06-23 v1 机器学习
摘要
传统流量工程（TE）方案通过尽可能多地重路由流来实现最优或近最优性能。然而，它们通常未考虑在网络中频繁重路由流所带来的负面影响，例如数据包乱序。为减轻网络扰动的影响，一种有前景的 TE 方案是使用等价多路径（ECMP）转发大多数流量流，并利用软件定义网络（SDN）选择性地重路由少数关键流以平衡网络链路利用率。然而，关键流重路由并非易事，因为关键流选择的求解空间极为庞大。此外，由于基于规则的启发式方法无法适应流量矩阵与网络动态的变化，为此问题设计基于固定简单规则的启发式算法是不可能的。本文中，我们提出 CFR-RL（关键流重路由-强化学习），一种基于强化学习的方案，学习为各给定流量矩阵自动选择关键流的策略。CFR-RL 随后通过构建并求解一个简单的线性规划（LP）问题来重路由这些选定的关键流，以平衡网络链路利用率。大量评估表明，CFR-RL 仅重路由 10%–21.3% 的总流量即可实现近最优性能。
引用
@article{arxiv.2004.11986,
title = {CFR-RL: Traffic Engineering with Reinforcement Learning in SDN},
author = {Junjie Zhang and Minghao Ye and Zehua Guo and Chen-Yu Yen and H. Jonathan Chao},
journal= {arXiv preprint arXiv:2004.11986},
year = {2020}
}
备注
This article has been accepted for inclusion in a future issue of IEEE Journal on Selected Areas in Communications Special Issue on Advances in Artificial Intelligence and Machine Learning for Networking