Monkey Business：强化学习结合邻域搜索的虚拟网络嵌入方法
网络与互联网体系结构
2022-03-01 v1 人工智能
摘要
在本文中，我们考虑面向 5G 网络切片的虚拟网络嵌入（VNE）问题。该问题要求在虚拟化底层物理网络上分配多个虚拟网络（VN），同时最大化资源利用率、已放置 VN 的最大数量以及网络运营商收益等。我们求解该问题的在线版本，即切片随时间到达。受嵌套 rollout 策略自适应（NRPA）算法的启发——该算法是著名的蒙特卡洛树搜索（MCTS）的一种变体，可随时间学习如何进行良好模拟——我们提出了一种称为邻域增强策略自适应（NEPA）的新算法。我们算法的关键特征是观察到 NRPA 无法将一个状态树分支中获得的知识用于另一个起始不同的分支。NEPA 以节俭的方式将 NRPA 与邻域搜索结合进行学习，仅改进有希望的解，同时保持较低的运行时间。我们称此技术为 monkey business，因为它归结为从一个有趣的分支跳到另一个，类似于猴子在树间跳跃而非每次都下树。与最先进的其它算法相比，NEPA 在真实和合成拓扑上的接受率和收益成本比均取得更好结果。
引用
@article{arxiv.2202.13706,
title = {Monkey Business: Reinforcement learning meets neighborhood search for Virtual Network Embedding},
author = {Maxime Elkael and Massinissa Ait Aba and Andrea Araldo and Hind Castel and Badii Jouaber},
journal= {arXiv preprint arXiv:2202.13706},
year = {2022}
}