FlagVNE：一种用于网络资源分配的灵活且可泛化的强化学习框架

虚拟网络嵌入(VNE)是网络虚拟化中的一项关键资源分配任务，旨在将虚拟网络请求(VNR)映射到物理基础设施上。强化学习(RL)近期已成为解决该问题的一种极具前景的方案。然而，现有的基于 RL 的 VNE 方法受限于单向动作设计和一刀切的训练策略，导致搜索能力和泛化能力受限。在本文中，我们提出了一种灵活且可泛化的 VNE 强化学习框架，命名为 FlagVNE。具体而言，我们设计了一个基于双向动作的马尔可夫决策过程模型，能够联合选择虚拟节点和物理节点，从而提升解空间的探索灵活性。为应对庞大且动态的动作空间，我们设计了一个分层解码器以生成自适应动作概率分布，并确保高训练效率。此外，为克服针对不同 VNR 规模的泛化问题，我们提出了一种基于元 RL 的训练方法并结合课程调度策略，促进了针对每种 VNR 规模的专门策略训练。最后，大量实验结果表明了 FlagVNE 在多个关键指标上的有效性。我们的代码已在 GitHub (https://github.com/GeminiLight/flag-vne) 上提供。