基于强化学习的VNF部署高级缩放方法

网络功能虚拟化（NFV）和软件定义网络（SDN）已成为新兴的网络范式，允许以低成本部署虚拟化网络功能（VNF）。尽管VNF部署可以很灵活，但由于其高复杂性，优化VNF部署仍具挑战性。若干研究将该任务视为动态规划，例如整数线性规划（ILP）。然而，针对高度复杂网络优化VNF部署仍是一项挑战。作为替代，基于强化学习（RL）的方法已被提出用于优化该任务，特别是采用基于缩放动作的方法，可在更少计算时间内部署VNF。然而，模型架构仍可进一步改进以泛化到不同的网络设置。本文中，我们提出一种可适应更通用网络设置的增强模型。我们采用改进的GNN架构和若干技术，以获得用于VNF部署任务的更好节点表示。此外，我们应用近期提出的RL方法——阶段性策略梯度（PPG），以利用来自价值函数的服务功能链（SFC）生成模型的共享表示。我们在多种场景中评估所提方法，与先前方法相比，以最小资源利用率实现了更好的服务质量（QoS）。最后，作为定性评估，我们分析了所提编码器对节点的表示，其显示出更解耦的表示。