用于虚拟机调度的大规模可扩展强化学习
机器学习
2025-03-04 v1
摘要
强化学习（RL）的最新进展已显示出在小型集群中优化虚拟机调度（VMS）的潜力。然而，将 RL 应用于大规模云计算场景仍受到显著限制。本文提出了一种可扩展的 RL 框架——聚类价值分解强化学习（CVD-RL），以克服大规模 VMS 中的可扩展性障碍。CVD-RL 框架创新性地将分解算子与前瞻算子相结合，以巧妙处理表示复杂性，同时辅以 Top- 过滤算子以提升探索效率。与现有仅适用于 10 台或更少物理机（PM）的集群的方法不同，CVD-RL 将适用性扩展至包含多达 50 台 PM 的环境。此外，CVD-RL 框架在实证研究中展现出超越当代最先进方法的泛化能力。这一突破不仅展示了该框架卓越的规模和性能，也代表了 RL 在复杂大规模云基础设施中用于 VMS 应用的重要飞跃。代码见 https://anonymous.4open.science/r/marl4sche-D0FE。
引用
@article{arxiv.2503.00537,
title = {Scalable Reinforcement Learning for Virtual Machine Scheduling},
author = {Junjie Sheng and Jiehao Wu and Haochuan Cui and Yiqiu Hu and Wenli Zhou and Lei Zhu and Qian Peng and Wenhao Li and Xiangfeng Wang},
journal= {arXiv preprint arXiv:2503.00537},
year = {2025}
}
备注
23 pages, 12 figures