通过深度强化学习实现虚拟机重调度优化
机器学习
2025-05-26 v1
摘要
现代工业规模的数据中心需要管理大量虚拟机（VM）。由于虚拟机的持续创建和释放，许多小型资源碎片散落在物理机（PM）上。为处理这些碎片，数据中心定期将部分虚拟机重新调度到其他物理机上，这一做法通常被称为虚拟机重调度。尽管随着数据中心规模的扩大，虚拟机重调度的重要性日益增加，但该问题仍未得到充分研究。我们首先表明，与大多数组合优化任务不同，虚拟机重调度算法的推理时间会显著影响其性能，原因是在此期间虚拟机状态动态变化。这导致现有方法的可扩展性较差。因此，我们开发了一个用于虚拟机重调度的强化学习系统 VM2RL，该系统包含一系列定制化技术，如一个可适应多样化约束和工作负载条件的两阶段框架、一个捕获重调度特有关系信息的特征提取模块，以及一个使用户能够优化延迟与准确性之间权衡的风险偏好评估。我们使用来自工业规模数据中心的数据进行了大量实验。结果表明，VM2RL 可以在数秒的运行时间内达到与最优解相当的性能。代码和数据集已开源：https://github.com/zhykoties/VMR2L_eurosys, https://drive.google.com/drive/folders/1PfRo1cVwuhH30XhsE2Np3xqJn2GpX5qy。
引用
@article{arxiv.2505.17359,
title = {Towards VM Rescheduling Optimization Through Deep Reinforcement Learning},
author = {Xianzhong Ding and Yunkai Zhang and Binbin Chen and Donghao Ying and Tieying Zhang and Jianjun Chen and Lei Zhang and Alberto Cerpa and Wan Du},
journal= {arXiv preprint arXiv:2505.17359},
year = {2025}
}