基于分层多指标预测与贝叶斯决策的自适应两阶段云资源伸缩
机器学习
2024-08-05 v1
摘要
由大规模模型和数据中心的快速增长驱动的云计算资源需求激增，凸显了高效且自适应资源分配的关键重要性。随着主要科技企业部署包含数千个 GPU 的大规模基础设施，现有云平台仍因关键挑战而难以实现高资源利用率：捕获分层指标结构、建模非高斯分布以及在不确定性下做出决策。为应对这些挑战，我们提出 HARMONY——一个自适应的分层注意力资源建模与决策系统。HARMONY 结合了分层多指标分布预测和不确定性感知的贝叶斯决策。它引入了一种新颖的分层注意力机制，全面建模复杂的指标间依赖关系，从而实现能够适应不断变化的环境状态的准确预测。通过归一化流将高斯投影转换为自适应非高斯分布。关键的是，HARMONY 在自适应贝叶斯过程中利用完整的预测分布，主动纳入不确定性以优化资源分配，同时在变化条件下稳健地满足 SLA 约束。在四个大规模云数据集上的广泛评估展示了 HARMONY 的最先进性能，显著超越了九种已有方法。为期一个月的真实世界部署验证了 HARMONY 的重大实际影响，实现了超过 35,000 GPU 小时的节省，转化为超过 10 万美元的成本降低，展示了其通过自适应、不确定性感知伸缩实现的显著经济价值。我们的代码可在 https://github.com/Floating-LY/HARMONY1 获取。
引用
@article{arxiv.2408.01000,
title = {Adaptive Two-Stage Cloud Resource Scaling via Hierarchical Multi-Indicator Forecasting and Bayesian Decision-Making},
author = {Yang Luo and Shiyu Wang and Zhemeng Yu and Wei Lu and Xiaofeng Gao and Lintao Ma and Guihai Chen},
journal= {arXiv preprint arXiv:2408.01000},
year = {2024}
}