归纳偏置驱动的强化学习用于异构集群中的高效调度
分布式、并行与集群计算
2020-07-01 v2 机器学习
摘要
将工作负载调度到异构处理器（例如 CPU、GPU、FPGA）上的问题在现代数据中心中具有根本重要性。当前的系统调度器依赖特定于应用/系统的启发式方法，必须逐案构建。近期工作展示了使用黑盒方法的机器学习技术来自动化启发式搜索，这些方法需要大量训练数据和时间，使其在实践中难以使用。本文提出 Symphony，一种调度框架，从两方面应对该挑战：（i）用于调度的领域驱动贝叶斯强化学习（RL）模型，它固有地对从系统架构中识别出的资源依赖关系建模；（ii）基于采样的技术，在不执行完整概率推断的情况下计算贝叶斯模型的梯度。这些技术共同减少了训练数据量和生成调度策略所需的时间，其性能显著优于黑盒方法达 2.2 倍。
引用
@article{arxiv.1909.02119,
title = {Inductive-bias-driven Reinforcement Learning For Efficient Schedules in Heterogeneous Clusters},
author = {Subho S Banerjee and Saurabh Jha and Zbigniew T. Kalbarczyk and Ravishankar K. Iyer},
journal= {arXiv preprint arXiv:1909.02119},
year = {2020}
}
备注
Scheduling, Bayesian, POMDP, Sampling, Deep Reinforcement Learning, Accelerators, FPGA, GPU