基于贝叶斯优化的并行循环调度的概率机器学习方法
分布式、并行与集群计算
2022-06-14 v1 性能
摘要
本文提出贝叶斯优化增强的分解自调度（BO FSS），一种新的并行循环调度策略。BO FSS 是分解自调度（FSS）算法的自动调谐变体，基于贝叶斯优化（BO）这一黑盒优化算法。其核心思想是通过使用 BO 求解优化问题来自动调谐 FSS 的内部参数。该调谐过程仅需对目标循环进行在线执行时间测量。为应用 BO，我们使用两个高斯过程（GP）概率机器学习模型对执行时间建模。值得注意的是，我们提出了一种局部性感知 GP 模型，其假设时间局部性效应类似于指数递减函数。通过精确建模时间局部性效应，我们的局部性感知 GP 模型加速了 BO 的收敛。我们在 OpenMP 标准的 GCC 实现上实现了 BO FSS，并针对其他调度算法评估了其性能。此外，为量化我们的方法在不同工作负载上的性能变化（即我们所称的工作负载鲁棒性），我们测量了极小极大遗憾。根据极小极大遗憾，BO FSS 表现出比其他算法更一致的性能。在所考虑的工作负载中，BO FSS 将 FSS 的执行时间最多改善 22%，平均改善 5%。
引用
@article{arxiv.2206.05787,
title = {A Probabilistic Machine Learning Approach to Scheduling Parallel Loops with Bayesian Optimization},
author = {Kyurae Kim and Youngjae Kim and Sungyong Park},
journal= {arXiv preprint arXiv:2206.05787},
year = {2022}
}
备注
Part of TPDS Special Section on Parallel and Distributed Computing Techniques for AI, ML, and DL