使用变分自编码器引导的异步贝叶斯优化进行HPC存储服务自动调优
分布式、并行与集群计算
2022-10-04 v1 机器学习
摘要
为特定应用量身定制的分布式数据存储服务在高性能计算（HPC）社区中作为解决I/O和存储挑战的方法已变得流行。这些服务提供多种特定接口、语义和数据表示。它们还暴露出许多调优参数，使其用户难以为给定工作负载和平台找到最佳配置。为解决此问题，我们开发了一种新颖的变分自编码器引导的异步贝叶斯优化方法来调优HPC存储服务参数。我们的方法使用迁移学习利用先前的调优结果，并使用动态更新的代理模型以系统方式探索大型参数搜索空间。我们在DeepHyper开源框架内实现了我们的方法，并将其应用于Argonne的Theta超级计算机上高能物理工作流的自动调优。我们表明，我们的迁移学习方法相比随机搜索实现了超过的搜索加速，而不使用迁移学习时加速为至。此外，我们表明我们的方法在速度上与最先进的自动调优框架相当，并在资源利用率和并行化能力上优于它们。
引用
@article{arxiv.2210.00798,
title = {HPC Storage Service Autotuning Using Variational-Autoencoder-Guided Asynchronous Bayesian Optimization},
author = {Matthieu Dorier and Romain Egele and Prasanna Balaprakash and Jaehoon Koo and Sandeep Madireddy and Srinivasan Ramesh and Allen D. Malony and Rob Ross},
journal= {arXiv preprint arXiv:2210.00798},
year = {2022}
}
备注
Accepted at IEEE Cluster 2022