基于多任务学习的高维贝叶斯优化在 RocksDB 中的应用
机器学习
2021-04-02 v2 数据库
摘要
RocksDB 是一种用于多种不同场景的通用嵌入式键值存储。其通用性以复杂的调优配置为代价。本文研究通过对十个取值范围各异的参数进行自动调优，以最大化 RocksDB 的 IO 操作吞吐量。现成的优化器难以应对高维问题空间，且需要大量训练样本。我们提出两种技术来解决该问题：多任务建模，以及通过对参数进行人工分组来实现降维。通过在模型中引入相邻优化，模型收敛更快，并找到了其他调优器无法发现的复杂配置。该方法带来了额外的计算复杂度开销，我们通过基于对 RocksDB 的了解将参数手动分配给各子目标来加以缓解。随后将该模型纳入标准贝叶斯优化循环中，以寻找最大化 RocksDB IO 吞吐量的参数。我们的方法在与 Facebook 社交图谱流量仿真进行基准测试时实现了 1.3 倍的提升，并在十次优化步骤内收敛，而其它最先进的方法需要五十步。
引用
@article{arxiv.2103.16267,
title = {High-Dimensional Bayesian Optimization with Multi-Task Learning for RocksDB},
author = {Sami Alabed and Eiko Yoneki},
journal= {arXiv preprint arXiv:2103.16267},
year = {2021}
}