Magpie：利用深度强化学习自动调优分布式文件系统静态参数
分布式、并行与集群计算
2022-07-25 v2 人工智能
摘要
分布式文件系统如今被广泛使用，然而采用其默认配置往往并非最优。与此同时，调优配置参数通常具有挑战性且耗时，需要专业知识，且调优操作也可能代价高昂。对于静态参数而言尤为如此，因为其更改仅在系统或工作负载重启后生效。我们提出一种新方法 Magpie，它利用深度强化学习，通过策略性地探索与利用配置参数空间来调优静态参数。为促进静态参数的调优，我们的方法采用分布式文件系统的服务器与客户端指标，以理解静态参数与性能之间的关系。实证评估结果表明，Magpie 能显著提升分布式文件系统 Lustre 的性能：在面向单一性能指标优化进行调优后，相较默认配置平均实现 91.8% 的吞吐量提升，而相较基线进一步获得 39.7% 的吞吐量增益。
引用
@article{arxiv.2207.09298,
title = {Magpie: Automatically Tuning Static Parameters for Distributed File Systems using Deep Reinforcement Learning},
author = {Houkun Zhu and Dominik Scheinert and Lauritz Thamsen and Kordian Gontarska and Odej Kao},
journal= {arXiv preprint arXiv:2207.09298},
year = {2022}
}
备注
Accepted at The IEEE International Conference on Cloud Engineering (IC2E) conference 2022