流处理系统最优配置的不确定性感知方法
分布式、并行与集群计算
2016-06-22 v1
摘要
寻找流处理系统（SPS）的最优配置是一个具有挑战性的问题，因为有大量参数可以影响其性能，且缺乏预测变化影响的分析模型。为了解决这个问题，我们考虑了这样的调优方法：实验者获得有限的实验预算，并需要仔细分配此预算以找到最优配置。我们在此设置下提出了用于配置优化的贝叶斯优化（BO4CO），这是一种自动调优算法，利用高斯过程（GP）迭代地捕获配置空间的后验分布并依次驱动实验。基于 Apache Storm 的验证表明，我们的方法在有限的实验预算内定位最优配置，与现有配置算法相比，SPS 性能的改善通常至少有一个数量级。
引用
@article{arxiv.1606.06543,
title = {An Uncertainty-Aware Approach to Optimal Configuration of Stream Processing Systems},
author = {Pooyan Jamshidi and Giuliano Casale},
journal= {arXiv preprint arXiv:1606.06543},
year = {2016}
}
备注
MASCOTS 2016, code is available at https://github.com/dice-project/DICE-Configuration-BO4CO