面向分布式流处理的零样本代价模型
分布式、并行与集群计算
2022-07-11 v1 数据库
摘要
本文提出了一种用于分布式流处理系统(DSPS)的学习型代价估计模型,旨在提供查询执行的准确代价预测。本工作的一个主要前提是所提出的学习型模型能够开箱即用地泛化到流工作负载的动态变化。这意味着一旦训练好的模型,即使数据和工作的特征或算子到硬件的部署在运行时发生变化,也能准确预测延迟和吞吐量等性能指标。由此,该模型可用于解决诸如优化算子放置以最小化流查询端到端延迟或最大化其吞吐量等任务,即使在变化条件下也是如此。我们在知名 DSPS Apache Storm 上的评估表明,该模型能对未见过的工作负载和查询准确预测,同时跨真实世界基准泛化。
引用
@article{arxiv.2207.03823,
title = {Zero-Shot Cost Models for Distributed Stream Processing},
author = {Roman Heinrich and Manisha Luthra and Harald Kornmayer and Carsten Binnig},
journal= {arXiv preprint arXiv:2207.03823},
year = {2022}
}
备注
To appear in the Proceedings of The 16th ACM International Conference on Distributed and Event-based Systems (DEBS `22), June 27-30, 2022, Copenhagen, Denmark