Lynceus：数据分析作业的高性价比调优与资源供给
分布式、并行与集群计算
2020-01-22 v2
摘要
现代数据分析与机器学习作业在云中找到了满足其众所周知的大量资源需求的天然部署平台。然而，为实现成本效益，关键在于识别一种满足用户定义的 QoS 约束（如执行时间）的部署配置，同时避免不必要的过度供给。本文提出 Lynceus，一种用于优化基于云的数据分析作业的新方法，它通过对最终推荐配置和用于推荐配置的优化过程均实现显著成本节约，从而优于现有最优方法。与现有方案不同，Lynceus 以联合方式同时优化云相关参数与应用级参数。这使得相对于将云相关与应用级参数优化视为两个独立问题的现有方法，在第 90 百分位上推荐配置的成本降低多达 3.7 倍。此外，Lynceus 将优化过程的成本（即测试配置所产生的云成本）降低多达 11 倍。这一改进得益于两种机制：i) 一种超时方法，可中止对次优配置的探索，同时仍提取有用信息以指导未来探索并改进其预测模型——不同于近期工作要么承担测试次优配置的完整成本，要么无法从中止运行中获取任何知识；ii) 一种远视且预算感知的技术，通过预测每次探索的长期影响来决定测试哪些配置——不同于采用贪婪优化方法的云作业优化最优方法。
引用
@article{arxiv.1905.02119,
title = {Lynceus: Cost-efficient Tuning and Provisioning of Data Analytic Jobs},
author = {Maria Casimiro and Diego Didona and Paolo Romano and Luís Rodrigues and Willy Zwanepoel and David Garlan},
journal= {arXiv preprint arXiv:1905.02119},
year = {2020}
}
备注
This updated version features a novel extension of our approach: the time out mechanism. Additionally, we improved the write-up of the paper, fruit of the collaboration with professor David Garlan and Carnegie Mellon Univeristy