Lachesis：面向以UDF为中心的分析的自动分区
数据库
2021-02-23 v5 分布式、并行与集群计算
摘要
持久化分区能有效避免昂贵的洗牌操作。然而，对于广泛使用用户定义函数（UDF）的大数据分析工作负载，由于与关系型应用相比子计算难以被复用于分区，自动化此过程仍是一项重大挑战。此外，广泛用于分区选择的函数依赖在以UDF为中心的分析中普遍存在的非结构化数据中往往不可用。我们提出了Lachesis系统，将以UDF为中心的工作负载表示为可分析且可复用的子计算工作流。Lachesis进一步采用深度强化学习模型来推断应使用哪些子计算对底层数据进行分区。该分析随后被应用于自动优化跨应用的数据存储，以提升性能和用户生产力。
引用
@article{arxiv.2006.16529,
title = {Lachesis: Automatic Partitioning for UDF-Centric Analytics},
author = {Jia Zou and Amitabh Das and Pratik Barhate and Arun Iyengar and Binhang Yuan and Dimitrije Jankov and Chris Jermaine},
journal= {arXiv preprint arXiv:2006.16529},
year = {2021}
}
备注
In submission