迈向 LSM 树的灵活性与鲁棒性
数据库
2023-11-17 v1
摘要
日志结构合并树（LSM 树）正日益用作若干数据系统存储引擎的一部分，并频繁部署于云端。随着依赖基于 LSM 存储后端的应用增多，LSM 树的性能调优问题受到越来越多关注。我们同时考虑名义调优（工作负载与执行环境事先准确已知）与鲁棒调优（考虑工作负载知识中的不确定性）。此类工作负载不确定性在现代应用中十分常见，尤其在公有云等共享基础设施环境中。为解决该问题，我们引入 ENDURE，一种在工作负载不确定性下调优 LSM 树的新范式。具体而言，我们关注压缩策略选择、大小比和内存分配对整体性能的影响。ENDURE 考虑吞吐量最大化问题的鲁棒形式，并推荐一种调优：当执行的工作负载与期望工作负载不同、而处于其邻域内时，仍能提供近最优吞吐量。此外，我们通过提出一种涵盖现有设计的统一新设计 K-LSM，来探索灵活 LSM 设计的鲁棒性。我们将鲁棒调优系统 ENDURE 部署于前沿键值存储 RocksDB 上，并证明在存在不确定性时吞吐量提升高达 5 倍。我们的结果表明，ENDURE 获得的调优比我们在扩展 LSM 设计空间中获得的调优更鲁棒。这表明鲁棒性可能并非设计所固有，而是显式考量不确定性的调优过程的产物。
引用
@article{arxiv.2311.10005,
title = {Towards Flexibility and Robustness of LSM Trees},
author = {Andy Huynh and Harshal A. Chaudhari and Evimaria Terzi and Manos Athanassoulis},
journal= {arXiv preprint arXiv:2311.10005},
year = {2023}
}
备注
25 pages, 19 figures, VLDB-J. arXiv admin note: substantial text overlap with arXiv:2110.13801