Co-KV：利用近数据处理改进 LSM-tree 压缩的协同键值存储
分布式、并行与集群计算
2018-07-12 v1
摘要
基于日志结构合并树（LSM-tree）的键值存储在大规模存储系统中被广泛采用。在键值存储的压缩过程中，具有重叠键范围的 SSTable 被合并并排序以支持数据查询。然而，这会带来写放大，从而降低系统性能，尤其是在更新密集型负载下。当前的优化主要集中于减少主机端压缩的开销，却很少充分利用设备中的计算能力。为解决这些问题，我们提出 Co-KV，一种主机与基于近数据处理（即 NDP）模型的 SSD 之间的协同键值存储，以改进压缩。Co-KV 具有三点优势：（1）通过主机与设备间的压缩卸载方案减少写放大；（2）缓解主机端压缩开销并基于 NDP 模型利用 SSD 中的计算能力；（3）在更新密集型负载下提升基于 LSM-tree 的键值存储的性能。大量 db_bench 实验表明，与最先进的 LevelDB 相比，Co-KV 总体吞吐量提升达 2.0 倍，写放大降低达 36.0%。在 YCSB 负载下，Co-KV 将吞吐量提升 1.7 至 2.4 倍，同时将写放大和平均延迟分别降低达 30.0% 和 43.0%。
引用
@article{arxiv.1807.04151,
title = {Co-KV: A Collaborative Key-Value Store Using Near-Data Processing to Improve Compaction for the LSM-tree},
author = {Hui Sun and Wei Liu and Jianzhong Huang and Weisong Shi},
journal= {arXiv preprint arXiv:1807.04151},
year = {2018}
}