BMTree:面向多维数据索引的分段空间填充曲线设计、学习与更新
数据库
2025-05-06 v1
摘要
空间填充曲线(SFC)已被广泛应用于多维数据索引,它首先将数据映射到一维,然后使用一维索引方法(如 B 树)对映射后的数据进行索引。现有的 SFC 对整个数据空间采用单一的映射方案。然而,单一映射方案往往无法在所有数据空间上都表现良好。本文提出一种新型 SFC,称为分段式 SFC,它对不同的数据子空间采用不同的映射方案。具体而言,我们提出一种称为位合并树(BMTree)的数据结构,它可以同时生成数据子空间及其 SFC,并为整个数据空间实现理想的 SFC 属性。此外,我们开发了一种基于强化学习的解决方案来构建 BMTree,旨在实现优异的查询性能。为了在数据和/或查询分布变化时高效更新 BMTree,我们开发了一种新机制,能够快速检测数据和查询中的分布偏移,并支持对 BMTree 进行部分重训练。该重训练机制避免了从头开始重训练 BMTree,从而高效地实现了性能提升。大量实验证明了 BMTree 及其所提出的基于学习的方法的有效性和效率。
引用
@article{arxiv.2505.01697,
title = {BMTree: Designing, Learning, and Updating Piecewise Space-Filling Curves for Multi-Dimensional Data Indexing},
author = {Jiangneng Li and Yuang Liu and Zheng Wang and Gao Cong and Cheng Long and Walid G. Aref and Han Mao Kiah and Bin Cui},
journal= {arXiv preprint arXiv:2505.01697},
year = {2025}
}