一种基于采样与间隙插入的可插拔学习型索引方法
数据库
2021-01-05 v1 人工智能
摘要
数据库索引便利数据检索，并惠及现实系统中的广泛应用。近来，一类称为学习型索引的新索引被提出，用以学习隐藏而有用的数据分布并将此类信息融入索引的学习中，带来了令人瞩目的性能提升。然而，学习型索引的“学习”过程仍待深入探索。本文中，我们提出一个基于机器学习的正式框架来量化索引学习目标，并研究两种通用且可插拔的技术以提升学习型索引的学习效率与学习效果。在正式学习目标的指导下，我们可通过融入所提出的采样技术高效学习索引，并借助所提出的由结果驱动的间隙插入技术带来的增强泛化能力学习精确索引。我们在真实数据集上进行了大量实验，并从索引学习目标的角度比较了若干索引方法。结果表明所提框架能帮助为不同场景设计合适索引。此外，我们展示了所提采样技术的有效性，其在保持索引性能不退化的情况下实现了高达 78 倍的构建加速。最后，我们表明间隙插入技术可将现有学习型索引方法的静态与动态索引性能提升高达 1.59 倍的查询加速。我们将发布代码与处理后数据以供进一步研究，从而能从机器学习和数据库两个视角促成对学习型索引的更多探索。
引用
@article{arxiv.2101.00808,
title = {A Pluggable Learned Index Method via Sampling and Gap Insertion},
author = {Yaliang Li and Daoyuan Chen and Bolin Ding and Kai Zeng and Jingren Zhou},
journal= {arXiv preprint arXiv:2101.00808},
year = {2021}
}