COAX：基于软函数依赖的多维数据相关性感知索引
数据库
2021-02-03 v3 分布式、并行与集群计算
机器学习
摘要
近期工作提出了学习型索引结构，其通过学习底层数据集的分布来提升性能。关于学习型索引的初步研究表明，通过学习数据的累积分布函数，诸如 B-Tree 之类的索引结构可将性能提升一个数量级，同时占用更小的内存空间。本文中，我们提出 COAX，一种用于多维数据的学习型索引，它不学习键的分布，而是学习数据集各属性之间的相关性。我们的方法源于如下观察：在许多数据集中，两个（或多个）属性的值是相关的。COAX 利用这些相关性来降低数据集的维度。更确切地说，我们学习如何由其余属性推断出一个（或多个）属性 ，从而不再需要对属性 建立索引。这降低了维度，进而使索引更小且更高效。我们基于函数依赖（FD）属性的可预测性，从理论上研究了所提技术的有效性。我们进一步通过实验表明，通过预测数据中的相关属性，我们能够改进查询执行时间并降低索引的内存开销。在我们的实验中，执行时间减少了 25%，同时将索引的内存占用降低了四个数量级。
引用
@article{arxiv.2006.16393,
title = {COAX: Correlation-Aware Indexing on Multidimensional Data with Soft Functional Dependencies},
author = {Ali Hadian and Behzad Ghaffari and Taiyi Wang and Thomas Heinis},
journal= {arXiv preprint arXiv:2006.16393},
year = {2021}
}