AutoCSF：通过滤波增强的压缩静态函数在偏斜键值负载中的空间高效索引
数据结构与算法
2026-03-27 v1 数据库
摘要
我们研究了构建用于大规模键值数据集的空间高效内存索引的问题，这些数据集具有高度不均匀的值分布。这一挑战在许多数据密集型领域都有体现，尤其是在计算生物学领域，-mer 计数表可包含数十亿条记录，却由单个频繁值主导。虽然近期工作提出通过在压缩静态函数 (CSF) 上增添预滤波器来解决此问题，但现有方法依赖复杂的启发式方法，且缺乏形式化保证。本文引入一种原则算法，称为 AutoCSF，用于在形式上保障地将 CSF 与预滤波相结合，以实现对不均匀分布的近最优空间使用。我们在先前的 CSF 预滤波构造方法基础上进行改进，具体包括：(1) 推导滤波器增强是否具有益处的数学严谨决策准则；(2) 提出将 CSF 与现代集合成员数据结构集成的通用算法框架，超越经典 Bloom 滤波器；(3) 建立结果索引整体空间使用的理论保证。我们开源的 AutoCSF 实现在保持低查询延迟的同时超越基准方法实现空间节省。
引用
@article{arxiv.2603.24882,
title = {AutoCSF: Provably Space-Efficient Indexing of Skewed Key-Value Workloads via Filter-Augmented Compressed Static Functions},
author = {David Torres Ramos and Vihan Lakshman and Chen Luo and Todd Treangen and Benjamin Coleman},
journal= {arXiv preprint arXiv:2603.24882},
year = {2026}
}
备注
12 pages