$\epsilon$-$cost$ 分片:扩展至万亿键的超图基静态函数与过滤器
数据结构与算法
2025-04-08 v3
摘要
我们描述了一种简单且高度可扩展的静态函数(VFunc)和静态过滤器(VFilter)的实现方法,基于超图。我们引入-分片的概念,这使得我们能够构建能够管理万亿键的结构,同时提高超图构建中的内存局部性。与常用的HEM分片方法不同,-分片不需要存储额外信息,也不引入计算链中的依赖;其唯一成本是少量算术指令,以及空间使用率的相对增加。我们将-分片应用于经典的MWHC构建,但通过将Dietzfelbinger和Walzer的fuse图用于大型分片,结合用于小型分片的惰性高斯消去,我们获得了最佳结果。在信息论下界的开销为10.5%的情况下,查询时间仅为非分片版本查询时间的几纳秒,这是当前相同空间限制下最快的查询时间。除了与非分片版本进行比较,我们还将其在各种权衡下的性能与bumped ribbon构建进行了对比,后者是超图基静态函数和过滤器的节省空间替代方案,虽然构建和查询时间较慢(尽管构建可以高度并行化)。我们在仅用常规硬件即可在60 ns/key的时间内离线构建一个万亿键过滤器。
引用
@article{arxiv.2503.18397,
title = {{\epsilon}-Cost Sharding: Scaling Hypergraph-Based Static Functions and Filters to Trillions of Keys},
author = {Sebastiano Vigna},
journal= {arXiv preprint arXiv:2503.18397},
year = {2025}
}