二进制熔丝过滤器：快于且小于 Xor 过滤器
数据结构与算法
2022-03-15 v1
摘要
Bloom 过滤器和布谷鸟过滤器在占用极少内存的同时提供快速的近似集合成员判定。工程师利用它们来避免昂贵的磁盘与网络访问。近期提出的 xor 过滤器可比 Bloom 和布谷鸟过滤器更快且更小。xor 过滤器在存储上距理论下界仅 23%，而 Bloom 过滤器为 44%。受 Dietzfelbinger 与 Walzer 启发，我们构建了称为二进制熔丝过滤器（binary fuse filters）的概率过滤器，其存储距下界仅 13%，且不牺牲查询速度。作为额外益处，新型二进制熔丝过滤器的构建速度可达 xor 过滤器构建速度的两倍以上。通过略微牺牲查询速度，我们进一步将存储降至距下界 8% 以内。我们将性能与 Bloom 过滤器、分块 Bloom 过滤器、向量商过滤器、布谷鸟过滤器及近期 ribbon 过滤器等广泛竞争性替代方案进行比较。我们的实验表明二进制熔丝过滤器优于 xor 过滤器。
引用
@article{arxiv.2201.01174,
title = {Binary Fuse Filters: Fast and Smaller Than Xor Filters},
author = {Thomas Mueller Graf and Daniel Lemire},
journal= {arXiv preprint arXiv:2201.01174},
year = {2022}
}