基于 NAE-SAT 的概率隶属过滤器
数据结构与算法
2018-01-22 v1 统计力学
密码学与安全
摘要
概率隶属过滤器是一类数据结构，旨在快速验证大数据集的某个元素是否属于该数据的一个子集。虽不可能出现假阴性，但可能出现假阳性。因此，任何优良概率隶属过滤器的主要目标是在内存高效与查询快速的同时具有较小的假阳性率。尽管 Bloom 过滤器构建迅速，其内存效率受严格理论上界约束。Weaver 等人引入了基于随机可满足性（SAT）的过滤器，显著提升了概率过滤器的效率，但代价是在构建过滤器时需求解复杂的随机 SAT 公式。本文提出一种改进的 SAT 过滤器方法，侧重于缩短过滤器构建时间与查询时间。我们的方法基于使用不全等（NAE）SAT 公式构建过滤器，通过映射到随机 SAT 并利用传统快速的随机 SAT 求解器求解，以及位打包与减少哈希函数数量。配合快速硬件，NAE-SAT 过滤器可应用于企业级规模的场景。
引用
@article{arxiv.1801.06232,
title = {NAE-SAT-based probabilistic membership filters},
author = {Chao Fang and Zheng Zhu and Helmut G. Katzgraber},
journal= {arXiv preprint arXiv:1801.06232},
year = {2018}
}
备注
13 pages, 4 figures, 3 pages