用于 Minhashing 的迭代通用哈希函数生成器
机器学习
2014-01-25 v1 信息检索
摘要
Minhashing 是一种通过利用随机排列中的碰撞概率来估计两个集合之间 Jaccard 指数的技术。为了加速计算,可以使用通用哈希函数(如 Carter 和 Wegman 提出的 函数)来近似随机排列。通过使用大量随机生成的此类哈希函数,可以获得更准确的 Jaccard 指数估计。本文设计了一种新的迭代过程来生成一组 函数,该过程消除了对随机值列表的需求,并避免了计算过程中的乘法运算。所生成哈希函数的性质仍保持为通用哈希函数族的性质。这得益于稀疏数据集中特征出现的随机性。结果表明,在保持哈希特征均匀性的同时,与传统方法相比获得了高达 倍的加速。
引用
@article{arxiv.1401.6124,
title = {Iterative Universal Hash Function Generator for Minhashing},
author = {Fabricio Olivetti de Franca},
journal= {arXiv preprint arXiv:1401.6124},
year = {2014}
}
备注
6 pages, 4 tables, 1 algorithm