中文

用于 Minhashing 的迭代通用哈希函数生成器

机器学习 2014-01-25 v1 信息检索

摘要

Minhashing 是一种通过利用随机排列中的碰撞概率来估计两个集合之间 Jaccard 指数的技术。为了加速计算,可以使用通用哈希函数(如 Carter 和 Wegman 提出的 ha,bh_{a,b} 函数)来近似随机排列。通过使用大量随机生成的此类哈希函数,可以获得更准确的 Jaccard 指数估计。本文设计了一种新的迭代过程来生成一组 ha,bh_{a,b} 函数,该过程消除了对随机值列表的需求,并避免了计算过程中的乘法运算。所生成哈希函数的性质仍保持为通用哈希函数族的性质。这得益于稀疏数据集中特征出现的随机性。结果表明,在保持哈希特征均匀性的同时,与传统方法相比获得了高达 1.381.38 倍的加速。

关键词

引用

@article{arxiv.1401.6124,
  title  = {Iterative Universal Hash Function Generator for Minhashing},
  author = {Fabricio Olivetti de Franca},
  journal= {arXiv preprint arXiv:1401.6124},
  year   = {2014}
}

备注

6 pages, 4 tables, 1 algorithm