改进最小哈希和b位最小哈希的精确估计器
机器学习
2011-08-04 v1 数据库
信息检索
机器学习
摘要
最小哈希是搜索和数据库领域中用于高效估计集合（例如，高维0/1向量）相似度的标准技术。最近，提出了b位最小哈希，它通过仅存储每个哈希值的最低b位（而不是使用64位），在实践中显著改进了原始的最小哈希。b位哈希在主要关注高相似度集合（例如，相似度>0.5）的应用中特别有效。然而，还有其他重要的应用，其中不仅仅是高相似度对才重要。例如，许多学习算法需要所有成对相似度，并且预计只有一小部分对是相似的。此外，许多应用更关心包含度（例如，一个对象被另一个对象包含的程度）而不是相似度。在本文中，我们表明，当前实践中使用的最小哈希和b位最小哈希的估计器可以系统地改进，并且对于低相似度和高包含度的集合对，改进最为显著。
引用
@article{arxiv.1108.0895,
title = {Accurate Estimators for Improving Minwise Hashing and b-Bit Minwise Hashing},
author = {Ping Li and Christian Konig},
journal= {arXiv preprint arXiv:1108.0895},
year = {2011}
}