用于实体分块的神经局部敏感哈希
信息检索
2024-02-01 v1 数据库
摘要
局部敏感哈希（LSH）是一种基础算法技术，广泛应用于大规模数据处理应用中，例如最近邻搜索、实体解析和聚类。然而，由于需要精心设计与特定度量标准对齐的哈希函数，其在某些实际场景中的适用性受到限制。现有的基于 LSH 的实体分块解决方案主要依赖于通用相似性度量，如 Jaccard 相似度，而实际用例通常需要超越通用相似性度量能力的复杂且定制的相似性规则。因此，为这些定制的相似性规则设计 LSH 函数带来了相当大的挑战。在本研究中，我们提出了一种神经化方法，通过训练深度神经网络作为复杂度量标准的哈希函数来增强局部敏感哈希。我们在实体解析问题的背景下评估了该方法的有效性，该问题在实际应用中经常涉及使用特定于任务的度量标准。具体来说，我们引入了 NLSHBlock（Neural-LSH Block），这是一种新颖的分块方法，它利用预训练语言模型，并使用一种新颖的基于 LSH 的损失函数进行微调。通过在多种真实世界数据集上进行广泛评估，我们证明了 NLSHBlock 优于现有方法，表现出显著的性能提升。此外，我们展示了 NLSHBlock 在增强实体匹配阶段性能方面的功效，特别是在半监督设置下。
引用
@article{arxiv.2401.18064,
title = {Neural Locality Sensitive Hashing for Entity Blocking},
author = {Runhui Wang and Luyang Kong and Yefan Tao and Andrew Borthwick and Davor Golac and Henrik Johnson and Shadie Hijazi and Dong Deng and Yongfeng Zhang},
journal= {arXiv preprint arXiv:2401.18064},
year = {2024}
}