概率化分块及其在叙利亚冲突中的应用
数据库
2018-10-15 v1 机器学习
应用统计
机器学习
摘要
实体解析旨在合并数据库以去除重复记录，而唯一标识符通常未知。我们回顾了用于实体解析的现代分块方法，重点关注那些基于局部敏感哈希（LSH）的方法。首先，我们引入 -means 局部敏感哈希（KLSH），它基于信息检索文献，并使用向量空间表示与投影将相似记录聚为块。其次，我们向文献中引入 LSH 的次二次变体，称为稠密单排列哈希（DOPH）。第三，我们提出 DOPH 的加权变体。我们在正在进行的叙利亚冲突的一个子集上阐释了每种方法，并对各方法进行了讨论。
引用
@article{arxiv.1810.05497,
title = {Probabilistic Blocking with An Application to the Syrian Conflict},
author = {Rebecca C. Steorts and Anshumali Shrivastava},
journal= {arXiv preprint arXiv:1810.05497},
year = {2018}
}
备注
16 pages, 3 figures. arXiv admin note: substantial text overlap with arXiv:1510.07714, arXiv:1710.02690