面向公司实体的快速记录链接
数据库
2019-09-30 v3 信息检索
摘要
记录链接是几乎所有消费来自不同来源的结构化与非结构化数据的实际系统中必不可少的一部分。通常没有可用于连接记录的公共键。在进行任何数据分析和进一步处理之前,往往必须完成大规模的数据清洗与数据集成过程。尽管记录链接常被视为繁琐但必要的步骤,它却能揭示手头数据的宝贵洞见。这些洞见指导对数据的进一步分析方法并支持数据可视化。本文关注公司实体匹配,其中考虑公司名称、地理位置与行业。我们的贡献是一个端到端、高度可扩展的企业级系统,它使用基于规则的链接算法并结合机器学习方法来处理短公司名。通过利用 MinHash 对搜索空间进行有效分解,链接时间大幅缩短。所提出的对匹配候选的细致打分过程实现了高链接准确率。基于真实世界的基准真值数据集,我们表明该方法达到了 91% 的召回率,而基线方法为 73%。这些结果是在随系统所用节点数线性扩展的情况下取得的。
引用
@article{arxiv.1907.08667,
title = {Fast Record Linkage for Company Entities},
author = {Thomas Gschwind and Christoph Miksovic and Julian Minder and Katsiaryna Mirylenka and Paolo Scotton},
journal= {arXiv preprint arXiv:1907.08667},
year = {2019}
}