记录链接与微聚类的理论极限
统计理论
2017-03-16 v1 统计理论
摘要
近年来，记录链接问题受到了广泛关注，其旨在从缺乏唯一标识符的大型数据库中对属于同一实体的记录进行分组。这可以被视为一种“微聚类”，即每个聚类中的观测值很少，而聚类数量非常庞大。已有多种方法被提出，但缺乏提供性能理论保证的文献。我们从理论角度证明该问题本质上是困难的，即使在理想化情况下，当实体数量相对于记录数量较小，和/或不同实体记录间的分离程度不是极大时，准确的实体解析实际上是不可能的。为了刻画这一根本困难，我们聚焦于基于多元高斯混合模型的实体解析，但我们的结论具有广泛的适用性，并得到了受人权应用启发的仿真研究的支持。这些结果建议在解释记录链接结果时保持保守，支持收集额外数据以更准确地区分实体，并促使人们关注更粗粒度的推断。例如，仿真研究的结果表明，有时即使细粒度的实体解析不准确，也可能获得准确的人口规模估计结果。
引用
@article{arxiv.1703.04955,
title = {Theoretical Limits of Record Linkage and Microclustering},
author = {James E. Johndrow and Kristian Lum and David B. Dunson},
journal= {arXiv preprint arXiv:1703.04955},
year = {2017}
}