唯一实体估计及其在叙利亚冲突中的应用

实体解析用于识别并移除大型噪声数据库中的重复实体，随着数据可用性的增加，其使用量和新发展均有所增长。然而，实体解析在数据生成过程的假设、错误率和计算可扩展性方面存在权衡，这使其在实际应用中成为一项困难的任务。在本文中，我们关注唯一实体估计这一相关问题，即在含有重复实体的数据集中估计唯一实体数量及相关标准误的任务。唯一实体估计与实体解析面临许多共同的基本挑战，即对于大型数据库而言，所有实体两两比较的计算成本是难以处理的。为了规避这一计算障碍，我们提出了一种基于局部敏感哈希的高效（近线性时间）估计算法。在符合现实的假设下，我们的估计量是无偏的，并且与现有的基于随机抽样的方法相比，具有可证明的低方差。此外，我们在三个实际应用中经验性地展示了其优于 SOTA 估计量的表现。我们工作的动机是推导出正在持续的叙利亚冲突中已记录的、可识别死亡人数的准确估计。我们的方法应用于叙利亚数据集时，提供了 $191,874 \pm 1772$ 的已记录、可识别死亡人数估计，这与 Human Rights Data Analysis Group (HRDAG) 191,369 的估计非常接近。我们的工作提供了一个范例，展示了在建模假设可能不成立的情况下，解决一个真实的、充满噪声的挑战性问题所涉及的挑战与努力。