从表象到本质：不使用真值的真值发现方法比较
数据库
2017-08-08 v1
摘要
近年来，真值发现作为解决多源数据冲突的基本手段被广泛研究。尽管基于不同的考虑和直觉，人们已经提出了许多真值发现方法，但研究表明没有一种方法能始终优于其他方法。为了针对特定应用场景选择合适的真值发现方法，评估和比较不同方法的性能变得至关重要。当前研究工作的一个缺点是，它们通常假设存在某些真值用于方法的评估。然而在实践中，真值可能非常有限甚至无法获取，这导致评估受限于微小的真值而产生偏差，甚至变得不可行。在本文中，我们提出了 CompTruthHyp，这是一种在不使用真值的情况下比较真值发现方法性能的通用方法。具体而言，我们的方法基于不同方法的输出计算数据集中观测结果的概率。然后对该概率进行排序以反映这些方法的性能。我们回顾并比较了十二种现有的真值发现方法，并考虑了单值对象和多值对象。在真实世界和合成数据集上的实证研究证明了我们方法在比较真值发现方法上的有效性。
引用
@article{arxiv.1708.02029,
title = {From Appearance to Essence: Comparing Truth Discovery Methods without Using Ground Truth},
author = {Xiu Susie Fang and Quan Z. Sheng and Xianzhi Wang and Wei Emma Zhang and Anne H. H. Ngu},
journal= {arXiv preprint arXiv:1708.02029},
year = {2017}
}