基于McNemar检验的单匹配任务下本体对齐系统的比较

本体对齐被广泛用于在各个领域中寻找不同本体之间的对应关系。在发现对齐之后，有多种性能评分可用于对其进行评估。这些评分通常需要已识别的对齐以及包含给定本体潜在实际对应关系的参考标准。当前对齐评估的趋势是提出新的评分（例如，精确率、加权精确率等），并通过并列比较所得评分来比较各种对齐。然而，在众多度量中选择一种进行比较是极具争议的。此外，声称一个系统比另一个系统性能更好不能仅通过比较两个标量来证实。在本文中，我们提出了统计方法，使我们能够在理论上倾向于选择某一个系统而非另一个。McNemar检验是一种统计手段，用于在单一匹配任务上比较两个本体对齐系统。该检验适用于$2\times2$列联表，该表可以基于对齐以两种不同方式构建，每种方式各有其优缺点。本文详细阐述了列联表的构建方式以及McNemar检验的各种相关统计量。在有超过两个对齐系统需要比较的情况下，预期会出现族系误差率。因此，本文也讨论了防止此类误差的方法。有向图可视化了存在多个对齐系统时McNemar检验的结果。从该图中，可以很容易地理解一个系统是否优于另一个系统，或者它们之间的差异是否微不足道。所提出的统计方法被应用于参与OAEI 2016解剖学赛道（anatomy track）的系统，并在相同的匹配问题上比较了几种著名的相似度度量。