LOUC：用于分析人工匹配器性能的留一校准度量

模式匹配是一项核心的数据集成任务，侧重于识别多个模式属性之间的对应关系。多年来，人们提出了众多算法方法来解决模式匹配任务，旨在尽可能减少人工参与。然而，仍需要在回路中保留人工——以验证算法并生成供算法训练所用的真值数据。近年来，一个新研究方向调查人类在执行匹配任务时的能力与行为。先前工作利用该知识预测甚至改进人工匹配器的性能。本工作中，我们延续该研究方向，提出一种基于校准（一种常见元认知度量）评估人工匹配器性能的新度量。所提度量能够对人工匹配器行为的多种因素及其与人工性能的关系进行详细分析。此类分析可进一步用于开发启发式方法和手段，以更好地评估和提升标注质量。