Scrutinizer：一种面向大规模数据驱动声明核查的人机协同方法
数据库
2020-03-17 v1
摘要
诸如国际能源署（IEA）等组织耗费大量时间与资金手动核查总结数据的文本文档。Scrutinizer 系统的目标是通过支持人工核查员将文本声明翻译为关联数据库上的 SQL 查询，从而降低核查开销。Scrutinizer 协调人工核查员团队。它通过向用户提议查询或查询片段来减少核查时间。这些提议基于声明文本分类器，其在大型文档核查过程中逐步改进。此外，Scrutinizer 使用查询候选的试探性执行来缩小备选集范围。核查过程由基于代价的优化器控制。该优化器优化与用户的交互并优先处理声明核查。对于后者，其考虑预期核查开销以及作为分类器训练样本的预期声明效用。我们基于真实声明与数据并使用 IEA 雇用的职业核查员，通过仿真与用户研究评估 Scrutinizer 系统。我们的实验一致表明在保持结果准确性的同时显著节省了核查时间。
引用
@article{arxiv.2003.06708,
title = {Scrutinizer: A Mixed-Initiative Approach to Large-Scale, Data-Driven Claim Verification},
author = {Georgios Karagiannis and Mohammed Saeed and Paolo Papotti and Immanuel Trummer},
journal= {arXiv preprint arXiv:2003.06708},
year = {2020}
}