验证关系数据集的文本摘要

我们提出了一种新颖的自然语言查询接口 AggChecker，面向关系数据集的文本摘要。该工具关注可翻译为一条 SQL 查询及所声称查询结果的自然语言陈述。与拼写检查器类似，AggChecker 会标记出似乎与实际数据不一致的文本内容。该系统的核心是一个以整体方式对输入文档进行推理的概率模型。基于陈述关键词与文档结构，它将每条文本陈述映射为关联查询翻译上的概率分布。通过对典型输入文档高效执行数万至数十万个候选翻译，系统将文本陈述映射为正确性概率。借助专门的处理后端，通过查询合并与结果缓存避免冗余工作，该过程得以实用化。验证是一个交互过程，其间向用户展示暂定结果，使其在必要时采取纠正措施。我们的系统在包含 392 条陈述的 53 篇公开文章上进行了测试，测试案例包括主流报纸文章、调查结果摘要及维基百科文章。该工具在约三分之一的测试案例中发现了错误陈述。详细的用户研究表明，相较于通用 SQL 接口，使用本工具的用户检查文本摘要的平均速度提升六倍。在完全自动化验证中，我们的工具在召回率与精确率上均显著优于来自自然语言查询接口与事实核查领域的基线方法。