FactKB：利用知识库增强语言模型的泛化事实一致性评估方法
计算与语言
2023-10-20 v2
摘要
评估自动生成摘要的事实一致性，对于可靠摘要系统的进展与采用至关重要。尽管近期有所进展，现有事实一致性评估模型不够鲁棒，尤其易在新领域中出现实体与关系错误。我们提出 FactKB，一种简单的新型事实性评估方法，可跨领域泛化，尤其在实体与关系方面。FactKB 基于使用从外部知识库抽取的事实进行预训练的语言模型。我们引入三类互补的事实性预训练目标：基于直接实体事实、基于实体辅助知识的接地事实，以及通过知识库游走组合构建的事实。所得事实性评估模型在两个域内新闻摘要基准及三个域外科学文献数据集上均达到最先进性能。对 FactKB 的进一步分析显示，其在检测摘要中错误实体与关系方面能力更优，且跨领域鲁棒、可泛化。
引用
@article{arxiv.2305.08281,
title = {FactKB: Generalizable Factuality Evaluation using Language Models Enhanced with Factual Knowledge},
author = {Shangbin Feng and Vidhisha Balachandran and Yuyang Bai and Yulia Tsvetkov},
journal= {arXiv preprint arXiv:2305.08281},
year = {2023}
}
备注
ACL 2023