通过事实消融探究基于事实的内容迁移
计算与语言
2022-03-30 v2 人工智能
摘要
尽管近期取得了成功，大型神经模型常常生成事实不正确的文本。更糟的是，缺乏衡量事实性的标准自动评估方法——若无法衡量，便无法有效改进。基于事实的生成（Grounded generation）为解决这两个问题提供了途径：模型依赖可靠的外部文档（事实依据）获取事实信息，从而简化了事实性的挑战。事实性的衡量也被简化为事实一致性，即测试生成内容是否与事实依据一致，而非与所有事实一致。然而，由于缺乏衡量事实一致性的标准自动指标，基于事实的生成仍是一个开放性问题。我们针对内容迁移任务研究此问题，在该任务中，生成内容利用事实依据中的信息来扩展提示。特别地，该领域使我们能够引入事实消融（factual ablation）的概念来自动衡量事实一致性：这捕捉了这样一种直觉，即给定一个不太相关的事实依据文档，模型应不太可能生成某个输出。在实践中，我们通过向模型提供两个事实依据文档来衡量这一点，模型应更倾向于使用事实上更相关的那个。我们贡献了两个评估集来衡量这一点。应用我们的新评估方法，我们提出了多种新颖方法，其性能优于强基线。
引用
@article{arxiv.2203.10133,
title = {Probing Factually Grounded Content Transfer with Factual Ablation},
author = {Peter West and Chris Quirk and Michel Galley and Yejin Choi},
journal= {arXiv preprint arXiv:2203.10133},
year = {2022}
}