面向叙事生成中实体的连贯与一致使用
计算与语言
2022-02-04 v1 机器学习
摘要
大型预训练语言模型（LMs）已展现出生成长篇流畅文本的惊人能力；然而，关于其维持实体连贯性与一致性的能力，几乎缺乏分析。在本工作中，我们聚焦于叙事生成这一终端任务，并系统性地分析所生成故事中的长距离实体连贯性与一致性。首先，我们提出一组用于衡量模型在实体使用方面表现的自动指标。基于这些指标，我们量化了当前 LMs 的局限性。接下来，我们提出以端到端方式用动态实体记忆增强预训练 LM，通过使用辅助的实体相关损失来引导对记忆的读与写。我们证明，根据自动与人工评判，动态实体记忆提升了实体连贯性，并有助于在上下文窗口有限的设定下保留实体相关信息。最后，我们也验证了我们的自动指标与人工评分相关，并可作为生成故事质量的一个良好指示器。
引用
@article{arxiv.2202.01709,
title = {Towards Coherent and Consistent Use of Entities in Narrative Generation},
author = {Pinelopi Papalampidi and Kris Cao and Tomas Kocisky},
journal= {arXiv preprint arXiv:2202.01709},
year = {2022}
}