记忆与知识增强的语言模型用于推断长篇故事中的显著性
计算与语言
2021-09-15 v2 人工智能
摘要
测量事件显著性对于理解故事至关重要。本文将最近一种源自巴特核心功能理论和惊奇理论的无监督显著性检测方法应用于更长的叙事形式。我们通过引入外部知识库（源自检索增强生成）并添加记忆机制来改进标准 Transformer 语言模型，以增强在较长作品上的性能。我们使用一种新颖方法，利用 Shmoop 语料库中经典文学作品按章节对齐的摘要来推导显著性标注。针对该数据的评估表明，我们的显著性检测模型性能超越了无知识库和记忆增强的语言模型，这两者对这一改进都至关重要。
引用
@article{arxiv.2109.03754,
title = {Memory and Knowledge Augmented Language Models for Inferring Salience in Long-Form Stories},
author = {David Wilmot and Frank Keller},
journal= {arXiv preprint arXiv:2109.03754},
year = {2021}
}
备注
Accepted to the EMNLP 2021 Conference as a long-paper, 9 pages, 15 pages with appendices and references, 2 figures, 4 tables