KALM：面向长文档理解的局部、文档与全局上下文知识感知融合模型
计算与语言
2023-05-16 v2
摘要
随着预训练语言模型（LMs）的出现，越来越多的研究工作致力于注入常识与领域特定知识，以使 LMs 为下游任务做好准备。这些工作试图利用知识图谱（符号知识表示的事实标准）与预训练 LMs 相结合。尽管现有方法已利用外部知识，如何联合纳入表示不同上下文（从局部（如句子）、文档级到全局知识）的知识图谱以实现这些上下文间知识丰富的交互，仍是一个开放问题。这种丰富的上下文建模尤其有益于长文档理解任务，因为标准预训练 LMs 通常受限于输入序列长度。鉴于这些挑战，我们提出 KALM，一种知识感知语言模型（Knowledge-Aware Language Model），它联合利用局部、文档级和全局上下文中的知识进行长文档理解。KALM 首先将长文档与知识图谱编码为三种知识感知的上下文表示，随后用特定于上下文的层处理每种上下文，接着通过上下文融合层促进知识交互以得到总体文档表示。大量实验表明，KALM 在六个长文档理解任务与数据集上取得了最先进的性能。进一步分析揭示，三种知识感知上下文具有互补性且均对模型性能有贡献，而不同上下文的重要性与信息交互模式随任务和数据集而异。
引用
@article{arxiv.2210.04105,
title = {KALM: Knowledge-Aware Integration of Local, Document, and Global Contexts for Long Document Understanding},
author = {Shangbin Feng and Zhaoxuan Tan and Wenqian Zhang and Zhenyu Lei and Yulia Tsvetkov},
journal= {arXiv preprint arXiv:2210.04105},
year = {2023}
}
备注
ACL 2023