BeliefBank：为预训练语言模型添加记忆以实现系统性的信念概念
计算与语言
2021-10-01 v1
摘要
尽管预训练语言模型（PTLM）包含大量世界知识，但在被探查时，即使经过专门训练，它们仍可能对问题产生不一致的答案。因此，难以识别模型实际“相信”关于世界的什么，使其易出现不一致行为和简单错误。我们的目标是减少这些问题。我们的方法是将PTLM嵌入一个更广泛的系统中，该系统还包含一个演进的符号信念记忆——BeliefBank——其记录但随后可能修改原始的PTLM答案。我们描述两种改善整体系统信念一致性的机制。首先，一个推理组件——加权MaxSAT求解器——修订与其他信念显著冲突的信念。其次，一个反馈组件使用已知信念作为上下文向PTLM发出未来查询。我们展示，在受控实验设置中，这两种机制使整体系统产生更一致的信念，随时间改善其答案的准确性和一致性。这具有重要意义，因其是迈向具有系统性信念概念的基于PTLM架构的第一步，使其能构建更连贯的世界图景，并在无需模型重训练的情况下随时间改进。
引用
@article{arxiv.2109.14723,
title = {BeliefBank: Adding Memory to a Pre-Trained Language Model for a Systematic Notion of Belief},
author = {Nora Kassner and Oyvind Tafjord and Hinrich Schütze and Peter Clark},
journal= {arXiv preprint arXiv:2109.14723},
year = {2021}
}
备注
EMNLP 2021 Camera Ready. arXiv admin note: substantial text overlap with arXiv:2104.08401