具有循环记忆的段落级常识 Transformer
计算与语言
2021-02-03 v2 机器学习
摘要
人类对叙事文本的理解需要做出超出文本明确陈述的常识推理。近期模型 COMET 可沿若干维度（如前提与后果、动机及参与者心理状态）生成此类隐式常识推理。然而，COMET 是在短短语的常识推理上训练的，因而与语篇无关。当输入多句叙事的每一句时，它可能生成与叙事其余部分不一致的推理。我们提出语篇感知常识推理任务：给定叙事中的一句，目标是沿预定义维度生成常识推理，同时与叙事其余部分保持连贯。此类大规模段落级标注难以获取且成本高昂，因此我们利用已有的句子级标注高效自动构建远程监督语料。使用该语料，我们训练了 PARA-COMET——一个融入段落级信息以从叙事生成连贯常识推理的语篇感知模型。PARA-COMET 捕获了关乎先验世界知识的语义知识，以及涉及当前事件如何关联叙事中先前与未来事件的情景知识。我们的结果表明，PARA-COMET 优于句子级基线，尤其在生成既连贯又新颖的推理方面。
关键词
引用
@article{arxiv.2010.01486,
title = {Paragraph-level Commonsense Transformers with Recurrent Memory},
author = {Saadia Gabriel and Chandra Bhagavatula and Vered Shwartz and Ronan Le Bras and Maxwell Forbes and Yejin Choi},
journal= {arXiv preprint arXiv:2010.01486},
year = {2021}
}
备注
AAAI 2021