用于因果关系分类的知识增强语言模型
计算与语言
2022-06-03 v3
摘要
以往的研究表明了知识增强方法在预训练语言模型中的有效性。然而，这些方法在不同领域和下游任务中表现不同。在这项工作中，我们研究了在因果关系分类和常识因果推理任务中，用常识知识增强预训练语言模型。在自动将 ATOMIC2020（一个覆盖广泛的常识推理知识图谱）和 GLUCOSE（一个隐式常识因果知识数据集）语言化后，我们用语言化后的数据持续预训练 BERT 和 RoBERTa。然后我们在因果关系对分类和回答常识因果推理问题上评估所得模型。我们的结果表明，用常识知识增强的持续预训练语言模型在两个常识因果推理基准 COPA 和 BCOPA-CE，以及时间与因果推理（TCR）数据集上优于我们的基线，而无需在模型架构上进行额外改进或在微调时使用质量增强的数据。
引用
@article{arxiv.2112.08615,
title = {Knowledge-Augmented Language Models for Cause-Effect Relation Classification},
author = {Pedram Hosseini and David A. Broniatowski and Mona Diab},
journal= {arXiv preprint arXiv:2112.08615},
year = {2022}
}
备注
Accepted to Commonsense Representation and Reasoning (CSRR) @ ACL 2022