将常识知识图谱融入预训练模型用于社会常识任务
计算与语言
2021-05-13 v1
摘要
预训练语言模型近来在许多 NLP 任务上表现优异；然而，其社会智能仍不尽如人意。为实现这一点，机器需要对我们复杂的世界有更通用的理解，并发展出在执行特定下游任务之外进行常识推理的能力。外部常识知识图谱（KGs），如 ConceptNet，提供了关于词及其关系的丰富信息。因此，面向通用常识学习，我们提出两种将此类知识图谱隐式与显式地注入预训练语言模型的方法。我们证明所提方法在社会常识推理任务 SocialIQA 上，无论是在有限还是完整训练数据情形下均表现良好。
引用
@article{arxiv.2105.05457,
title = {Incorporating Commonsense Knowledge Graph in Pretrained Models for Social Commonsense Tasks},
author = {Ting-Yun Chang and Yang Liu and Karthik Gopalakrishnan and Behnam Hedayatnia and Pei Zhou and Dilek Hakkani-Tur},
journal= {arXiv preprint arXiv:2105.05457},
year = {2021}
}
备注
EMNLP2020 Workshop