基于知识图谱的常识自监督实证研究
计算与语言
2022-05-24 v1 人工智能
摘要
基于从大型知识图谱中提取信息的自监督已被证明可改善语言模型的泛化能力，在各种下游语言推理任务的零样本评估中表现良好。然而，由于这些改进是以汇总方式报告的，人们对以下方面知之甚少：(i) 如何选择合适的知识以在各项任务上获得稳健性能，(ii) 如何将此类知识与神经语言模型结合，以及 (iii) 这些配对如何影响细粒度任务性能。在本文中，我们研究了可用于生成合成数据以适配语言模型的知识采样策略与规模的影响。我们研究了不同合成数据集对具有不同架构与规模的语言模型的影响。所得模型针对四项任务属性进行评估：领域重叠、答案相似度、词汇重叠与答案长度。我们的实验表明，编码器-解码器模型受益于更多可学习的数据，而平衡不同方面的采样策略能取得最佳性能。大部分改进出现在答案简短且答案候选不相似的问题上，这与预训练所用数据的特征一致。
引用
@article{arxiv.2205.10661,
title = {An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs},
author = {Jiarui Zhang and Filip Ilievski and Kaixin Ma and Jonathan Francis and Alessandro Oltramari},
journal= {arXiv preprint arXiv:2205.10661},
year = {2022}
}