少样本知识模型中常识涌现的分析
计算与语言
2021-09-13 v3
摘要
近来，常识知识模型——在知识图谱（KG）元组上微调的预训练语言模型（LM）——表明，大量常识知识可被编码于大型语言模型的参数中。然而，由于并行研究表明LM自身不擅长假设声明性常识关系，目前尚不清楚这些知识是在预训练期间习得，还是从KG样本的微调中习得。为探究此问题，我们在少样本设置下训练常识知识模型，以研究其常识表征能力的涌现。我们的结果表明，常识知识模型能从有限样本中快速适应，表明KG微调旨在学习一个访问预训练期间习得的编码知识的接口。重要的是，我们对少样本微调期间绝对、角度和分布参数变化的分析，为这一接口如何被学习提供了新的见解。
引用
@article{arxiv.2101.00297,
title = {Analyzing Commonsense Emergence in Few-shot Knowledge Models},
author = {Jeff Da and Ronan Le Bras and Ximing Lu and Yejin Choi and Antoine Bosselut},
journal= {arXiv preprint arXiv:2101.00297},
year = {2021}
}
备注
AKBC 2021