掩码语言建模与适配器在事实知识注入中的有效性
计算与语言
2022-10-04 v1
摘要
本文研究将事实知识注入大型预训练语言模型的问题。我们使用掩码语言建模目标在 ConceptNet 知识图谱的部分数据上训练适配器模块，并通过在 LAMA 探针上的一系列探测实验来评估该方法的有效性。不同配置下的平均 P@K 曲线表明，该技术是有效的，通过向原始模型仅添加 2.1% 的额外参数，即可在 k 值较大时提升 LAMA 探针子集上的性能。
引用
@article{arxiv.2210.00907,
title = {The Effectiveness of Masked Language Modeling and Adapters for Factual Knowledge Injection},
author = {Sondre Wold},
journal= {arXiv preprint arXiv:2210.00907},
year = {2022}
}
备注
Camera ready version for the 16th TextGraphs workshop, located at Coling 2022