GiBERT：通过轻量级门控注入方法将语言知识引入 BERT
计算与语言
2020-10-26 v1
摘要
诸如 BERT 的大型预训练语言模型是近期众多 NLP 任务改进背后的驱动力。然而，BERT 仅被训练来预测缺失词——在掩码后或下一句中——除通过无监督预训练获得外，不具备词法、句法或语义信息知识。我们提出一种新颖方法，以词嵌入形式将语言知识显式注入预训练 BERT 的任意层。在注入基于依赖与反拟合（counter-fitted）嵌入时，我们在多个语义相似度数据集上的性能提升表明此类信息有益且当前原模型缺失。我们的定性分析显示，反拟合嵌入注入尤其有助于涉及同义词对的案例。
引用
@article{arxiv.2010.12532,
title = {GiBERT: Introducing Linguistic Knowledge into BERT through a Lightweight Gated Injection Method},
author = {Nicole Peinelt and Marek Rei and Maria Liakata},
journal= {arXiv preprint arXiv:2010.12532},
year = {2020}
}