利用句法监督改进 BERT 预训练
计算与语言
2021-04-22 v1 机器学习
摘要
双向掩码 Transformer 已成为当前自然语言处理（NLP）领域的核心主题。尽管它们在基准测试中表现令人瞩目，近期研究中的一个反复出现的主题是对此类模型句法泛化能力的质疑。在这项工作中，我们试图通过将有监督的、 token 级超标注目标添加到标准无监督预训练中，来解决这一问题，从而将句法偏置显式地纳入网络的训练动态中。我们的方法实现简单，带来的计算开销极小，并且具有足够的通用性以适应多种设置。我们将该方法应用于 Lassy Large，一个自动标注的书面荷兰语语料库。我们的实验表明，尽管 Lassy Large 的规模比常用语料库小一个数量级，我们的句法感知模型仍与已有基线性能相当。
引用
@article{arxiv.2104.10516,
title = {Improving BERT Pretraining with Syntactic Supervision},
author = {Giorgos Tziafas and Konstantinos Kogkalidis and Gijs Wijnholds and Michael Moortgat},
journal= {arXiv preprint arXiv:2104.10516},
year = {2021}
}
备注
4 pages, rejected by IWCS due to "not fitting the conference theme"