条件 BERT 上下文增强
计算与语言
2018-12-18 v1 人工智能
机器学习
摘要
我们提出了一种用于带标签句子的新颖数据增强方法，称为条件 BERT 上下文增强。数据增强方法常被用于防止过拟合并改善深度神经网络模型的泛化能力。最近提出的上下文增强通过用语言模型预测的更多样化的替换词随机替换单词来增强带标签句子。BERT 表明深度双向语言模型比单向语言模型或前向与后向模型的浅层拼接更强大。我们通过引入一个新的条件掩码语言模型\footnote{术语“条件掩码语言模型”在原始 BERT 论文中出现过一次，表示上下文条件的，等价于术语“掩码语言模型”。在我们的论文中，“条件掩码语言模型”表示我们对“掩码语言模型”施加了额外的标签条件约束。}任务将 BERT 改造为条件 BERT。训练良好的条件 BERT 可用于增强上下文增强。在六个不同的文本分类任务上的实验表明，我们的方法可以轻松应用于卷积或循环神经网络分类器以获得明显提升。
引用
@article{arxiv.1812.06705,
title = {Conditional BERT Contextual Augmentation},
author = {Xing Wu and Shangwen Lv and Liangjun Zang and Jizhong Han and Songlin Hu},
journal= {arXiv preprint arXiv:1812.06705},
year = {2018}
}
备注
9 pages, 1 figure