DSReg：将远程监督用作正则化器
计算与语言
2019-09-27 v3
摘要
本文旨在解决NLP任务中的一个普遍问题：部分负例与正例高度相似，即难负例。我们提出将远程监督作为正则化器(DSReg)的方法以应对此问题。原始任务被转化为一个多任务学习问题，其中远程监督用于检索难负例。所得难负例随后被用作正则化器。区分正例与负例的原始目标，与区分软化正例(即难负例加正例)与易负例的辅助任务目标联合优化。在神经网络语境下，这可通过从最后神经网络层输出相同表示到不同函数来实现。利用该策略，我们能在一系列不同NLP任务(包括文本分类、序列标注与阅读理解)中提升基线模型性能。
引用
@article{arxiv.1905.11658,
title = {DSReg: Using Distant Supervision as a Regularizer},
author = {Yuxian Meng and Muyu Li and Xiaoya Li and Wei Wu and Jiwei Li},
journal= {arXiv preprint arXiv:1905.11658},
year = {2019}
}