基于交叉视图训练的半监督序列建模
计算与语言
2018-09-25 v1
摘要
word2vec 和 ELMo 等无监督表示学习算法提高了许多有监督 NLP 模型的准确率，主要是因为它们能够利用大量无标签文本。然而，有监督模型在主训练阶段仅从任务特定的标注数据中学习。因此我们提出交叉视图训练（Cross-View Training, CVT），一种半监督学习算法，利用标注与无标注数据的混合来改进 Bi-LSTM 句子编码器的表示。在标注样本上，使用标准有监督学习。在无标注样本上，CVT 训练辅助预测模块，这些模块仅看到输入的限制视图（例如，仅句子的一部分），以匹配看到完整输入的完整模型的预测。由于辅助模块与完整模型共享中间表示，这反过来改进了完整模型。此外，我们表明 CVT 与多任务学习结合时尤其有效。我们在五个序列标注任务、机器翻译和依存句法分析上评估 CVT，取得了最先进的结果。
引用
@article{arxiv.1809.08370,
title = {Semi-Supervised Sequence Modeling with Cross-View Training},
author = {Kevin Clark and Minh-Thang Luong and Christopher D. Manning and Quoc V. Le},
journal= {arXiv preprint arXiv:1809.08370},
year = {2018}
}
备注
EMNLP 2018