利用非自回归卷积解码加速基于上下文的句子表示学习
神经与进化计算
2018-06-04 v3 计算与语言
机器学习
摘要
上下文在人类语言理解中起着重要作用，因此它对于机器学习目标语言向量表示也可能有用。在本文中，我们探索了一种用于无监督基于上下文的句子表示学习的非对称编码器-解码器结构。我们精心设计了实验以表明既不需要自回归解码器也不需要RNN解码器。此后，我们设计了一个模型，仍保留RNN作为编码器，同时使用非自回归卷积解码器。我们进一步结合一系列有效设计，在显著提升模型效率的同时也取得了更好的性能。我们的模型在两个不同的大型无标签语料库上训练，并在两种情况下通过对一组下游NLP任务的可迁移性进行评估。我们凭经验表明，我们的模型简单且快速，同时产生丰富的句子表示，在下游任务中表现出色。
引用
@article{arxiv.1710.10380,
title = {Speeding up Context-based Sentence Representation Learning with Non-autoregressive Convolutional Decoding},
author = {Shuai Tang and Hailin Jin and Chen Fang and Zhaowen Wang and Virginia R. de Sa},
journal= {arXiv preprint arXiv:1710.10380},
year = {2018}
}