多视角句子表示学习
计算与语言
2018-05-22 v1 机器学习
神经与进化计算
机器学习
摘要
当同一数据存在不同视角时，多视角学习可提供自监督。分布假说从相邻句子中提供了另一种有用的自监督形式，这类句子在大型无标注语料中十分丰富。受人类大脑两半球不对称性以及不同学习架构往往强调句子意义不同方面的观察所启发，我们创建了一个统一的多视角句子表示学习框架，其中一个视角用循环神经网络（RNN）编码输入句子，另一视角用简单线性模型编码，训练目标是最大化两视角间由相邻上下文信息指定的一致性。我们表明，训练后由我们多视角训练产生的向量相比单视角训练提供了改进的表示，且不同视角的组合带来进一步的表示提升，并在标准下游任务上展现出良好的可迁移性。
引用
@article{arxiv.1805.07443,
title = {Multi-view Sentence Representation Learning},
author = {Shuai Tang and Virginia R. de Sa},
journal= {arXiv preprint arXiv:1805.07443},
year = {2018}
}