Siamese CBOW：面向句子表示的词嵌入优化
计算与语言
2016-06-16 v1
摘要
我们提出了 Siamese Continuous Bag of Words (Siamese CBOW) 模型，这是一种用于高效估计高质量句子嵌入的神经网络。将句子中词的嵌入进行平均已被证明是一种出奇成功且高效的获取句子嵌入的方法。然而，使用现有方法训练的词嵌入并未针对句子表示任务进行优化，因此可能是次优的。Siamese CBOW 通过直接训练词嵌入以使其适于被平均来处理这一问题。底层神经网络通过从句子表示预测其周围句子来学习词嵌入。我们通过在来自广泛来源的 20 个数据集上评估 Siamese CBOW 模型，展示了其鲁棒性。
关键词
引用
@article{arxiv.1606.04640,
title = {Siamese CBOW: Optimizing Word Embeddings for Sentence Representations},
author = {Tom Kenter and Alexey Borisov and Maarten de Rijke},
journal= {arXiv preprint arXiv:1606.04640},
year = {2016}
}
备注
Accepted as full paper at ACL 2016, Berlin. 11 pages