上下文类型与维度在学习词嵌入中的作用
计算与语言
2017-07-20 v2
摘要
我们提供了首个广泛评估，考察使用不同类型上下文学习skip-gram词嵌入如何影响广泛的内在和外在NLP任务上的性能。我们的结果表明，虽然内在任务往往对特定类型的上下文和较高维度表现出明显的偏好，但对于我们所考虑的大多数外在任务，需要更仔细的调优以找到最佳设置。此外，对于这些外在任务，我们发现一旦增加嵌入维度带来的收益基本耗尽，将使用不同上下文类型学习到的词嵌入进行简单拼接可以带来进一步的性能提升。作为额外贡献，我们提出了skip-gram模型的一个新变体，该变体从替换词的加权上下文中学习词嵌入。
引用
@article{arxiv.1601.00893,
title = {The Role of Context Types and Dimensionality in Learning Word Embeddings},
author = {Oren Melamud and David McClosky and Siddharth Patwardhan and Mohit Bansal},
journal= {arXiv preprint arXiv:1601.00893},
year = {2017}
}
备注
Accepted to NAACL 2016