极其简单的元嵌入——通过平均源词嵌入计算元嵌入
计算与语言
2018-04-17 v1
摘要
从预训练的源嵌入创建准确的元嵌入近来受到关注。基于全局与局部线性变换以及拼接的方法已被证明能生成准确的元嵌入。本文中，我们表明两组不同词嵌入的算术平均能产生性能良好的元嵌入，其效果可与更复杂的元嵌入学习方法相媲美甚至更优。鉴于不同源嵌入的向量空间不可比较且无法简单平均，该结果看似有违直觉。我们深入分析了为何尽管源向量空间不可比较，平均仍能产生准确的元嵌入。
引用
@article{arxiv.1804.05262,
title = {Frustratingly Easy Meta-Embedding -- Computing Meta-Embeddings by Averaging Source Word Embeddings},
author = {Joshua Coates and Danushka Bollegala},
journal= {arXiv preprint arXiv:1804.05262},
year = {2018}
}
备注
Accepted to NAACL-HLT 2018