论词嵌入空间的维度语言学性质
计算与语言
2020-05-22 v2 机器学习
摘要
词嵌入已成为若干自然语言处理任务的支柱，然而其诸多性质仍有待理解。在本工作中，我们依据主成分分析词嵌入，并得出若干新颖且反直觉的观察。特别地，我们将主成分所解释方差的效用刻画为下游性能的代理指标。此外，通过对主嵌入空间的句法探测，我们表明主成分所捕获的句法信息与其解释的方差量不相关。因此，我们研究了基于方差的嵌入后处理的局限性，并证明此类后处理在句子分类与机器翻译任务中适得其反。最后，我们就应用基于方差的嵌入后处理给出了若干预防性指南，并解释了为何非各向同性几何可能对词嵌入性能不可或缺。
引用
@article{arxiv.1910.02211,
title = {On Dimensional Linguistic Properties of the Word Embedding Space},
author = {Vikas Raunak and Vaibhav Kumar and Vivek Gupta and Florian Metze},
journal= {arXiv preprint arXiv:1910.02211},
year = {2020}
}
备注
Published at ACL RepL4NLP 2020