基于海林格 PCA 的词嵌入方法

神经语言模型生成的词嵌入已被证明在众多自然语言处理任务中取得了成功。然而，此类架构可能难以训练且耗时较长。为此，我们提出通过词共现矩阵的海林格主成分分析（Hellinger PCA）来大幅简化词嵌入的计算。我们在命名实体识别和电影评论任务上，将这些新的词嵌入与一些知名的词嵌入进行了比较，结果表明我们可以达到相似甚至更优的性能。尽管深度学习对于生成优质词嵌入并非真正必要，但我们表明它可以提供一种便捷的方式，使词嵌入适应特定任务。