使用随机投影在类比任务上超越 Word2Vec
计算与语言
2015-02-18 v2 机器学习
摘要
我们提出一种基于 BEAGLE 系统简化的分布式向量表示，该系统设计于 Sigma 认知架构背景下。我们的方法不需要基于梯度的神经网络训练，不需要像 LSA 那样的矩阵分解，也不需要像 BEAGLE 那样的卷积。所涉及的全部操作仅是随机向量之和及其逐点乘积。尽管该技术十分简单，但它在类比问题上给出了最先进的结果，在大多数情况下优于 Word2Vec。为解释这一成功，我们将其诠释为一种通过随机投影实现的降维。
引用
@article{arxiv.1412.6616,
title = {Outperforming Word2Vec on Analogy Tasks with Random Projections},
author = {Abram Demski and Volkan Ustun and Paul Rosenbloom and Cody Kommers},
journal= {arXiv preprint arXiv:1412.6616},
year = {2015}
}
备注
This paper has been withdrawn due to problems pointed out in review