Word2Bits——量化词向量
计算与语言
2018-04-03 v3
摘要
词向量需要大量的内存与存储空间，这对手机和 GPU 等资源受限设备造成了问题。我们表明，通过在 Word2Vec 中引入量化函数，可以学习到每个参数仅使用 1-2 比特的高质量量化词向量。我们进一步表明，使用量化函数进行训练可起到正则化器的作用。我们在英文维基百科（2017）上训练词向量，并在标准词相似度与类比任务以及问答（SQuAD）上对其进行评估。我们的量化词向量不仅比全精度（32 位）词向量占用少 8-16 倍的空间，而且在词相似度任务和问答任务上优于它们。
引用
@article{arxiv.1803.05651,
title = {Word2Bits - Quantized Word Vectors},
author = {Maximilian Lam},
journal= {arXiv preprint arXiv:1803.05651},
year = {2018}
}