基于PCA的词嵌入训练维度选择
计算与语言
2019-09-05 v1 机器学习
摘要
本文提出一种基于PCA的快速可靠方法，用于选择词嵌入的维度数量。首先，我们训练一个维度取宽松上界（如1,000）的嵌入。然后我们使用PCA变换嵌入，并逐一增量移除较小维度，同时记录嵌入在语言任务上的性能。最后，我们在模型规模与准确率之间权衡，选择维度数量。使用多个数据集与语言任务的实验表明，我们能够将嵌入训练集的数量减少至十分之一，同时保持最优性能。致力于为下游任务（如情感分析、问答与上下位词抽取）训练性能最优嵌入的研究者，以及关注嵌入压缩的研究者，均应发现该方法有益。
引用
@article{arxiv.1909.01761,
title = {Single Training Dimension Selection for Word Embedding with PCA},
author = {Yu Wang},
journal= {arXiv preprint arXiv:1909.01761},
year = {2019}
}
备注
6 pages, 5 figures, 2 tables, EMNLP 2019