自编码改进预训练词嵌入

先前研究预训练词嵌入几何性质的工作表明，词嵌入分布在狭窄的锥体中，通过中心化并使用主成分向量投影，可以提高给定预训练词嵌入集合的准确度。然而，理论上，该后处理步骤等价于应用线性自编码器以最小化平方l2重构误差。这一结果与时（Mu and Viswanath, 2018）提出的从预训练嵌入中移除顶部主成分的工作相矛盾。我们通过实验验证了我们的理论主张，并表明保留顶部主成分确实有助于改进预训练词嵌入，且无需访问额外的语言资源或标注数据。