闭形式训练动力学揭示 Word2Vec 类模型中学习的特征与线性结构
机器学习
2025-10-20 v3 计算与语言
机器学习
摘要
自监督词嵌入算法如 word2vec 为研究语言建模中的表征学习提供了最小化设置。我们考察了 word2vec 损失函数在原点附近的四次 Taylor 近似，并证明其所产生的训练动力学以及在下游任务上的最终性能，与 word2vec 的实际表现非常相似。我们的主要贡献是以仅由语料统计量和训练超参数为参数，解析求出梯度流训练动力学和最终词嵌入。所得解显示，这些模型一次一个地学习正交的线性子空间，每增加一个子空间便提升嵌入的有效秩，直至模型容量被饱和。在 Wikipedia 上的训练中，我们发现每个顶级线性子空间都代表一个可解释的话题级概念。最后，我们将理论应用于描述更抽象语义概念在训练过程中如何线性表征；这些表征可用于向量加法完成类比任务。
引用
@article{arxiv.2502.09863,
title = {Closed-Form Training Dynamics Reveal Learned Features and Linear Structure in Word2Vec-like Models},
author = {Dhruva Karkada and James B. Simon and Yasaman Bahri and Michael R. DeWeese},
journal= {arXiv preprint arXiv:2502.09863},
year = {2025}
}
备注
26 pages, 8 figures