预条件化如何指导深度神经网络中的特征学习？
机器学习
2025-10-01 v1
摘要
预条件化在机器学习中广泛用于加速经验风险的收敛，然而其在期望风险中的作用尚未得到充分探讨。本文研究了预条件化如何影响特征学习和泛化性能。我们首先表明，模型可获得的输入信息仅通过预条件化的度量定义的格拉姆矩阵(Gram matrix)传递，从而在特征学习中引入可控的谱偏置。具体而言，将预条件器具体化为输入协方差矩阵的 次方，并在单指数教师模型中，我们证明在泛化情形中，指数 与教师光谱与输入光谱之间的对齐是关键因素。我们进一步探讨了这些因素之间的相互作用如何从三个互补视角影响特征学习：(i) 对噪声的鲁棒性，(ii) 跨分布泛化，和 (iii) 向前知识迁移。我们的结果表明，所学特征表示与预条件器引入的谱偏置紧密相关——倾向于强调被强化的成分，并对被抑制的成分表现出较低的敏感性。关键的是，我们证明了当这种谱偏置与教师的谱偏置对齐时，泛化性能会显著提升。
引用
@article{arxiv.2509.25637,
title = {How Does Preconditioning Guide Feature Learning in Deep Neural Networks?},
author = {Kotaro Yoshida and Atsushi Nitanda},
journal= {arXiv preprint arXiv:2509.25637},
year = {2025}
}