离异协方差结构对线性网络训练动力学与泛化误差的影响
机器学习
2026-01-13 v1 机器学习
摘要
深度神经网络的成功很大程度上取决于训练数据的统计结构。虽然在各向同质数据上的学习动力学和泛化已为人所熟知，但对这些关键方面产生显著离异影响的作用尚未完全理解。我们考察了数据离异——由放射协方差结构表示——对线性网络在线性回归设置下学习动力学和泛化误差的影响。我们的分析揭示，学习动力学经历两个 distinct 阶段，最初由输入-输出相关性主导，随后由数据结构的其他主成分方向控制。此外，我们推导了泛化误差的解析表达式，量化了数据放射结构与学习任务的对齐如何提升性能。我们的发现提供了深入的理论见解，说明数据离异如何塑造学习轨迹和最终性能，为理解更复杂网络架构中的相互作用奠定了基础。
引用
@article{arxiv.2601.06961,
title = {The Impact of Anisotropic Covariance Structure on the Training Dynamics and Generalization Error of Linear Networks},
author = {Taishi Watanabe and Ryo Karakida and Jun-nosuke Teramae},
journal= {arXiv preprint arXiv:2601.06961},
year = {2026}
}
备注
18 pages