线性网络中的混合动力学：统一懒惰与主动范式
机器学习
2024-10-31 v2 人工智能
机器学习
摘要
线性网络的训练动力学在两种不同设置下被广泛研究：懒惰范式和balanced/active范式，取决于初始化方式和网络宽度。我们提供了一个惊人的简单的统一公式，描述所学矩阵的演化，其中包含两种范式的特殊情况，以及两者之间的混合范式。在混合范式中，网络的一部分是懒惰的，而另一部分是balanced的。更精确地说，网络在阈值以下的奇异值上是懒惰的，而在阈值上方的奇异值上是balanced的。在初始化时，所有奇异值都是懒惰的，这使网络能够与任务对齐，以便在随后时间，当一些奇异值跨越阈值并变为active时，它们将迅速收敛(since在没有对齐的情况下，balanced动力学的收敛性著为困难)。混合范式是"两者兼具的好处"：它可以从任意随机初始化收敛(与需要特殊初始化的balanced动力学不同)，且具有低秩偏好(懒惰动力学中不存在)。这使我们能够证明一个近乎完整的训练行为相对于初始化方差和宽度的相位图。
关键词
引用
@article{arxiv.2405.17580,
title = {Mixed Dynamics In Linear Networks: Unifying the Lazy and Active Regimes},
author = {Zhenfeng Tu and Santiago Aranguri and Arthur Jacot},
journal= {arXiv preprint arXiv:2405.17580},
year = {2024}
}