对角线性网络中的鞍点到鞍点动力学
机器学习
2023-10-26 v2 最优化与控制
摘要
在本文中，我们完整描述了在初始化趋于零的极限下，对角线性网络上梯度流的轨迹。我们证明该极限流依次从训练损失的一个鞍点跳转到另一个鞍点，直至达到最小范数解。这种鞍点到鞍点的动力学对应于一个增量学习过程，因为每个鞍点都是损失在活跃集（其外坐标必须为零）约束下的极小化子。我们通过一种令人联想到用于计算Lasso路径的LARS算法的递归算法，显式刻画了所访问的鞍点以及跳跃时间。我们的证明利用了一种方便的弧长时间重参数化，从而能够追踪跳跃之间的异宿转移。我们的分析对数据几乎不作假设，适用于欠参数化和过参数化设定，并涵盖了活跃坐标数量无单调性的复杂情形。我们提供了数值实验以支持我们的发现。
引用
@article{arxiv.2304.00488,
title = {Saddle-to-Saddle Dynamics in Diagonal Linear Networks},
author = {Scott Pesme and Nicolas Flammarion},
journal= {arXiv preprint arXiv:2304.00488},
year = {2023}
}