深度对角线性网络的优化见解
机器学习
2026-01-21 v3 最优化与控制
机器学习
摘要
梯度法在实践中成功训练高度超参数化的模型，尽管其相关优化问题明显非凸。理解使此类方法有效的机制已成为现代优化中的核心问题。为此，在可处理的设置下，我们研究深度对角线性网络（Deep Diagonal Linear Networks）。这些是多层架构，采用一种参数化方式，在有效参数上保持凸性，同时在优化景观中引起非平凡几何。 在轻微的初始化条件下，我们表明，对层参数的梯度流会在有效参数空间中诱导镜像流动动态。这种结构性见解导致了明确的收敛保证，包括在 Polyak-Lojasiewicz 条件下损失的指数衰减，并阐明了参数化和初始化如何决定训练速度。总体而言，我们的结果表明，尽管表面上复杂，深度对角超参数化仍能为标准梯度方法赋予良好且可解释的优化动力学。
引用
@article{arxiv.2412.16765,
title = {Optimization Insights into Deep Diagonal Linear Networks},
author = {Hippolyte Labarrière and Cesare Molinari and Lorenzo Rosasco and Cristian Vega and Silvia Villa},
journal= {arXiv preprint arXiv:2412.16765},
year = {2026}
}