四层矩阵分解在随机初始化下的全局收敛性
机器学习
2025-11-14 v1 人工智能
摘要
深度矩阵分解问题上的梯度下降动力学被广泛研究作为深度神经网络的简化理论模型。虽然二层矩阵分解的收敛理论已 well-established，但目前尚无针对随机初始化下一般深度矩阵分解的全局收敛保证。为填补这一空白，我们在满足目标矩阵和标准平衡正则化项特定条件下，提供了随机初始化梯度下降在四层矩阵分解上的多项式时间全局收敛保证。我们的分析采用新技术表明梯度下降动力学的鞍点规避特性，并将先前理论扩展以刻画层权重特征值变化。
引用
@article{arxiv.2511.09924,
title = {MDMLP-EIA: Multi-domain Dynamic MLPs with Energy Invariant Attention for Time Series Forecasting},
author = {Hu Zhang and Zhien Dai and Zhaohui Tang and Yongfang Xie},
journal= {arXiv preprint arXiv:2511.09924},
year = {2025}
}