关于权重正则化在过参数化矩阵感知中的优势
机器学习
2025-10-02 v1 信号处理
最优化与控制
机器学习
摘要
尽管正则化技术在深度学习中被广泛使用，但其理论理解仍相对有限。在本工作中，我们在建立（通用）权重正则化（WN）应用于过参数化矩阵感知问题中的优势。我们证明，WN配合黎曼优化可实现线性收敛，为不使用WN的标准方法带来指数级加速。我们的分析进一步表明，随着过参数化水平的提高，迭代次数和样本复杂度均呈多项式改善。就我们所知，本工作提供了WN如何利用过参数化实现更快收敛的首个特征描述。
引用
@article{arxiv.2510.01175,
title = {On the Benefits of Weight Normalization for Overparameterized Matrix Sensing},
author = {Yudong Wei and Liang Zhang and Bingcong Li and Niao He},
journal= {arXiv preprint arXiv:2510.01175},
year = {2025}
}