张量优化中的算法正则化:矩阵感知的一种提升方法
最优化与控制
2023-10-25 v1 机器学习
摘要
梯度下降(GD)对机器学习模型的泛化至关重要,因为它诱导隐式正则化,促进紧凑表示。在本文中,我们考察 GD 在张量优化中诱导隐式正则化的作用,特别是在提升矩阵感知框架的背景下。该框架近期被提出,通过在对称秩-1 张量上优化,将非凸矩阵感知问题中的伪解转化为严格鞍点。我们证明,在足够小的初始化尺度下,应用于该提升问题的 GD 会得到近似秩-1 张量和具有逃逸方向的临界点。我们的发现强调了矩阵感知的张量参数化结合一阶方法,在解决此类问题时达到全局最优性的重要性。
引用
@article{arxiv.2310.15549,
title = {Algorithmic Regularization in Tensor Optimization: Towards a Lifted Approach in Matrix Sensing},
author = {Ziye Ma and Javad Lavaei and Somayeh Sojoudi},
journal= {arXiv preprint arXiv:2310.15549},
year = {2023}
}
备注
NeurIPS23 Poster