用于低秩矩阵优化的扩展高斯-牛顿与 ADMM-高斯-牛顿算法
最优化与控制
2020-10-27 v3 机器学习
摘要
在本文中，我们开发了著名的高斯-牛顿(GN)方法的一个变体，用于求解一类涉及低秩矩阵变量的非凸优化问题。与标准 GN 方法不同，我们的算法允许处理一般的平滑凸目标函数。我们表明，在温和条件下，所提算法全局及局部收敛到原问题的驻点。我们还通过经验证明 GN 算法比交替最小化算法(AMA)获得更精确的解。然后，我们具体化我们的 GN 方案以处理对称情况并证明其收敛性，而 AMA 在此不适用。接下来，我们将 GN 方案纳入交替方向乘子法(ADMM)以开发 ADMM-GN 算法。我们证明，在温和条件和惩罚参数的适当选择下，我们的 ADMM-GN 全局收敛到原问题的驻点。最后，我们提供若干数值实验来说明所提算法。我们的结果表明，与现有方法相比，新算法具有令人鼓舞的性能。
引用
@article{arxiv.1606.03358,
title = {Extended Gauss-Newton and ADMM-Gauss-Newton Algorithms for Low-Rank Matrix Optimization},
author = {Quoc Tran-Dinh},
journal= {arXiv preprint arXiv:1606.03358},
year = {2020}
}
备注
35 pages, 5 figures and 5 tables. The code can be found at http://www.trandinhquoc.com, UNC-STAT&OR - Tech. Report 2016.a