通过迭代重加权奇异值最小化求解 Schatten-$p$ 准范数正则化矩阵优化问题
最优化与控制
2016-11-01 v3 机器学习
数值分析
统计计算
机器学习
摘要
本文研究一般的 Schatten- 准范数 (SPQN) 正则化矩阵最小化问题。具体而言，我们首先为此类问题引入一类一阶平稳点，并证明文献 [11] 中针对 SPQN 正则化最小化问题所引入的一阶平稳点，等价于 SPQN 正则化最小化重构形式的一阶平稳点。我们还证明了 SPQN 正则化矩阵最小化问题的任何局部极小值点必为一阶平稳点。此外，我们推导了 SPQN 正则化矩阵最小化问题的一阶平稳点（因而也包括其局部极小值点）的非零奇异值的下界。随后，我们提出了迭代重加权奇异值最小化 (IRSVM) 方法来求解这些问题，并证明了其子问题具有闭式解。与针对 SPQN 正则化最小化问题的类似方法相比，这些方法的收敛性分析极具挑战性。我们开发了一种新颖的方法来建立这些方法的收敛性，该方法利用了其子问题特定解的表达式，从而避免了寻找子问题目标函数的 Clarke 次微分显式表达这一复杂问题。具体而言，我们证明了由 IRSVM 方法生成的序列的任何聚点均为问题的一阶平稳点。计算结果表明，在解的质量和/或速度方面，IRSVM 方法通常优于近期开发的一些最先进方法。
引用
@article{arxiv.1401.0869,
title = {Schatten-$p$ Quasi-Norm Regularized Matrix Optimization via Iterative Reweighted Singular Value Minimization},
author = {Zhaosong Lu and Yong Zhang},
journal= {arXiv preprint arXiv:1401.0869},
year = {2016}
}
备注
This paper has been withdrawn by the author due to major revision and corrections