中文

Schatten准范数的统一可扩展等价形式

信息论 2016-11-29 v2 math.IT 最优化与控制 机器学习

摘要

Schatten准范数可用于弥合核范数与秩函数之间的差距,并且是矩阵秩的更紧近似。然而,大多数现有的Schatten准范数最小化(SQNM)算法,以及核范数最小化算法,由于每次迭代需要对整个矩阵进行SVD或EVD,对于大规模问题来说过于缓慢甚至不实用。本文严格证明,对于任意满足1/p=1/p1+1/p2的p, p1, p2>0,任意矩阵的Schatten-p准范数等价于最小化其两个因子矩阵的Schatten-p1范数(或准范数)与Schatten-p2范数(或准范数)的乘积。然后我们提出并证明了Schatten准范数的乘积公式与其加权和公式在p1=p2和p1\neq p2两种情况下的等价关系。特别地,当p>1/2时,任意矩阵的Schatten-p准范数与其两个因子矩阵的Schatten-2p范数等价,其中广泛使用的核范数等价形式可视为一个特例。也就是说,带有p>1/2的各种SQNM问题可以转化为仅涉及两个因子矩阵的平滑、凸范数的问题,这能带来比传统方法更简单高效的算法。我们进一步将两个因子矩阵的理论结果推广到三个及更多因子矩阵的情形,从中可见对于任意0<p<1,任意矩阵的Schatten-p准范数是其所有因子矩阵的Schatten-(p3+1)p范数平均值的极小化,其中p3表示不超过1/p的最大整数。换言之,对于任意0<p<1,SQNM问题可转化为仅涉及多个因子矩阵的平滑、凸范数的优化问题。

关键词

引用

@article{arxiv.1606.00668,
  title  = {Unified Scalable Equivalent Formulations for Schatten Quasi-Norms},
  author = {Fanhua Shang and Yuanyuan Liu and James Cheng},
  journal= {arXiv preprint arXiv:1606.00668},
  year   = {2016}
}

备注

21 pages. CUHK Technical Report CSE-ShangLC20160307, March 7, 2016