Square Deal:张量恢复的下界与改进的松弛方法
机器学习
2013-08-16 v2 机器学习
摘要
从不完整信息中恢复低秩张量是信号处理和机器学习中的一个常见问题。该问题最流行的凸松弛方法是最小化张量展开式的核范数之和。我们表明,这种方法可能严重次优:从高斯测量中可靠地恢复长度为 、Tucker 秩为 的 路张量需要 次观测。相比之下,某种(难解的)非凸公式仅需 次观测。我们引入了一种非常简单的新凸松弛方法,部分弥合了这一差距。我们的新公式在 次观测下即可成功。虽然这些结果针对的是高斯测量,但模拟强烈表明,对于从随机条目子集进行的张量补全,新范数的表现也优于核范数之和。我们对核范数和模型的下界推导源于关于恢复具有多重稀疏结构(例如稀疏、低秩)信号的新结果,该结果令人惊讶地展示了通过最小化各个稀疏诱导范数(例如 、核范数)之和来进行恢复的常用方法的显著次优性。然而,我们要提出的低秩张量恢复新公式开启了通过联合利用多种结构来降低样本复杂度的可能性。
引用
@article{arxiv.1307.5870,
title = {Square Deal: Lower Bounds and Improved Relaxations for Tensor Recovery},
author = {Cun Mu and Bo Huang and John Wright and Donald Goldfarb},
journal= {arXiv preprint arXiv:1307.5870},
year = {2013}
}
备注
Slight modifications are made in this second version (mainly, Lemma 5)