非二次损失下的低秩矩阵恢复：投影梯度法与正则性投影预言
机器学习
2021-11-17 v2 机器学习
最优化与控制
统计理论
统计理论
摘要
现有低秩矩阵恢复结果主要聚焦于二次损失，其享有诸如受限强凸性/平滑性(RSC/RSM)以及在所有低秩矩阵上的良好条件数等有利性质。然而，许多有趣的问题涉及更一般的非二次损失，其不满足此类性质。对于这些问题的标准非凸方法，如秩约束投影梯度下降（亦称迭代硬阈值）与Burer-Monteiro分解，可能具有较差的实证表现，且尚无令人满意的理论保证这些算法的全局与快速收敛。在本文中，我们表明可证明的非二次损失低秩恢复的一个关键组成部分是正则性投影预言(regularity projection oracle)。该预言将迭代点限制于适当有界集内的低秩矩阵，在此集上损失函数表现良好并满足一组近似RSC/RSM条件。相应地，我们分析了一种配备此类预言的（平均）投影梯度法，并证明其全局线性收敛。我们的结果适用于广泛的非二次低秩估计问题，包括单比特矩阵感知/补全、个性化排序聚合以及更广义的带秩约束广义线性模型。
引用
@article{arxiv.2008.13777,
title = {Low-rank matrix recovery with non-quadratic loss: projected gradient method and regularity projection oracle},
author = {Lijun Ding and Yuqian Zhang and Yudong Chen},
journal= {arXiv preprint arXiv:2008.13777},
year = {2021}
}
备注
30 pages and 3 figures