投影次梯度方法的隐式偏置可证明地鲁棒恢复未知余维子空间
计算机视觉与模式识别
2022-01-25 v1 机器学习
摘要
鲁棒子空间恢复(Robust Subspace Recovery, RSR)是鲁棒表示学习中的基本问题。此处我们关注一种近期提出的RSR方法，称为对偶主成分追踪(Dual Principal Component Pursuit, DPCP)方法，其旨在恢复子空间正交补的一组基，并能处理高相对维数的子空间。先前工作表明，只要子空间的真实维数已知，DPCP就能在存在离群点的情况下可证明地恢复正确子空间。我们证明，在放松先前DPCP公式中采用的正交约束、并以随机初始化替代谱初始化的情况下，DPCP可在子空间维数未知的机制下可证明地求解RSR问题。即，我们提出一种非常简单的算法，基于运行多实例的投影次梯度下降方法(Projected Sub-Gradient Method, PSGM)，每个问题实例寻求找到子空间零空间中的一个向量。我们从理论上证明，在温和条件下该方法将以高概率成功。特别地，我们证明：1) 所有问题实例都将收敛到子空间零空间中的一个向量；2) 问题实例解的集成将足够多样以完全张成子空间的零空间，从而也揭示其真实的未知余维。我们提供的实证结果佐证了理论结果，并展示了PSGM算法显著的隐式秩正则化行为，使我们能在不知晓子空间维数的情况下执行RSR。
引用
@article{arxiv.2201.09079,
title = {Implicit Bias of Projected Subgradient Method Gives Provable Robust Recovery of Subspaces of Unknown Codimension},
author = {Paris V. Giampouras and Benjamin D. Haeffele and René Vidal},
journal= {arXiv preprint arXiv:2201.09079},
year = {2022}
}