中文

IRLS用于非光滑鲁棒回归的全局线性与局部超线性收敛性

最优化与控制 2022-10-14 v2

摘要

我们通过使用迭代重加权最小二乘(IRLS)的新变体来求解底层非光滑问题,推进了 p(0,1]p \in (0,1] 时鲁棒 p\ell_p 拟范数回归的理论与实践。在凸情形 p=1p=1 下,我们证明该IRLS变体在特征矩阵上称为稳定值域空间性质的温和确定性条件下以线性速率全局收敛。在非凸情形 p(0,1)p\in(0,1) 下,我们证明在类似条件下,IRLS以 2p2-p 阶超线性速率局部收敛到全局极小化子;当 p0p\to 0 时该速率变为二次。我们在三个应用中展示了所提方法:真实相位恢复、无对应回归以及鲁棒人脸修复。结果表明:(1)IRLS可处理比其他方法更多的离群点,(2)在相同精度水平下比竞争方法更快,(3)它能以令人满意的视觉质量修复稀疏损坏的人脸图像。https://github.com/liangzu/IRLS-NeurIPS2022

关键词

引用

@article{arxiv.2208.11846,
  title  = {Global Linear and Local Superlinear Convergence of IRLS for Non-Smooth Robust Regression},
  author = {Liangzu Peng and Christian Kümmerle and René Vidal},
  journal= {arXiv preprint arXiv:2208.11846},
  year   = {2022}
}

备注

Accepted to NeurIPS 2022