非线性最小二乘问题的反凸化正则化

我们考虑含非线性最小二乘目标的非凸优化问题的正则化。通过引入一组辅助变量，我们提出一种新颖的正则化框架，其对应目标函数不仅可证为反凸（invex），而且对任意正则化参数选择均满足极具吸引力的Polyak--Lojasiewicz不等式。尽管我们的新框架与经典$\ell_2$正则化完全不同，但在欠定线性最小二乘这一特例下建立了有趣联系：具体而言，我们证明对新正则化形式施加梯度下降，收敛到与线性岭回归问题相同的解。数值实验佐证了我们的理论结果，并展示了该方法相较于典型$\ell_2$正则化在实际场景中的表现。