SQRT-Lasso 优化中邻近算法的快速收敛：无需担忧其非光滑损失函数
机器学习
2019-04-16 v6 最优化与控制
机器学习
摘要
许多机器学习技术牺牲了便捷的计算结构以获得估计的鲁棒性和建模的灵活性。然而，通过探索建模结构，我们发现这些“牺牲”并不总是需要更多的计算努力。为了阐明这种“免费午餐”现象，我们研究了平方根 Lasso (SQRT-Lasso) 类型的回归问题。具体而言，我们表明 SQRT-Lasso 类型回归的非光滑损失函数简化了调参工作并获得了对非均匀噪声的自适应性，但在计算上并不一定比 Lasso 更具挑战性。我们可以直接应用邻近算法（例如邻近梯度下降、邻近牛顿法和邻近拟牛顿法），而无需担心损失函数的非光滑性。理论上，我们证明了邻近算法结合路径优化方案能以高概率享有快速收敛保证。数值结果支持了我们的理论。
引用
@article{arxiv.1605.07950,
title = {On Fast Convergence of Proximal Algorithms for SQRT-Lasso Optimization: Don't Worry About Its Nonsmooth Loss Function},
author = {Xingguo Li and Haoming Jiang and Jarvis Haupt and Raman Arora and Han Liu and Mingyi Hong and Tuo Zhao},
journal= {arXiv preprint arXiv:1605.07950},
year = {2019}
}