在 Polyak-Łojasiewicz 条件下 CV@R 统计学习中随机梯度下降的含噪线性收敛
机器学习
2021-01-20 v3 系统与控制
信号处理
系统与控制
最优化与控制
机器学习
摘要
条件风险价值(Conditional Value-at-Risk, )是最受欢迎的风险度量之一,近来被用作监督统计学习中的性能准则,因为它与现代应用中的合意运行特征相关,例如安全性、公平性、分布鲁棒性以及预测误差稳定性。然而,由于其变分定义, 通常被认为会导致困难的优化问题,即便对于光滑且强凸的损失函数也是如此。我们反驳了这一论断,通过证明在序列 学习中,对于一大类不一定强凸(甚至不一定凸)且满足集合受限 Polyak-Lojasiewicz 不等式的损失函数,随机梯度下降具有含噪(即固定精度)线性收敛性。该类包含全部光滑且强凸损失,证实了如线性最小二乘回归等经典问题在 准则下可如其中性风险版本一样被高效求解。我们的结果在这样一个风险感知岭回归任务上进行了数值说明,也验证了它们在实践中的有效性。
引用
@article{arxiv.2012.07785,
title = {Noisy Linear Convergence of Stochastic Gradient Descent for CV@R Statistical Learning under Polyak-{\L}ojasiewicz Conditions},
author = {Dionysios S. Kalogerias},
journal= {arXiv preprint arXiv:2012.07785},
year = {2021}
}
备注
17 pages, 2 figures. From v2 onwards: Significant updates to the technical content, fixed some errors/nonsense in the results and their proofs