中文

在 Polyak-Łojasiewicz 条件下 CV@R 统计学习中随机梯度下降的含噪线性收敛

机器学习 2021-01-20 v3 系统与控制 信号处理 系统与控制 最优化与控制 机器学习

摘要

条件风险价值(Conditional Value-at-Risk, CV@R\mathrm{CV@R})是最受欢迎的风险度量之一,近来被用作监督统计学习中的性能准则,因为它与现代应用中的合意运行特征相关,例如安全性、公平性、分布鲁棒性以及预测误差稳定性。然而,由于其变分定义,CV@R\mathrm{CV@R} 通常被认为会导致困难的优化问题,即便对于光滑且强凸的损失函数也是如此。我们反驳了这一论断,通过证明在序列 CV@R\mathrm{CV@R} 学习中,对于一大类不一定强凸(甚至不一定凸)且满足集合受限 Polyak-Lojasiewicz 不等式的损失函数,随机梯度下降具有含噪(即固定精度)线性收敛性。该类包含全部光滑且强凸损失,证实了如线性最小二乘回归等经典问题在 CV@R\mathrm{CV@R} 准则下可如其中性风险版本一样被高效求解。我们的结果在这样一个风险感知岭回归任务上进行了数值说明,也验证了它们在实践中的有效性。

关键词

引用

@article{arxiv.2012.07785,
  title  = {Noisy Linear Convergence of Stochastic Gradient Descent for CV@R Statistical Learning under Polyak-{\L}ojasiewicz Conditions},
  author = {Dionysios S. Kalogerias},
  journal= {arXiv preprint arXiv:2012.07785},
  year   = {2021}
}

备注

17 pages, 2 figures. From v2 onwards: Significant updates to the technical content, fixed some errors/nonsense in the results and their proofs