一种最小化 CVaR 及更一般目标的基于模型方法
最优化与控制
2023-05-30 v1 机器学习
摘要
我们开发了随机 prox-linear 方法的一个变体，用于最小化条件风险价值（CVaR）目标。CVaR 是一种聚焦于最小化最坏情况表现的风险度量，定义为损失顶部分位数的平均值。在机器学习中，此类风险度量有助于训练更鲁棒的模型。尽管随机次梯度法（SGM）是最小化 CVaR 目标的天然选择，我们表明我们的随机 prox-linear（SPL+）算法能更好地利用目标的结构，同时仍提供方便的闭式更新。我们的 SPL+ 方法还自适应于损失函数的尺度，从而便于调参。随后我们将 SPL+ 的一般收敛定理专门化到我们的设定，并表明与 SGM 相比它允许更宽泛的步长选择。我们通过实验支持了此理论发现。
引用
@article{arxiv.2305.17498,
title = {A Model-Based Method for Minimizing CVaR and Beyond},
author = {Si Yi Meng and Robert M. Gower},
journal= {arXiv preprint arXiv:2305.17498},
year = {2023}
}