带伴随缩放的鲁棒方差正则化风险最小化
机器学习
2024-02-12 v2 机器学习
摘要
在可能重尾的损失下，我们考虑最小化损失均值与标准差之和的任务，而不试图精确估计方差。通过修改一种用于无方差鲁棒均值估计的技术以适配我们的问题设定，我们推导出一种简单的学习过程，其可轻易与标准基于梯度的求解器结合，用于传统机器学习工作流。经验上，我们验证了尽管方法简单，其在多种数据集上的表现与源自CVaR或DRO风险等替代准则的最佳候选者相当甚至更优。
引用
@article{arxiv.2301.11584,
title = {Robust variance-regularized risk minimization with concomitant scaling},
author = {Matthew J. Holland},
journal= {arXiv preprint arXiv:2301.11584},
year = {2024}
}
备注
Revised version accepted to AISTATS 2024