无方差损失下的经验风险最小化
机器学习
2023-09-08 v1 机器学习
摘要
本文考虑了重尾设定下的经验风险最小化问题，其中数据不具有有限方差，而仅具有 阶矩且 。我们没有使用基于截断观测数据的估计过程，而是通过最小化风险值来选择优化器。这些风险值可通过使用显著的 Catoni 方法（Catoni, 2012）进行鲁棒估计。得益于 Catoni 型影响函数的结构，我们能够利用广义泛型链方法建立超额风险上界。此外，我们还考虑了计算问题。我们特别从理论上研究了两类优化方法：鲁棒梯度下降算法和基于经验风险的方法。通过广泛的数值研究，我们发现基于 Catoni 风格估计的经验风险优化器确实表现出优于其他基线的性能。这表明直接基于截断数据的估计可能导致不令人满意的结果。
引用
@article{arxiv.2309.03818,
title = {Empirical Risk Minimization for Losses without Variance},
author = {Guanhua Fang and Ping Li and Gennady Samorodnitsky},
journal= {arXiv preprint arXiv:2309.03818},
year = {2023}
}