稳健监督学习的统一与优化
机器学习
2026-05-28 v1
摘要
文献中提出了 various robust alternatives to empirical risk minimisation，以解决分布迁移、标签噪声和有限样本退化等失效模式的问题。例如包括分布鲁棒优化、标签平滑、vicinal risk 最小化和 Mixup。然而，这些方法通常在孤立中开发，迫使实践者在任务主导模式不清晰时仍需事先提交某一种单一失效模式。为此，我们沿三个常见设计轴组织了广泛的现有方法，并推导出一种可行的训练程序，将稳健学习分解为顺序阶段（参考分布丰富、输入空间扰动、标签空间扰动和样本级聚合），每个阶段都可选择立场（悲观、中性或乐观）。这导致一种统一的设计空间，其中可对联合超参数进行优化，以组合和配置适合特定任务的稳健性策略。在表格、图像和奖励建模基准测试中，联合超参数优化在每个设置中都与最佳单方法基线相当，为那些事先不知道其任务主导哪种失效模式的实践者提供了可靠的默认选项。
引用
@article{arxiv.2605.28165,
title = {Unification and Optimization of Robust Supervised Learning},
author = {Jonas Hanselle and Valentin Margraf and Clemens Damke and Eyke Hüllermeier},
journal= {arXiv preprint arXiv:2605.28165},
year = {2026}
}