通过虚拟风险最小化极其简单地实现模型泛化
机器学习
2023-10-10 v2 人工智能
摘要
经验风险最小化(ERM)是一种基础的机器学习范式。然而，其在各种任务中的泛化能力有限。在本文中，我们设计了虚拟风险最小化(DuRM)，一种极其简单且通用的技术来改进 ERM 的泛化能力。DuRM 实现极为简单：只需扩大输出 logits 的维度，然后使用标准梯度下降进行优化。此外，我们在理论和实证分析上验证了 DuRM 的有效性。理论上，我们表明 DuRM 产生更大的梯度方差，从而通过观测到更好的平坦局部极小值来促进模型泛化。实证上，我们在不同数据集、模态和网络架构上针对多种任务进行了 DuRM 评估，包括常规分类、语义分割、分布外泛化、对抗训练和长尾识别。结果表明，DuRM 能以近乎免费午餐的方式在所有任务下持续提升性能。此外，我们展示了 DuRM 与现有泛化技术兼容，并讨论了可能的局限性。我们希望 DuRM 能引发对风险最小化基础研究的新的兴趣。
引用
@article{arxiv.2308.02287,
title = {Frustratingly Easy Model Generalization by Dummy Risk Minimization},
author = {Juncheng Wang and Jindong Wang and Xixu Hu and Shujun Wang and Xing Xie},
journal= {arXiv preprint arXiv:2308.02287},
year = {2023}
}
备注
Technical report