agnostic学习下 ERM 的通用学习速率

通用学习框架已发展出来，用于获得针对任何固定分布的学习速率保证，这些保证对于固定分布的学习速率要快得多，而对于所有分布统一的学习速率则较慢。鉴于Empirical Risk Minimization (ERM) 原则在PAC理论中为根本且在实际机器学习中广泛应用，近期工作（arXiv:2412.02810）研究了ERm在可实现设置下进行二进制分类的通用学习速率。然而，可实现假设在实际中过于限制。事实上，大多数关于通用学习的文献都集中在可实现的情况下，几乎没有探讨不可实现的情况。在本文中，我们考虑在不可实现设置下进行二进制分类的ERM通用学习问题，其中“学习曲线”反映了样本数增加后剩余风险的衰减。我们探讨了不可实现的通用学习速率的可能性，揭示出一种紧凑的三分法：ERm在不可实现设置下的通用学习速率要么是$e^{-n}$，要么是$o(n^{-1/2})$，要么是任意缓慢的。我们提供了完整的特征，说明哪些概念类落入每一类。此外，我们也为目标依赖的通用学习速率以及基于贝叶斯的通用学习速率提供了完整的特征。