一般无界损失函数的快速收敛速率：从ERM到广义贝叶斯

我们给出了针对一般无界损失函数（包括对数损失和平方损失）的新超额风险界，其中损失的分布可能是重尾的。这些界对一般估计量成立，但在应用于 $\eta$-广义贝叶斯、MDL 和经验风险最小化估计量时得到优化。在对数损失的情况下，只要学习率 $\eta$ 设置正确，这些界就意味着在误指定下广义贝叶斯推断相对于Hellinger度量一种推广的收敛速率。对于一般损失函数，我们的界依赖于两个独立条件：$v$-GRIP（广义反向信息投影）条件，控制超额损失的下尾；以及新引入的见证条件，控制上尾。$v$-GRIP条件中的参数 $v$ 决定了可实现的速率，类似于有界损失下Tsybakov边缘条件和Bernstein条件中的指数，而 $v$-GRIP条件推广了它们；有利的 $v$ 结合小的模型复杂度导致 $\tilde{O}(1/n)$ 速率。见证条件使我们能够将超额风险与其“退火”版本联系起来，从而推广了若干先前将Hellinger和R\'enyi散度与KL散度联系起来的结果。