重尾损失下的快速学习速率

我们研究当损失不一定有界且可能具有重尾分布时的快速学习速率。为进行此类分析，我们引入两个新条件：(i) 包络函数 $\sup_{f \in \mathcal{F}}|\ell \circ f|$（其中 $\ell$ 是损失函数，$\mathcal{F}$ 是假设类）存在且是 $L^r$ 可积的，(ii) $\ell$ 在 $\mathcal{F}$ 上满足多尺度 Bernstein 条件。在这些假设下，我们证明可以获得比 $O(n^{-1/2})$ 更快的学习速率，并且根据 $r$ 和多尺度 Bernstein 幂次，可以任意接近 $O(n^{-1})$。然后，我们验证这些假设，并为具有重尾分布的 $k$-均值聚类矢量量化问题推导出快速学习速率。这些分析使我们能够获得新颖的学习速率，从理论和实践角度扩展并补充了文献中的现有结果。