ERM与随机逼近的快速收敛率：自适应于误差界条件

误差界条件（EBC）是刻画当点偏离最优集时目标函数增长性质的属性。近年来，它们在优化领域受到越来越多的关注，用于开发具有快速收敛性的优化算法。然而，EBC在统计学习中的研究迄今仍十分有限。本文的主要贡献有两点。首先，我们在EBC下针对Lipschitz连续且光滑凸随机函数的风险最小化，建立了经验风险最小化（ERM）的快速与中间收敛率。其次，我们针对Lipschitz连续随机函数的风险最小化，建立了一种高效随机逼近（SA）算法的快速与中间收敛率，该算法仅需对$n$个样本进行一次遍历并能自适应EBC。对于两种方法，收敛率在$\widetilde O(1/\sqrt{n})$到$\widetilde O(1/n)$之间构成完整谱，取决于EBC中的幂常数，并且在ERM的特殊情况下甚至可能快于$O(1/n)$。此外，这些收敛率无需使用任何EBC知识即可自动自适应。总体而言，本工作不仅加强了对统计学习中ERM的理解，也为解决广泛统计学习问题带来了新的快速随机算法。