局部强凸总体风险下过剩风险的刻画

我们为通过近似局部极小值的适当迭代算法训练的模型建立了期望过剩风险的上界。与基于全局强凸性或全局增长条件（如 PL 不等式）的结果不同，我们仅要求总体风险在其局部极小值附近为\emph{局部}强凸。具体地，我们在凸问题下的界为 $\tilde{\cO}(1/n)$ 阶。对于具有 $d$ 个模型参数且 $d/n$ 小于与 $n$ 无关的阈值的非凸问题，若经验风险以高概率无伪局部极小值，则可保持 $\tilde{\cO}(1/n)$ 阶。此外，若无此假设，非凸问题的界变为 $\tilde{\cO}(1/\sqrt{n})$。我们的结果通过算法稳定性与经验风险景观的刻画推导得出。与现有基于算法稳定性的结果相比，我们的界对维度不敏感，且对算法的实现、学习率和迭代次数无限制。我们的界强调：在局部强凸总体风险下，任何适当迭代算法训练的模型都能良好泛化，即便对于非凸问题且 $d$ 很大时亦是如此。