随机凸优化的经验风险最小化：$O(1/n)$ 与 $O(1/n^2)$ 型风险界

尽管监督学习的经验风险最小化（ERM）已有丰富的理论，但对其相关问题——随机凸优化（SCO）的ERM的理论理解仍然有限。本工作中，我们利用光滑性和强凸性条件来改进风险界，从而拓展了SCO的ERM领域。首先，当随机函数非负、凸且光滑，且期望函数Lipschitz连续时，我们建立了 $\widetilde{O}(d/n + \sqrt{F_*/n})$ 风险界，其中 $d$ 为问题维度，$n$ 为样本数，$F_*$ 为最小风险。因此，当 $F_*$ 较小时，我们得到 $\widetilde{O}(d/n)$ 风险界，这类似于监督学习ERM的 $\widetilde{O}(1/n)$ 乐观速率。其次，若目标函数还满足 $\lambda$-强凸，我们证明了 $\widetilde{O}(d/n + \kappa F_*/n )$ 风险界，其中 $\kappa$ 为条件数，并在 $n=\widetilde{\Omega}(\kappa d)$ 时将其改进为 $O(1/[\lambda n^2] + \kappa F_*/n)$。结果，在 $n$ 大且 $F_*$ 小的条件下，我们得到 $O(\kappa/n^2)$ 风险界，据我们所知，这是ERM首个 $O(1/n^2)$ 型风险界。第三，我们强调上述结果建立在一个统一框架下，该框架允许我们在更弱条件下（例如随机函数无凸性、期望函数非Lipschitz连续）推导新的风险界。最后，我们证明对于监督学习要达到 $O(1/[\lambda n^2] + \kappa F_*/n)$ 风险界，对 $n$ 的 $\widetilde{\Omega}(\kappa d)$ 要求可替换为 $\Omega(\kappa^2)$，这与维度无关。