关于无放回SGD的紧收敛速率

对于求解有限和优化问题，无放回SGD的经验表现优于SGD。用$n$表示代价中的分量数，$K$表示算法的轮数，最近的一些工作给出了无放回SGD的收敛速率，这些速率在$n$和$K$上的依赖性优于SGD的基线速率$O(1/(nK))$。然而，这些工作存在两个主要限制：速率有额外的关于$nK$的多对数因子，并且用$\kappa$表示问题的条件数，这些速率在$\kappa^c\log(nK)$轮之后成立，其中$c>0$。在这项工作中，我们通过分析跨轮变化的步长来克服这些限制。