小epoch数下的增量梯度下降在病态问题上意外地缓慢

最近的理论结果表明，基于排列的随机梯度下降（如随机重排SGD）的收敛速率快于均匀采样SGD；然而，这些研究主要关注大epoch区间，其中epoch数 $K$ 超过条件数 $\kappa$。相比之下，当 $K$ 小于 $\kappa$ 时知之甚少，而且排列基SGD是否能在小epoch区间内更快收敛仍然是一个具有挑战性的开放问题（Safran和Shamir，2021）。作为理解这一差距的一步，我们研究了朴素确定性变体——增量梯度下降（IGD）——在光滑强凸函数上的表现。我们的下界表明，在小epoch区间内，即使所有分量函数都是强凸的，IGD也可能表现出意外缓慢的收敛。此外，当允许某些分量函数为非凸时，我们证明IGD的最优性间隙在小epoch区间内可能显著更差。我们的分析表明，排列基SGD在小epoch区间的收敛特性可能根据对分量函数的假设而发生剧烈变化。最后，我们补充了IGD在大epoch区间的紧致上下界。