针对近二次问题的局部 SGD：在无界噪声条件下改进收敛性

分布式优化通过优化计算资源的利用率，在现代大规模机器学习和数据处理系统中发挥着重要作用。局部随机梯度下降 (Local SGD) 是一种经典且流行的方法，其特征是在平均之前进行多次局部更新，这在分布式环境中对于减少通信瓶颈和提高可扩展性特别有用。该方法的一个典型特征是对通信频率的依赖。但在目标函数为二次且所有设备上数据分布同质的情况下，通信频率的影响消失了。作为自然结果，后续研究包含了 Lipschitz Hessian 假设，因为这在一定程度上表明了被优化函数与二次函数的相似性。然而，为了扩展 Local SGD 理论的完整性并释放其潜力，在本文中，我们通过引入 $\textit{近似二次性}$ 的新概念放弃了 Lipschitz Hessian 假设。这一假设为具有近二次性质的问题提供了新视角。此外，现有的 Local SGD 理论分析通常假设有界方差。我们转而考虑无界噪声条件，这使我们能够拓宽所研究问题的类别。