局部更新为何有效：数据异构性与光滑性的作用
机器学习
2025-07-02 v1 人工智能
多智能体系统
最优化与控制
机器学习
摘要
本论文致力于从理论层面理解局部更新算法，尤其是面对数据异构性情形下的 Local SGD，在分布式与联邦优化中展开分析。核心议题是：在凸与非凸场景下，界定第二阶异构性假设的有界性，被证明是局部更新超越集中式或小批次方法的必要条件与充分条件。本文在多个情形下为各种局部更新算法建立紧密的上、下界，并刻画了多个问题类的 min-max 复杂度。其核心是一种基于共识误差的细粒度分析框架，能在第三阶光滑性与放宽异构性假设下，导出更精确的有限时间收敛界限。论文还扩展至在线联邦学习，给出在一阶与 bandit 反馈下的基本后悔界限。这些结果阐明了局部更新何时以及为何能提供可证明的优势，论文亦为在异构环境中分析 Local SGD 提供了自包含指南。
引用
@article{arxiv.2507.00195,
title = {What Makes Local Updates Effective: The Role of Data Heterogeneity and Smoothness},
author = {Kumar Kshitij Patel},
journal= {arXiv preprint arXiv:2507.00195},
year = {2025}
}