关于任意数据排列及其超越性质的随机梯度下降统一分析
机器学习
2025-01-28 v1
摘要
我们旨在为数据在每个纪元前进行置换的基于置换的随机梯度下降 (SGD) 提供统一的收敛分析。通过考察置换之间的关系，我们将现有的基于置换的 SGD 算法分为四类：任意置换、独立置换（包括随机重洗）、单置换（包括递增梯度、Shuffle One 和 Nice Permutation）以及依赖置换（包括 GraBs Lu 等 2022 年，Cooper 等 2023 年）。现有的统一分析未能涵盖依赖置换类别，因为其置换之间存在跨纪元的依赖关系。本文提出一种捕捉置换跨纪元依赖关系的通用假设。基于该假设，我们发展出一种针对任意置换的 SGD 框架，纳入上述所有代表性算法。进一步，我们将我们的框架用于联邦学习中客户端排序。具体而言，我们发展出针对任意客户端置换的正则化参与式联邦学习的统一框架。
引用
@article{arxiv.2501.16117,
title = {A Unified Analysis of Stochastic Gradient Descent with Arbitrary Data Permutations and Beyond},
author = {Yipeng Li and Xinchen Lyu and Zhenyu Liu},
journal= {arXiv preprint arXiv:2501.16117},
year = {2025}
}