分布式 SGDA 的稳定性与泛化
机器学习
2024-11-15 v1 最优化与控制
摘要
极小极大优化在现代机器学习应用中受到越来越多的关注。受大规模模型和从边缘设备收集的海量数据驱动，以及保护客户隐私的需求，通信高效的分布式极小极大优化算法变得流行，例如局部随机梯度下降上升（Local-SGDA）和局部去中心化 SGDA（Local-DSGDA）。虽然现有大多数关于分布式极小极大算法的研究集中在收敛速度、计算复杂度和通信效率上，但泛化性能的研究仍不足，而泛化能力是评估模型在未知数据上整体性能的关键指标。本文提出了分布式 SGDA 的基于稳定性的泛化分析框架，该框架统一了两种流行的分布式极小极大算法，包括 Local-SGDA 和 Local-DSGDA，并在各种设置下（如 (S)C-(S)C、PL-SC 和 NC-NC 情况）对不同指标下的稳定性误差、泛化差距和总体风险进行了全面分析。我们的理论结果揭示了泛化差距与优化误差之间的权衡，并建议了获得最优总体风险的超参数选择。Local-SGDA 和 Local-DSGDA 的数值实验验证了理论结果。
引用
@article{arxiv.2411.09365,
title = {Stability and Generalization for Distributed SGDA},
author = {Miaoxi Zhu and Yan Sun and Li Shen and Bo Du and Dacheng Tao},
journal= {arXiv preprint arXiv:2411.09365},
year = {2024}
}