SADDLe: 面向异构数据的锐度感知去中心化深度学习
机器学习
2025-02-27 v2 分布式、并行与集群计算
多智能体系统
摘要
去中心化训练使得能够利用分布在不同位置的数据集进行学习，而无需依赖中央服务器。在现实场景中，这些稀疏连接的学习智能体之间的数据分布可能高度异构，导致局部模型过拟合和全局模型泛化能力差。另一个挑战是在没有中央协调的情况下以点对点方式训练模型的高通信成本。在本文中，我们通过提出SADDLe（一组锐度感知的去中心化深度学习算法）来共同应对这两个实际挑战。SADDLe利用锐度感知最小化（SAM）在训练过程中寻求更平坦的损失景观，从而带来更好的模型泛化能力以及对通信压缩的增强鲁棒性。我们提出了两个版本的算法，并进行了大量实验，表明SADDLe相比其他现有技术，测试准确率提高了1-20%。此外，我们提出的方法对通信压缩具有鲁棒性，在高达4倍压缩的情况下，平均准确率仅下降1%。
引用
@article{arxiv.2405.13961,
title = {SADDLe: Sharpness-Aware Decentralized Deep Learning with Heterogeneous Data},
author = {Sakshi Choudhary and Sai Aparna Aketi and Kaushik Roy},
journal= {arXiv preprint arXiv:2405.13961},
year = {2025}
}