数据异质性下无攻击与拜占庭容错去中心化学习的泛化误差分析
机器学习
2025-06-12 v1 分布式、并行与集群计算
摘要
去中心化学习通过在地理分散的智能体间协同模型训练，近年来在信号与信息处理领域获得了广泛关注。尽管去中心化学习算法的优化误差已被广泛研究，但其泛化误差仍相对未被充分探索。由于泛化误差反映了训练模型在未见数据上的可扩展性，并决定了训练模型在实际应用中的性能，理解去中心化学习的泛化误差至关重要。本文在温和假设下，对无攻击和拜占庭容错的去中心化学习在异质数据上的泛化误差进行了细粒度分析，与先前考虑同质数据和/或依赖严格有界随机梯度假设的研究形成对比。我们的结果揭示了数据异质性、模型初始化和随机梯度噪声——此前未被密切研究的因素——对去中心化学习泛化误差的影响。我们还揭示恶意智能体实施的拜占庭攻击对泛化误差有重大影响，其负面影响本质上与数据异质性相关，而与样本量无关。我们在凸和非凸任务上进行了数值实验以验证理论发现。
引用
@article{arxiv.2506.09438,
title = {Generalization Error Analysis for Attack-Free and Byzantine-Resilient Decentralized Learning with Data Heterogeneity},
author = {Haoxiang Ye and Tao Sun and Qing Ling},
journal= {arXiv preprint arXiv:2506.09438},
year = {2025}
}