拜占庭攻击下分布式学习的编码鲁棒聚合
机器学习
2026-03-18 v2 人工智能
密码学与安全
摘要
在本文中，我们研究了存在拜占庭攻击情况下的分布式学习（DL）问题。针对此问题，已在中央服务器端提出了各种鲁棒有界聚合（RBA）规则，以减轻拜占庭攻击的影响。然而，当前的DL方法对来自诚实设备的本地梯度和来自拜占庭设备的破坏信息应用RBA规则，当不同设备的本地梯度彼此差异很大时，学习性能会显著下降。为了克服这一局限性，我们提出了一种基于编码鲁棒聚合（CRA-DL）的新DL方法来应对拜占庭攻击。在训练开始之前，训练数据被冗余地分配给各设备。在训练期间，每次迭代中，诚实设备将根据分配的训练数据计算出的编码梯度传输给服务器，然后服务器使用RBA规则聚合来自诚实设备和拜占庭设备的信息。这样，可以在服务器端近似恢复全局梯度以更新全局模型。与当前应用RBA规则的DL方法相比，CRA-DL的改进归因于诚实设备发送的编码梯度彼此更为接近。这种接近性增强了聚合对拜占庭攻击的鲁棒性，因为在这种情况下拜占庭消息往往与诚实设备的消息显著不同。我们从理论上分析了CRA-DL的收敛性能。最后，我们给出了数值结果，验证了所提方法相对于现有基线的优越性，展示了其在拜占庭攻击下增强的学习性能。
引用
@article{arxiv.2506.01989,
title = {Coded Robust Aggregation for Distributed Learning under Byzantine Attacks},
author = {Chengxi Li and Ming Xiao and Mikael Skoglund},
journal= {arXiv preprint arXiv:2506.01989},
year = {2026}
}
备注
C. Li, M. Xiao and M. Skoglund, "Coded Robust Aggregation for Distributed Learning Under Byzantine Attacks," in IEEE Transactions on Information Forensics and Security, vol. 20, pp. 11636-11651, 2025, doi: 10.1109/TIFS.2025.3624620