基于共识梯度下降的韧性去中心化学习

经验风险最小化 (ERM) 是现代机器学习 (ML) 的基石，受益于确保高效解及可证明算法和统计学习速率的优化理论进步。隐私、存储、计算和通信约束使得数据必须在网络连接的设备上进行收集、处理和存储。在许多应用中，网络以去中心化方式运行，无法假设存在中心服务器，要求使用高效且韧性的去中心化 ML 算法。然而，去中心化学习面临重大挑战，包括增大的攻击面。本文聚焦于中间人 (MITM) 攻击，即攻击者利用通信漏洞在训练期间注入恶意更新，可能导致模型偏离其预期的 ERM 解。为解决这一挑战，我们提出 RESIST (Resilient dEcentralized learning using conSensus gradIent deScenT)，一种针对恶意破坏通信链路的优化算法，其中传输信息可能在被接收前被任意篡改。与现有恶意鲁棒去中心化学习方法不同，RESIST 不会 (i) 仅保证收敛到解的附近社区，(ii) lacks 强凸问题的线性收敛保证，或 (iii) 无法确保随样本量增大而保持统计一致性。RESIST 通过采用多阶段共识梯度下降框架和基于稳健统计的筛选方法来抵消 MITM 攻击的影响，实现了强凸、Polyak-Lojasiewicz 和非凸 ERM 问题的算法和统计收敛。实验结果表明 RESIST 在各种攻击策略、筛选方法和损失函数下表现出韧性和可扩展性。