拜占庭鲁棒分布式在线学习：在对抗环境中驯服对抗参与者
机器学习
2023-12-06 v3 分布式、并行与集群计算
摘要
本文研究拜占庭攻击下的分布式在线学习。在线学习算法的性能通常由（对抗）后悔值刻画，其评估在环境提供对抗损失时一步超前决策的质量，且偏好次线性界。但我们证明，即使采用一类最先进的鲁棒聚合规则，在对抗环境且存在拜占庭参与者时，分布式在线梯度下降只能达到线性对抗后悔界，且该界是紧的。这是拜占庭攻击的不可避免后果，即便我们能将线性对抗后悔的常数控制在合理水平。有趣的是，当环境非完全对抗，使得诚实参与者的损失为 i.i.d.（独立同分布）时，我们表明与上述对抗后悔相反，次线性随机后悔是可能的。我们开发了拜占庭鲁棒分布式在线动量算法以达到此类次线性随机后悔界。大量数值实验证实了我们的理论分析。
引用
@article{arxiv.2307.07980,
title = {Byzantine-Robust Distributed Online Learning: Taming Adversarial Participants in An Adversarial Environment},
author = {Xingrong Dong and Zhaoxian Wu and Qing Ling and Zhi Tian},
journal= {arXiv preprint arXiv:2307.07980},
year = {2023}
}