中文

Spectral Sentinel:基于区块链上草图化随机矩阵理论的可扩展拜占庭鲁棒去中心化联邦学习

机器学习 2025-12-16 v1 分布式、并行与集群计算

摘要

去中心化联邦学习(DFL)无需集中信任即可实现协同模型训练,但在异构(Non-IID)数据下仍易受投毒梯度的拜占庭客户端攻击。现有的防御方法面临可扩展性三难困境:基于距离的过滤(如 Krum)可能拒绝合法的 Non-IID 更新,几何中值方法产生不可接受的 O(n2d)O(n^2 d) 开销,且许多认证防御仅在低于 1 亿参数的模型上进行评估。我们提出 Spectral Sentinel,一个利用随机矩阵理论特征的拜占庭检测与聚合框架:诚实的 Non-IID 梯度产生的协方差特征谱其主体遵循 Marchenko-Pastur 定律,而拜占庭扰动则产生可检测的尾部异常。我们的算法结合了 Frequent Directions 草图与数据依赖的 MP 跟踪,使得在 O(k2)O(k^2) 内存且 kdk \ll d 的条件下,能够对高达 1.5B 参数的模型进行检测。在 (σ,f)(\sigma,f) 威胁模型下,坐标方向诚实方差有界 σ2\sigma^2f<1/2f < 1/2 攻击者时,我们证明了具有收敛速率 O(σf/T+f2/T)O(\sigma f / \sqrt{T} + f^2 / T)(ϵ,δ)(\epsilon,\delta)-拜占庭鲁棒性,并给出了匹配的信息论下界 Ω(σf/T)\Omega(\sigma f / \sqrt{T}),建立了极小极大最优性。我们在 Polygon 网络上实现了完整的系统并集成区块链,在 144 种攻击-聚合器配置下进行了验证,实现了 78.4% 的平均准确率,而基线方法为 48-63%。

关键词

引用

@article{arxiv.2512.12617,
  title  = {Spectral Sentinel: Scalable Byzantine-Robust Decentralized Federated Learning via Sketched Random Matrix Theory on Blockchain},
  author = {Animesh Mishra},
  journal= {arXiv preprint arXiv:2512.12617},
  year   = {2025}
}