协同优化中的因果忘却：对抗性贡献下的精确与近似影响反转
机器学习
2026-05-21 v1 人工智能
密码学与安全
性能
摘要
联邦学习系统必须支持数据删除请求以遵守隐私法规，但每次删除后从头重新训练 computationally prohibitive。我们提出了 HF-KCU 方法，通过对共轭梯度迭代在 Krylov 子空间中逼近影响函数来移除客户端的贡献，将复杂度从 O(d^3) 降低到 O(kd)，其中 k << d。因果加权机制确保仅持有被删除数据的客户端接收参数更新，防止未受影响的客户端产生不必要的变化。我们的方法设计用于处理对 Hessian 和梯度的有界对抗性扰动，提供在真实威胁模型下的优雅降级。我们在 ResNet-18、SimpleCNN 和 ViT-Lite 架构上验证了 HF-KCU，使用 CIFAR-10、MNIST 和 Fashion-MNIST。在 Dirichlet (alpha=0.5) 分区的 CIFAR-10 上，HF-KCU 相对于重新训练实现了 47.75 倍的加速，同时保持测试准确率在理性基准(71.16 vs 71.76%) 之内。对忘记集合的成员推断攻击成功率为 0.499，匹配重新训练的模型，确认有效的隐私恢复。我们提供收敛保证，表明 Krylov 近似误差随着 k 为 Hessian 条件数而呈现 O((k ^1/2-1)/(k^1/2+1)) 的收敛。因果加权机制确保手术式更新，仅修改持有被删除数据的客户端，保持未受影响参与者的模型质量，避免在非同步联邦设置中使用梯度方法的不稳定性。此设计提供可解释性，因为每个更新都可直接追溯到被删除数据的影响。该方法的效率和精确度使其适用于生产级联邦系统，其中删除请求是异步到达且计算预算受限的场景。
关键词
引用
@article{arxiv.2605.20341,
title = {Causal Unlearning in Collaborative Optimization: Exact and Approximate Influence Reversal under Adversarial Contributions},
author = {Ali Mahdavi and Azadeh Zamanifar and Amirfarhad Farhadi and Omid Kashefi},
journal= {arXiv preprint arXiv:2605.20341},
year = {2026}
}