联邦强化学习中的梯度反向
机器学习
2025-12-02 v1 人工智能
摘要
联邦强化学习（FRL）通过梯度共享在保持本地数据隐私的同时实现最优策略的分布式学习。然而，FRL 面临数据隐私泄露风险，攻击者可利用共享梯度重构本地训练数据。与传统监督式联邦学习不同，FRL 的成功重构需要生成的数据不仅要匹配共享梯度，还要与环境的真实转移动力学一致（即与真实数据转移分布对齐）。为此，我们提出一种新型攻击方法，称为正则化梯度反向攻击（RGIA），通过在状态、奖励和转移动力学上施加基于先验知识的正则化，确保重构的数据接近真实转移分布。理论上，我们证明了基于先验知识的正则化项将解空间从包含虚假解的广泛子集缩小为同时满足梯度匹配和真实转移动力学的受限子集。广泛的实验在控制任务和自动驾驶任务上表明，RGIA 能够有效约束重构数据转移分布，从而成功地重构了本地私有数据。
引用
@article{arxiv.2512.00303,
title = {Gradient Inversion in Federated Reinforcement Learning},
author = {Shenghong He},
journal= {arXiv preprint arXiv:2512.00303},
year = {2025}
}