控制联邦学习以实现隐蔽性

学习者旨在通过反复查询提供噪声梯度评估的分布式预言机来最小化函数 $f$，同时希望向观测其查询的恶意窃听者隐藏 $\arg\min f$。本文研究隐蔽或学习者私有优化问题，其中学习者须利用随机性在学习和混淆之间动态抉择。我们将用于控制随机梯度算法实现隐蔽优化的问题建模为马尔可夫决策过程，并证明动态规划算子具有超模结构，意味着最优策略具有单调阈值结构。我们提出一种计算高效的策略梯度算法，在无需转移概率知识的情况下搜索最优查询策略。作为实际应用，我们的方法在联邦环境下的仇恨言论分类任务上得到验证——窃听者可用最优权重生成更易被误分类的有毒内容。数值结果显示，当学习者采用最优策略时，窃听者仅能在无信息时达到 $52\%$ 验证准确率，而在拥有含 10\% 正样本的公共数据集时达到 $69\%$，相比之下贪婪策略下为 $83\%$。