凸不可分解目标的分布式在线隐私学习

我们处理一类随时间变化网络上具有隐私保护的通用分布式约束在线学习问题，其中考虑了一类不可分解目标。在此设定下，每个节点仅控制全局决策的一部分，所有节点的目标是在时间范围 $T$ 上协同最小化全局代价，同时保证传输信息的安全性。针对此类问题，我们首先设计了一个新颖的通用算法框架，称为 DPSDA，其利用 Laplace 机制与对偶平均方法的随机变体实现差分隐私分布式在线学习。需注意，在双变量更新中，DPSDA 的所有节点均采用加噪梯度以更具一般性。随后，我们在该框架下提出两种算法，称为 DPSDA-C 与 DPSDA-PS。在 DPSDA-C 中，节点在原始更新中实施基于环路的通信，以缓解时变无向网络上的不一致性。此外，为推广至时变有向网络，节点在 DPSDA-PS 中实施基于广播的 push-sum 动力学，从而可在任意有向网络上实现平均一致性。理论结果表明，当目标函数为凸时，两种算法均达到 $\mathcal{O}( \sqrt{T} )$ 的期望遗憾上界，这与前沿算法所能达到的最佳效用相匹配。最后，在合成与真实数据集上的数值实验结果验证了我们所提算法的有效性。