DIGing-SGLD：面向时变网络的去中心化可扩展 Langevin 采样

从由训练数据诱导的目标分布进行采样是贝叶斯学习的核心问题，随机梯度 Langevin 动力学（SGLD）是实现可扩展后验采样的关键工具，而去中心化变体则使数据分布在代理网络中时进行学习成为可能。本文引入 DIGing-SGLD，一种为时变网络上的多代理系统设计的去中心化 SGLD 算法，以实现可扩展的贝叶斯学习。现有的去中心化 SGLD 方法局限于静态网络拓扑，许多方法即使使用完整小批量也表现出稳态采样偏差。DIGing-SGLD 通过将 Langevin 采样与原为去中心化优化在时变网络上实现的 DIGing 算法的梯度跟踪机制集成，从而在没有中心协调员的情况下实现高效且无偏差的采样。我们提供了首个针对时变网络上基于去中心化 SGLD 采样的有限时间非渐近 Wasserstein 收敛保证，并给出显式常数。在标准强凸性和光滑性假设下，DIGing-SGLD 达到对目标分布的 $O(\sqrt{\eta})$ 邻域的几何收敛，其中 $\eta$ 为步长，目标精度的依赖性与使用常数步长的集中式和静态网络 SGLD 算法的最佳已知速率相匹配。数值实验在贝叶斯线性和逻辑回归上验证了理论结果，证明了 DIGing-SGLD 在动态演化网络条件下的强实验性能。