去中心化在线学习：在不共享自有数据的前提下借他人数据追踪全局趋势

去中心化在线学习（去中心化网络中的在线学习）日益受到关注，因为人们认为它能使数据提供方在不向第三方或其他提供方共享私有数据的情况下，协作更好地解决各自的在线问题。典型地，这种协作通过让数据提供方在邻居间交换模型（如推荐模型）来实现。然而，现有去中心化在线学习算法的最优遗憾界为 $\Ocal{n\sqrt{T}}$，其中 $n$ 为节点（或用户）数，$T$ 为迭代次数。该界显然无意义，因为即便网络中无任何通信也能达到此界。这促使我们追问一个根本问题：人们真的能通过交换信息从去中心化在线学习中获益吗？本文研究了通信何时以及为何能帮助去中心化在线学习降低遗憾。具体而言，每个损失函数由两部分构成：对抗分量与随机分量。在此刻画下，我们证明去中心化在线梯度（DOG）的遗憾界为 $\Ocal{n\sqrt{T}G + \sqrt{nT}\sigma}$，其中 $G$ 度量私有数据（或等价地局部损失函数）中对抗分量的幅度，$\sigma$ 度量私有数据中的随机性。该遗憾表明，人们可通过交换私有信息从私有数据的随机性中获益。本文另一重要贡献是考虑动态遗憾——一种追踪用户兴趣动态更实用的遗憾。我们还进行了实证研究以验证分析。