广义线性模型的分散特征分布式优化
最优化与控制
2021-10-29 v1 多智能体系统
机器学习
摘要
我们考虑广义线性模型的“全为一人”分散学习问题。每个样本的特征被划分至连通网络中的若干协作智能体，但仅有一个智能体观测到响应变量。为在此分布式设定下求解正则化经验风险最小化，我们将 Chambolle–Pock 原始-对偶算法应用于该问题的等价鞍点公式。原始与对偶迭代或为闭式解，或化简为标量凸函数的坐标方向最小化。我们在损失函数的两种不同假设（Lipschitz 与平方根 Lipschitz）下建立了经验风险最小化的收敛速率，并展示了其如何依赖于设计矩阵与网络拉普拉斯矩阵的特性。
引用
@article{arxiv.2110.15283,
title = {Decentralized Feature-Distributed Optimization for Generalized Linear Models},
author = {Brighton Ancelin and Sohail Bahmani and Justin Romberg},
journal= {arXiv preprint arXiv:2110.15283},
year = {2021}
}