DJAM:用于学习个性化模型的分布式 Jacobi 异步方法
机器学习
2018-08-29 v2 分布式、并行与集群计算
机器学习
摘要
处理由智能体网络收集的数据通常归结为求解一个优化问题。这些问题的分布式特性要求求解方法本身也是分布式的。尽管大多数协作学习问题要求智能体达成一个共同(或共识)模型,但在某些情况下,共识解可能并非最优。例如,智能体可能希望在认同其邻居与最小化个人损失函数之间达成折中。我们提出了 DJAM,一种用于学习个性化模型的类 Jacobi 分布式算法。该方法易于实现:无需调节任何超参数,是异步的,且其更新仅需单邻居交互。我们证明,在个人损失函数强凸且具有 Lipschitz 梯度的条件下,DJAM 以概率 1 收敛于解。随后我们给出证据表明 DJAM 与 state-of-the-art 方法表现相当:我们的方法在与经过精心调参的 ADMM 大致相同次数的单邻居交互后,能够达到与之相似误差的解。
引用
@article{arxiv.1803.09737,
title = {DJAM: distributed Jacobi asynchronous method for learning personal models},
author = {Inês Almeida and João Xavier},
journal= {arXiv preprint arXiv:1803.09737},
year = {2018}
}
备注
5 pages, 1 figure