存在不可靠代理时使用 ADMM 的鲁棒去中心化学习
机器学习
2018-05-23 v3 机器学习
摘要
许多机器学习问题可以被表述为共识优化问题，可通过多代理协作系统有效求解。然而，系统中的代理可能因多种原因而不可靠：噪声、故障和攻击。提供错误的更新会将优化过程引向错误方向，并降低分布式机器学习算法的性能。本文考虑了在存在不可靠代理的情况下使用 ADMM 进行去中心化学习的问题。首先，我们严格分析了错误更新（在 ADMM 学习迭代中）对多代理系统收敛行为的影响。我们证明了在某些条件下，该算法线性收敛至最优解的一个邻域，并解析地刻画了该邻域的大小。接下来，我们为实现更快收敛提供了网络设计指南。我们还给出了错误更新实现精确收敛至最优解的条件。最后，为减轻不可靠代理的影响，我们提出了 ADMM 的鲁棒变体 \textsf{ROAD}，并展示了其对不可靠代理的抵御能力以及向最优解的精确收敛。
引用
@article{arxiv.1710.05241,
title = {Robust Decentralized Learning Using ADMM with Unreliable Agents},
author = {Qunwei Li and Bhavya Kailkhura and Ryan Goldhahn and Priyadip Ray and Pramod K. Varshney},
journal= {arXiv preprint arXiv:1710.05241},
year = {2018}
}
备注
23 pages