面向通信高效稀疏学习的分布式 Frank-Wolfe 算法

学习稀疏组合是机器学习中的一个常见主题。本文研究其在分布式环境下的相关优化问题，其中待组合的元素并非集中存放，而是分布在网络中。我们解决了平衡通信开销与优化误差的关键挑战。为此，我们提出了一种分布式 Frank-Wolfe（dFW）算法。我们获得了关于优化误差 $\epsilon$ 和通信开销的理论保证，且这些保证不依赖于组合元素的总数。我们进一步通过推导构造 $\epsilon$ 近似解所需通信开销的下界，证明了 dFW 的通信开销是最优的。我们通过在合成数据与真实数据上的实证研究验证了理论分析，表明 dFW 优于基线方法与竞争方法。我们还研究了当分析条件放宽时 dFW 的性能，并表明 dFW 具有良好的鲁棒性。