自适应无服务器学习

随着分布式数据的出现，以无服务器方式训练机器学习模型近年来引起了越来越多的关注。在该范式下已提出众多训练方法，例如去中心化 SGD。然而，所有现有的去中心化算法仅关注标准 SGD。这可能不适用于某些应用，例如深度因子分解机，其中特征高度稀疏且为类别型，因此需要自适应训练算法。在本文中，我们提出一种新颖的自适应去中心化训练方法，其能够根据数据动态计算学习率。据我们所知，这是首个自适应去中心化训练方法。我们的理论结果表明，所提算法可相对于工作节点数量实现线性加速。此外，为降低通信开销，我们进一步提出一种通信高效的自适应去中心化训练方法，其同样可相对于工作节点数量实现线性加速。最后，在不同任务上的大量实验证实了我们所提两种方法的有效性。