基于深度神经网络的高效通信分布式随机AUC最大化
分布式、并行与集群计算
2020-10-12 v2 机器学习
最优化与控制
机器学习
摘要
在本文中，我们研究以深度神经网络为预测模型的大规模AUC最大化的分布式算法。尽管分布式学习技术在深度学习中已被广泛研究，但由于随机AUC最大化与标准损失最小化问题（例如交叉熵）的显著差异，它们不能直接应用于基于深度神经网络的随机AUC最大化。为应对这一挑战，我们提出并分析了一种基于AUC最大化的非凸凹（non-convex concave）重构的通信高效分布式优化算法，其中每个工作节点与参数服务器之间仅在对偶变量和原始变量进行多步基于梯度的更新后才进行通信。与现有算法的朴素并行版本（在各机器上计算随机梯度并取平均以更新模型参数）相比，我们的算法所需通信轮数少得多，且在理论上仍实现了线性加速。据我们所知，这是首个以通信高效的分布式方式解决深度神经网络AUC最大化的非凸凹极小极大（non-convex concave min-max）问题，同时在理论上保持线性加速性质的工作。我们在多个基准数据集上的实验表明了算法的有效性，并证实了我们的理论。
引用
@article{arxiv.2005.02426,
title = {Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks},
author = {Zhishuai Guo and Mingrui Liu and Zhuoning Yuan and Li Shen and Wei Liu and Tianbao Yang},
journal= {arXiv preprint arXiv:2005.02426},
year = {2020}
}