具有压缩通信的分布式变分不等式求解方法及其理论保证
机器学习
2023-04-04 v3 机器学习
摘要
变分不等式（尤其是鞍点问题）在机器学习应用中日益重要，包括对抗学习、GAN、传输与鲁棒优化。随着跨各类应用训练高性能模型所需数据与问题规模的增大，我们需要依赖并行与分布式计算。然而在分布式训练中，计算节点间的通信是训练的关键瓶颈，且对于高维和过参数化模型该问题更为严重。鉴于此，为现有方法配备能在获得相当质量模型的同时减少训练期间传输信息量的策略十分重要。本文提出首个有理论依据的、使用压缩通信求解变分不等式与鞍点问题的分布式方法：MASHA1 和 MASHA2。我们的理论与方法允许使用无偏（如 Rand；MASHA1）与压缩式（如 Top；MASHA2）压缩器。新算法支持双向压缩，也可改造用于带批次的随机设定以及部分客户端参与的联邦学习。我们使用两个实验设置对结论进行了实证验证：标准双线性极小极大问题，以及大规模分布式 transformer 对抗训练。
引用
@article{arxiv.2110.03313,
title = {Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees},
author = {Aleksandr Beznosikov and Peter Richtárik and Michael Diskin and Max Ryabinin and Alexander Gasnikov},
journal= {arXiv preprint arXiv:2110.03313},
year = {2023}
}
备注
Appears in: Advances in Neural Information Processing Systems 35 (NeurIPS 2022). Minor modifications with respect to the NeurIPS version. 73 pages, 9 algorithms, 2 figures, 2 tables