相似性、压缩与局部步长:分布式变分不等式高效通信的三大支柱

变分不等式是一类广泛而灵活的问题,包含极小化、鞍点和不动点问题作为特例。因此,变分不等式被用于从均衡搜索到对抗学习等各种应用。随着数据和模型规模的不断增长,当今的实例对实际机器学习问题的并行与分布式计算提出了需求,其中大多数可表示为变分不等式。同时,大多数分布式方法存在一个显著瓶颈——通信成本。减少通信轮数总数及单轮成本的三大主要技术是局部函数的相似性、传输信息的压缩以及局部更新。在本文中,我们结合了所有这些方法。这种三重协同此前在变分不等式和鞍点问题中不存在,甚至在极小化问题中也不存在。本文提出的方法具有最佳的通信复杂度理论保证,并显著领先于其他分布式变分不等式方法。理论结果通过在合成与真实数据集上的对抗学习实验得到验证。