论机器学习中的七个基本优化挑战

机器学习的许多近期成功与优化的进展密不可分。这些领域之间的思想交流是双向的：机器学习建立在梯度下降等标准优化过程之上，同时也源自机器学习应用的新优化理论方向不断涌现。在本论文中，我们讨论了受机器学习、联邦学习与数据科学需求与实践启发而产生的优化新进展。具体而言，我们考虑了数学优化的七个关键挑战并分别给出解决方案。我们的第一项贡献是解决了联邦学习中的一个关键开放问题：我们在异构数据情形下为著名的 Local SGD 算法建立了首个理论保证。作为第二项挑战，我们缩小了被称为 Random Reshuffling（RR）与 Shuffle-Once 的两种广泛使用的算法理论的上界与下界之间的差距，这两种算法在现代机器学习软件中被设为 SGD 的默认数据选择策略。我们的第三项贡献可视为将针对近端 RR 与 Local SGD 的新理论相结合，产生了一种新算法，我们称之为 FedRR。与 Local SGD 不同，FedRR 在异构数据情形下于通信复杂度上可证明优于梯度下降。第四项挑战与自适应方法类有关。具体而言，我们提出了首个无需参数的梯度下降步长规则，可证明适用于任何局部光滑凸目标。第五项挑战是开发一种带有量化更新的分布式优化算法，保持梯度下降的线性收敛性。最后，在第六与第七项挑战中，我们基于近端算子开发了适用于非光滑情形的新 VR 机制。