基至关重要：面向联邦学习的更优通信高效二阶方法
机器学习
2021-11-04 v1 最优化与控制
摘要
分布式优化的最新进展表明，与一阶方法相比，具有适当通信压缩机制的牛顿型方法可以保证快速的局部收敛速率和较低的通信成本。我们发现，通过一个出人意料的简单技巧：{\em 基学习 (Basis Learn, BL)}，这些方法的通信成本可以进一步降低，有时甚至大幅降低。其思想是通过矩阵空间中的基变换来改变局部海森矩阵的通常表示，并对新表示应用压缩工具。为了展示使用自定义基的潜力，我们设计了一种新的牛顿型方法 (BL1)，该方法通过 {\em BL} 技术和双向压缩机制来降低通信成本。此外，我们提出了两种替代扩展 (BL2 和 BL3)，以支持部分参与，从而适应联邦学习应用。我们证明了独立于条件数的局部线性和超线性收敛速率。最后，我们通过数值实验比较了几种一阶和二阶方法，以支持我们的主张。
引用
@article{arxiv.2111.01847,
title = {Basis Matters: Better Communication-Efficient Second Order Methods for Federated Learning},
author = {Xun Qian and Rustem Islamov and Mher Safaryan and Peter Richtárik},
journal= {arXiv preprint arXiv:2111.01847},
year = {2021}
}
备注
52 pages