一阶方法的草图技术：低带宽信道与脆弱性高效算法

草图（Sketching）是大规模机器学习中最基础的工具之一。它通过随机将原始大规模问题压缩到较低维度，从而节省运行时间与内存。本文针对大规模分布式学习场景下的一阶方法提出了一种新颖的草图方案，可在保证算法收敛性的同时节省分布式智能体之间的通信开销。给定高维 $d$ 的梯度信息，智能体传递由草图矩阵 $R\in \mathbb{R}^{s\times d}$（其中 $s\ll d$）处理后的压缩信息，接收方通过去草图矩阵 $R^\top$ 解压以在原维度“恢复”信息。利用该框架，我们开发了具有更低通信开销的联邦学习算法。然而，这种随机草图并不能直接保护本地数据的隐私。我们通过对一种特定梯度攻击方法的展示，说明在应用草图技术后梯度泄露问题依然存在。作为补救，我们严格证明：通过在梯度信息中加入额外随机噪声，算法将满足差分隐私，从而得到一种兼具通信高效与差分隐私的一阶联邦学习方法。我们的草图方案可进一步推广到其他学习场景，其本身可能具有独立意义。