Clip21：面向梯度裁剪的误差反馈机制

受差分隐私（DP）约束下大规模训练日益普及与重要性的推动，我们研究了带有梯度裁剪的分布式梯度方法，即对各节点基于局部信息计算出的梯度施加裁剪。虽然梯度裁剪是为基于梯度的方法注入形式化 DP 保证的重要工具[1]，但它也会引入偏置，从而在分布式设定下引发特定的严重收敛问题。受近期误差反馈文献进展的启发——这些进展致力于驯服由 Top-$k$ 等通信压缩算子引入的偏置/误差[2]，且裁剪算子与压缩型压缩算子在数学上相似——我们设计了 Clip21，这是首个可证明有效且实用的、面向带梯度裁剪分布式方法的误差反馈机制。我们证明，在光滑非凸情形下，我们的方法以与分布式梯度下降相同的 $\mathcal{O}\left(\frac{1}{K}\right)$ 速率收敛，这改进了此前在显著更强假设下获得的 $\mathcal{O}\left(\frac{1}{\sqrt{K}}\right)$ 最优速率。我们的方法在实践中比竞争方法收敛显著更快。