当特征稀疏时误差反馈大放异彩

我们首次证明，在求解分布式优化问题 $\min_{x\in \mathbb{R}^d} {f(x)=\frac{1}{n}\sum_{i=1}^n f_i(x)}$（其中 $n$ = 客户端数量，$d$ = 特征数量，且 $f_1,\dots,f_n$ 为光滑非凸函数）时，带有贪婪稀疏化 $\left({\color{green}\sf TopK}\right)$ 与误差反馈 $\left({\color{green}\sf EF}\right)$ 的梯度下降 $\left({\color{green}\sf GD}\right)$ 可以比原始 ${\color{green}\sf GD}$ 获得更好的通信复杂度。尽管自 2014 年 Seide 等人首次提出 ${\color{green}\sf EF}$ 以来研究密集，该问题至今悬而未决。我们表明，当特征稀疏时，即每个特征仅出现在少数客户端所拥有的数据中时，${\color{green}\sf EF}$ 表现出色。为说明我们的主要结果，我们证明：为找到一个随机向量 $\hat{x}$ 使得 $\lVert {\nabla f(\hat{x})} \rVert^2 \leq \varepsilon$ 的期望成立，带有 ${\color{green}\sf Top1}$ 稀疏化器与 ${\color{green}\sf EF}$ 的 ${\color{green}\sf GD}$ 仅需每个工作节点向服务器发送 ${\cal O} \left(\left( L+{\color{blue}r} \sqrt{ \frac{{\color{red}c}}{n} \min \left( \frac{{\color{red}c}}{n} \max_i L_i^2, \frac{1}{n}\sum_{i=1}^n L_i^2 \right) }\right) \frac{1}{\varepsilon} \right)$ 比特，其中 $L$ 为 $f$ 的光滑常数，$L_i$ 为 $f_i$ 的光滑常数，${\color{red}c}$ 为拥有任一特征的最大客户端数（$1\leq {\color{red}c} \leq n$），${\color{blue}r}$ 为任一客户端拥有的最大特征数（$1\leq {\color{blue}r} \leq d$）。显然，通信复杂度随 ${\color{red}c}$ 减小（即特征愈发稀疏）而改善，并可远优于同一情形下 ${\color{green}\sf GD}$ 的 ${\cal O}({\color{blue}r} L \frac{1}{\varepsilon})$ 通信复杂度。