高效基于符号的优化：通过方差缩减加速收敛

符号随机梯度下降(signSGD)是一种通信高效的方法，它仅传输随机梯度的符号用于参数更新。现有文献表明，signSGD可以达到$\mathcal{O}(d^{1/2}T^{-1/4})$的收敛速率，其中$d$表示维度，$T$是迭代次数。在本文中，我们通过引入基于符号的随机方差缩减(SSVR)方法，将该收敛速率提升至$\mathcal{O}(d^{1/2}T^{-1/3})$。该方法使用方差缩减估计器来追踪梯度，并利用其符号进行更新。对于有限和问题，我们的方法可以进一步增强，达到$\mathcal{O}(m^{1/4}d^{1/2}T^{-1/2})$的收敛速率，其中$m$表示分量函数的数量。此外，我们研究了分布式环境下的异构多数投票，并引入了两种新算法，分别实现了$\mathcal{O}(d^{1/2}T^{-1/2} + dn^{-1/2})$和$\mathcal{O}(d^{1/4}T^{-1/4})$的改进收敛速率，优于之前$\mathcal{O}(dT^{-1/4} + dn^{-1/2})$和$\mathcal{O}(d^{3/8}T^{-1/8})$的结果，其中$n$代表节点数量。跨不同任务的数值实验验证了我们提出方法的有效性。