带动量更新的符号方法：改进分析

本文对带动量更新的符号方法进行改进分析。传统符号方法在可分离光滑性假设下保证收敛率为 $\mathcal{O}(T^{-1/4})$，但要求大批量大小或假设单峰对称随机噪声。为此，我们证明 signSGD 带动量可在常数批量大小下无需额外假设即可达到相同收敛率。我们的分析在标准 $l_2$-光滑性条件下，提高了先前基于动量的 signSGD 方法的 $\mathcal{O}(d^{1/2})$ 因子，其中 $d$ 为问题维数。此外，我们探讨分布式设置下的带多数投票的符号方法，证明所提方法的收敛率为 $\mathcal{O}\left( d^{1/2}T^{-1/2} + dn^{-1/2} \right)$ 和 $\mathcal{O}\left( \max \{ d^{1/4}T^{-1/4}, d^{1/10}T^{-1/5} \} \right)$，分别优于先前结果 $\mathcal{O}\left( dT^{-1/4} + dn^{-1/2} \right)$ 和 $\mathcal{O}\left( d^{3/8}T^{-1/8} \right)$。数值实验进一步验证了所提方法的有效性。