随机优化中梯度压缩的极限

Prathamesh Mayekar; Himanshu Tyagi

随机优化中梯度压缩的极限

信息论 2020-01-27 v1 math.IT

作者: Prathamesh Mayekar , Himanshu Tyagi

摘要

我们考虑在 $\ell_p$ 空间中使用一阶预言机访问的随机优化问题。我们提出：预言机输出所需的最小精度是多少才能保持无限制的收敛速率？我们通过推导信息论下界并为每个 $p\geq 1$ 提供（几乎）达到这些下界的量化器来刻画这一精度。我们的量化器是全新的且易于实现。特别地，我们的结果在 $p=2$ 和 $p=\infty$ 时是精确的，表明这些设置下所需的最小精度分别为 $\Theta(d)$ 和 $\Theta(\log d)$ 。后一结果是令人惊讶的，因为恢复梯度向量将需要 $\Omega(d)$ 比特。

关键词

随机优化梯度压缩一阶预言机量化器信息论下界 $\ell_p$ 空间收敛速率

引用

@article{arxiv.2001.09032,
  title  = {Limits on Gradient Compression for Stochastic Optimization},
  author = {Prathamesh Mayekar and Himanshu Tyagi},
  journal= {arXiv preprint arXiv:2001.09032},
  year   = {2020}
}

随机优化中梯度压缩的极限

摘要

关键词

引用

相关论文