带坐标采样的随机梯度下降：理论与实践

Rémi Leluc; François Portier

带坐标采样的随机梯度下降：理论与实践

机器学习 2022-10-18 v2 机器学习

作者: Rémi Leluc , François Portier

摘要

虽然经典形式的随机梯度下降算法对各个坐标同等对待，但本文发展了一个允许自适应（非均匀）坐标采样的框架，以利用数据结构。在非凸设定下并包含零阶梯度估计时，我们建立了几乎必然收敛以及非渐近界。在所提框架内，我们基于强化策略开发了一种算法 MUSKETEER：在收集噪声梯度信息后，它采样最有希望的坐标（all for one）；然后沿能显著减小目标函数的单一方向移动（one for all）。在合成与真实数据上的数值实验证实了 MUSKETEER 在大规模问题中的有效性。

关键词

随机梯度下降坐标采样非凸优化零阶梯度强化策略 MUSKETEER 大规模问题

引用

@article{arxiv.2105.11818,
  title  = {SGD with Coordinate Sampling: Theory and Practice},
  author = {Rémi Leluc and François Portier},
  journal= {arXiv preprint arXiv:2105.11818},
  year   = {2022}
}

备注

Journal of Machine Learning Research 2022

带坐标采样的随机梯度下降：理论与实践

摘要

关键词

引用

备注

相关论文