具有自适应采样的L-SVRG与L-Katyusha

Boxin Zhao; Boxiang Lyu; Mladen Kolar

具有自适应采样的L-SVRG与L-Katyusha

机器学习 2023-06-07 v3 最优化与控制

作者: Boxin Zhao , Boxiang Lyu , Mladen Kolar

摘要

基于随机梯度的优化方法，如L-SVRG及其加速变体L-Katyusha（Kovalev等，2020），被广泛用于训练机器学习模型。通过从非均匀分布中采样观测值，可以改善L-SVRG和L-Katyusha的理论与经验性能（Qian等，2021）。然而，设计理想的采样分布需要平滑常数的先验知识，而在模型参数维度较高时，这在计算实践中可能是难以处理的。为解决此问题，我们为L-SVRG和L-Katyusha提出了一种自适应采样策略，该策略能以极小的计算开销学习采样分布，允许其随迭代而变化，同时不需要任何关于问题参数的先验知识。我们证明了当采样分布随迭代变化时，凸目标函数下L-SVRG和L-Katyusha的收敛保证。我们的结果表明，即使没有任何先验信息，所提出的自适应采样策略也能匹配，在某些情况下甚至超越Qian等（2021）中采样方案的性能。大量仿真支持了我们的理论及所提出采样方案在真实数据上的实用价值。

关键词

随机梯度优化 L-SVRG L-Katyusha 自适应采样收敛保证凸优化

引用

@article{arxiv.2201.13387,
  title  = {L-SVRG and L-Katyusha with Adaptive Sampling},
  author = {Boxin Zhao and Boxiang Lyu and Mladen Kolar},
  journal= {arXiv preprint arXiv:2201.13387},
  year   = {2023}
}

备注

Published in Transactions on Machine Learning Research (03/2023)

具有自适应采样的L-SVRG与L-Katyusha

摘要

关键词

引用

备注

相关论文