延迟反馈下的学习：对梯度延迟的隐式适应
机器学习
2021-06-24 v1
摘要
我们考虑随机凸优化问题，其中多台机器异步并行行动并共享公共内存。我们针对约束设定提出一种鲁棒训练方法，并推导出不依赖于更新延迟、目标光滑度和梯度方差先验知识的非渐近收敛保证。相反，该设定下的现有方法关键依赖于这些先验知识，这使得它们本质上不适用于几乎所有共享资源的计算环境，如云和数据中心。具体地，现有方法无法适应由机器动态分配所导致的延迟变化，而我们的方法隐式地适应此类变化。
引用
@article{arxiv.2106.12261,
title = {Learning Under Delayed Feedback: Implicitly Adapting to Gradient Delays},
author = {Rotem Zamir Aviv and Ido Hakimi and Assaf Schuster and Kfir Y. Levy},
journal= {arXiv preprint arXiv:2106.12261},
year = {2021}
}
备注
to be published in ICML 2021