理解模型不相干性对带随机重排增量 SGD 收敛的影响
最优化与控制
2020-07-08 v1 机器学习
摘要
尽管带随机重排的 SGD 已被广泛应用于机器学习中，但对于模型特征如何影响该算法收敛的理解仍然有限。本文中，我们引入模型不相干性来刻画模型特征的多样性，并研究其在弱强凸性下对带随机重排的 SGD 收敛的影响。具体地，极小化子不相干性度量单个样本损失的全局极小子与总损失的全局极小子之间的差异，并影响带随机重排的 SGD 的收敛误差。特别地，我们证明在完全极小化子相干性下，由带随机重排的 SGD 生成的变量序列收敛到总损失的某个全局极小子。另一种曲率不相干性度量样本损失条件数的质量，并决定 SGD 的收敛速率。在模型不相干性下，我们的结果表明，带随机重排的 SGD 比带随机采样的 SGD 具有更快的收敛速率和更小的收敛误差，从而为带随机重排的 SGD 优越的实际表现提供了依据。
引用
@article{arxiv.2007.03509,
title = {Understanding the Impact of Model Incoherence on Convergence of Incremental SGD with Random Reshuffle},
author = {Shaocong Ma and Yi Zhou},
journal= {arXiv preprint arXiv:2007.03509},
year = {2020}
}