离线（多遍）随机梯度下降中的近似重尾现象
机器学习
2023-10-31 v1 机器学习
摘要
近期一系列实证研究已表明，SGD 在实际设置中可能表现出重尾行为，且尾部的重程度可能与整体性能相关。在本文中，我们研究此类重尾现象的出现。据我们所知，此前关于该问题的研究仅考虑了在线（亦称单遍）SGD，其中理论发现中重尾的出现依赖于可获取无限量的数据。因此，在训练数据量有限的实际情况中，产生所报道的重尾行为的潜在机制仍未被很好理解。我们的贡献旨在填补这一空白。具体而言，我们证明离线（亦称多遍）SGD 的平稳分布表现出“近似”幂律尾部，且近似误差由训练数据的经验分布在 Wasserstein 度量下收敛到真实底层数据分布的速度所控制。我们的主要结论是，随着数据点数量的增加，离线 SGD 将表现得越来越“幂律化”。为得到该结果，我们首先证明了随着数据点数量增加，离线 SGD 到在线 SGD 的非渐近 Wasserstein 收敛界，这本身也具独立意义。最后，我们在合成数据与神经网络上进行的各类实验中说明了我们的理论。
引用
@article{arxiv.2310.18455,
title = {Approximate Heavy Tails in Offline (Multi-Pass) Stochastic Gradient Descent},
author = {Krunoslav Lehman Pavasovic and Alain Durmus and Umut Simsekli},
journal= {arXiv preprint arXiv:2310.18455},
year = {2023}
}
备注
In Neural Information Processing Systems (NeurIPS), Spotlight Presentation, 2023