随机优化中噪声相关性的理论性质
最优化与控制
2022-09-20 v1 机器学习
摘要
研究随机噪声的性质以优化复杂非凸函数一直是机器学习领域的活跃研究方向。先前工作表明，随机梯度下降的噪声通过克服损失地形中的不良障碍来改善优化。此外，注入人工高斯噪声已成为快速逃离鞍点的流行思路。确实，在缺乏可靠梯度信息时，噪声被用于探索地形，但尚不清楚何种类型的噪声在探索能力上是最优的。为缩小这一知识鸿沟，我们研究了一类基于分数布朗运动的连续时间非马尔可夫过程的通用类型，其允许过程增量相关。这推广了基于布朗运动的过程，如 Ornstein-Uhlenbeck 过程。我们展示了如何离散化此类过程，从而引出新算法 fPGD。该方法已知算法 PGD 和 Anti-PGD 的推广。我们从理论和经验两方面研究 fPGD 的性质，证明其拥有的探索能力在某些情况下优于 PGD 和 Anti-PGD。这些结果为该领域利用噪声训练机器学习模型开辟了新途径。
引用
@article{arxiv.2209.09162,
title = {On the Theoretical Properties of Noise Correlation in Stochastic Optimization},
author = {Aurelien Lucchi and Frank Proske and Antonio Orvieto and Francis Bach and Hans Kersting},
journal= {arXiv preprint arXiv:2209.09162},
year = {2022}
}