利用占据时间自适应扰动高效逃离鞍点
最优化与控制
2022-03-29 v3 机器学习
摘要
受源于统计物理的自排斥随机游走的超扩散性启发，本文提出了一种用于优化算法的新型扰动机制。在该机制中，扰动通过占据时间的概念自适应于状态的历史。将此机制融入扰动梯度下降（PGD）与扰动加速梯度下降（PAGD）框架后，提出了两种新算法：占据时间自适应的扰动梯度下降（PGDOT）及其加速版本（PAGDOT）。研究表明，PGDOT 与 PAGDOT 分别至少与 PGD 和 PAGD 一样快地收敛到二阶平稳点，因此可保证避免陷入非退化鞍点。理论分析得到实证研究的支持：新算法持续逃离鞍点，且优于其对应算法 PGD 和 PAGD，也优于其他流行替代方法，包括随机梯度下降、Adam、AMSGrad 和 RMSProp。
引用
@article{arxiv.2005.04507,
title = {Escaping Saddle Points Efficiently with Occupation-Time-Adapted Perturbations},
author = {Xin Guo and Jiequn Han and Mahan Tajrobehkar and Wenpin Tang},
journal= {arXiv preprint arXiv:2005.04507},
year = {2022}
}
备注
17 pages, 6 figures