聚合动量：通过被动阻尼实现稳定性
机器学习
2019-05-02 v3 人工智能
最优化与控制
机器学习
摘要
动量是简单且广泛使用的技巧，使基于梯度的优化器能沿低曲率方向加速。其性能关键取决于阻尼系数 。较大的 值可能带来大得多的加速，但易于振荡和不稳定；因此通常采用如 0.5 或 0.9 的小值。我们提出聚合动量 (AggMo)，一种结合多个具有不同 参数的速度向量的动量变体。AggMo 实现简单，但显著阻尼振荡，使其即使在如 0.999 的激进 值下仍保持稳定。我们将 Nesterov 加速梯度下降重新诠释为 AggMo 的特例，并分析了二次目标的收敛速率。经验上，我们发现 AggMo 是其他动量方法的合适直接替代，且常带来更快收敛。
引用
@article{arxiv.1804.00325,
title = {Aggregated Momentum: Stability Through Passive Damping},
author = {James Lucas and Shengyang Sun and Richard Zemel and Roger Grosse},
journal= {arXiv preprint arXiv:1804.00325},
year = {2019}
}
备注
11 primary pages, 11 supplementary pages, 12 figures total