幂梯度下降

机器学习的发展推动了对快速且稳定的最小化算法的探索。为此，我们建议对当前的梯度下降方法做出一种改变，以加速在平坦区域中的运动，并在待最小化函数的陡峭方向上减慢运动。它基于“幂梯度”，其中梯度的每个分量被替换为保持其符号的$H$次幂，其中$0<H<1$。我们测试了三种由该变体及标准梯度驱动的现代梯度下降方法，发现新版本在Nesterov加速梯度和AMSGrad上取得了显著更好的性能。我们还提出了一种对ADAM算法的有效新改进，其包含了具有变化$H$的幂梯度。