直接非线性加速
最优化与控制
2019-05-29 v1 机器学习
数值分析
数值分析
摘要
动量等优化加速技术在最先进的机器学习算法中起着关键作用。近来，诸如Scieur等人的正则化非线性加速（RNA）等通用向量序列外推技术被提出，并显示出能加速不动点迭代。与RNA通过（近似）将外推点处目标函数的梯度设为零来计算外推系数不同，我们提出了一种更直接的方法，称之为直接非线性加速（DNA）。在DNA中，我们旨在最小化外推点处的（近似）函数值。我们采用正则化方法，所设计的正则化项用于防止模型进入函数近似精度较低的区域。尽管DNA的计算成本与RNA相当，但我们的直接方法在合成和真实世界数据集上均显著优于RNA。虽然本文聚焦于凸问题，但我们在加速神经网络训练方面获得了非常令人鼓舞的结果。
引用
@article{arxiv.1905.11692,
title = {Direct Nonlinear Acceleration},
author = {Aritra Dutta and El Houcine Bergou and Yunming Xiao and Marco Canini and Peter Richtárik},
journal= {arXiv preprint arXiv:1905.11692},
year = {2019}
}