双曲平面中加速方法的不可行定理
最优化与控制
2021-01-19 v2 数据结构与算法
机器学习
机器学习
摘要
近年来,人们付出了大量努力将凸优化中的关键工具与思想推广到黎曼流形设定中。一个关键挑战依然存在:对于黎曼流形上测地凸函数,是否存在类 Nesterov 的加速梯度方法?近期的研究给出了部分答案,且希望这是可能的。在此我们打破了这些希望。我们证明,在带噪声的设定下,对于双曲平面上的测地凸函数,不存在加速梯度下降的类似方法。即便噪声呈指数级小,我们的结果依然成立。我们证明背后的关键直觉简短而简单:在负曲率空间中,球的体积增长如此之快,以至于关于过去梯度的信息在未来并无用处。
引用
@article{arxiv.2101.05657,
title = {No-go Theorem for Acceleration in the Hyperbolic Plane},
author = {Linus Hamilton and Ankur Moitra},
journal= {arXiv preprint arXiv:2101.05657},
year = {2021}
}
备注
12 pages