黎曼自适应优化方法
机器学习
2019-02-19 v2 机器学习
摘要
欧氏域中常用的若干一阶随机优化方法，如随机梯度下降(SGD)、加速梯度下降或方差缩减方法，已被适配到某些黎曼设定中。然而，这些优化工具中最流行的部分——即 Adam、Adagrad 与较新的 Amsgrad——仍有待推广到黎曼流形。我们讨论了将此类自适应方案推广到最不可知黎曼设定时的困难，随后针对黎曼流形之乘积这一特例，给出了测地凸目标下的算法与收敛证明，其中自适应在笛卡尔积中的各流形之间实现。我们的推广是紧的，意指选取欧氏空间作为黎曼流形时，所得算法与遗憾界同标准算法已有的结果一致。在实验上，我们展示了在将 WordNet 分类法嵌入 Poincare 球这一现实任务中，黎曼自适应方法相较其对应基线收敛更快且训练损失值更低。
引用
@article{arxiv.1810.00760,
title = {Riemannian Adaptive Optimization Methods},
author = {Gary Bécigneul and Octavian-Eugen Ganea},
journal= {arXiv preprint arXiv:1810.00760},
year = {2019}
}
备注
Accepted at International Conference on Learning Representations (ICLR), 2019