黎曼自适应优化算法及其在自然语言处理中的应用
最优化与控制
2020-12-09 v4
摘要
本文提出一种黎曼自适应优化算法以优化深度神经网络的参数。该算法是欧氏空间中的AMSGrad与黎曼流形上的RAMSGrad的扩展。该算法有助于解决影响RAMSGrad的两个问题。其一是它可直接求解黎曼随机优化问题，而RAMSGrad仅能达到低遗憾值。其二是它可使用恒定学习率，使其在实践中可实现。此外，我们将所提算法应用于庞加莱嵌入（Poincaré embeddings），该嵌入将WordNet名词的传递闭包嵌入到双曲空间的庞加莱球模型中。数值实验表明，无论学习率的初值如何，我们的算法都能稳定收敛到最优解，且比最基本的黎曼随机优化算法RSGD收敛更快。
引用
@article{arxiv.2004.00897,
title = {Riemannian Adaptive Optimization Algorithm and Its Application to Natural Language Processing},
author = {Hiroyuki Sakai and Hideaki Iiduka},
journal= {arXiv preprint arXiv:2004.00897},
year = {2020}
}
备注
22 pages, 8 figures