面向一般相似性度量的自然梯度方法的形式化
机器学习
2019-02-26 v1 机器学习
摘要
在优化中,自然梯度方法因极大似然而广为人知。该方法使用 Kullback-Leibler 散度,其在无穷小下对应于 Fisher-Rao 度量,并被拉回至概率分布族的参空间中。如此,关于参数的梯度尊重分布空间的 Fisher-Rao 几何,其可能与参空间的标准欧氏几何大相径庭,常带来更快的收敛。然而,当最小化分布间的任意相似性度量时,通常使用何种度量一般并不明确。我们提供一个通用框架,给定相似性度量即可导出自然梯度所用的度量。随后我们讨论自然梯度方法与文献中多种其他优化技术之间的联系。最后,我们给出形式化自然梯度的计算,以展示与已知情形的重叠,并在新框架中计算自然梯度。
引用
@article{arxiv.1902.08959,
title = {A Formalization of The Natural Gradient Method for General Similarity Measures},
author = {Anton Mallasto and Tom Dela Haije and Aasa Feragen},
journal= {arXiv preprint arXiv:1902.08959},
year = {2019}
}