无镜像的镜像下降：镜像下降的一种自然推导
机器学习
2021-07-05 v3 最优化与控制
机器学习
摘要
我们给出了镜像下降（Mirror Descent）的一种仅原始变量的推导，将其视为黎曼流形上梯度流的“部分”离散化，其中度量张量为镜像下降势函数的 Hessian。我们将此离散化与自然梯度下降（Natural Gradient Descent）进行对比，后者由“完全”前向欧拉离散化获得。这一视角有助于阐明这些方法之间的关系，并允许将镜像下降推广到一般黎曼几何，即使度量张量{\em 不是} Hessian，从而不存在“对偶”。
引用
@article{arxiv.2004.01025,
title = {Mirrorless Mirror Descent: A Natural Derivation of Mirror Descent},
author = {Suriya Gunasekar and Blake Woodworth and Nathan Srebro},
journal= {arXiv preprint arXiv:2004.01025},
year = {2021}
}
备注
11 pages