嵌入空间中度量流形学习的离散化梯度流
微分几何
2024-07-01 v5 机器学习
摘要
梯度下降，或负梯度流，是优化中寻找函数极小值的常用技术。许多梯度下降的实现依赖于离散化版本，即沿梯度方向以固定步长移动，重新计算梯度，并继续。在本文中，我们提出一种流形学习方法，其中梯度下降发生在光滑嵌入 φ 的流形 M 到 ℝ^N 的无限维空间 ℰ = Emb(M,ℝ^N) 中。对 P:ℰ→ℝ（一个对嵌入 φ∈ℰ 打分的惩罚函数）实现离散化梯度下降，需要估计在离开光滑嵌入空间之前，我们能在固定方向——一步梯度的方向——上移动多远。我们的主要结果是根据 φ(M) 的黎曼几何给出该步长的显式下界。特别地，我们考虑 P 的梯度逐点垂直于嵌入流形 φ(M) 的情形。我们证明当 P 在 M 的微分同胚下不变时（流形学习中的自然条件）会出现此情形。
引用
@article{arxiv.1901.09057,
title = {Discretized Gradient Flow for Manifold Learning in the Space of Embeddings},
author = {Dara Gold and Steven Rosenberg},
journal= {arXiv preprint arXiv:1901.09057},
year = {2024}
}