Fisher-Rao 梯度流的核近似
机器学习
2024-10-29 v1 机器学习
偏微分方程分析
摘要
本文旨在回答核方法与偏微分方程(PDE)梯度流交叉领域中的几个开放问题。受机器学习近期进展(特别是在生成式建模与采样方面)的启发,我们对 Fisher-Rao 和 Wasserstein 型梯度流的梯度结构、流方程及其核近似进行了严格的研究。具体而言,我们聚焦于 Fisher-Rao(亦称 Hellinger)几何及其各种基于核的近似,利用 PDE 梯度流和最优传输理论的工具发展了一个原则性的理论框架。我们还提供了最大均值差异(MMD)空间中梯度流的完整刻画,并建立了与现有学习和推断算法的联系。我们的分析揭示了将 Fisher-Rao 流、Stein 流、核差异和非参数回归联系起来的精确理论见解。随后,我们严格证明了核近似 Fisher-Rao 流的演化 -收敛性,提供了超越逐点收敛的理论保证。最后,我们利用 Helmholtz-Rayleigh 原理分析了能量耗散,建立了力学经典理论与现代机器学习实践之间的重要联系。我们的结果通过严格的梯度流和变分方法视角,为理解和分析机器学习应用中梯度流的近似提供了统一的理论基础。
引用
@article{arxiv.2410.20622,
title = {Kernel Approximation of Fisher-Rao Gradient Flows},
author = {Jia-Jie Zhu and Alexander Mielke},
journal= {arXiv preprint arXiv:2410.20622},
year = {2024}
}