包容性KL最小化：基于Wasserstein-Fisher-Rao梯度流视角

Otto (2001) 的 Wasserstein 距离梯度流提供了一种强大且在数学上具有原则性的视角，用于分析学习和推断算法。相比之下，针对包容性KL推断（即最小化 $\mathrm{KL}(\pi \| \mu)$ 相对于 $\mu$，其中 $\pi$ 为目标分布）的算法很少使用数学分析工具进行分析。本文展示，可以使用从偏微分方程分析中推导的梯度流理论构建一个通用的近似包容性KL推断范式。我们发现，Several existing learning algorithms can be viewed as particular realizations of the inclusive KL inference paradigm. 例如，现有的采样算法如 Arbel et al. (2019) 和 Korba et al. (2021) 可以统一地视为使用近似梯度估计器的包容性-KL 推断。最后，我们为 Wasserstein-Fisher-Rao 梯度流提供了最小化包容性KL 发散的理论基础。