连续样本空间上统计流形的最优传输自然梯度

我们研究具有连续样本空间的参数统计模型中的 Wasserstein 自然梯度。我们的方法是将概率密度空间中的 $L^2$-Wasserstein 度量张量拉回到参数空间，使后者配备正定度量张量，在此之下它成为黎曼流形，称为 Wasserstein 统计流形。一般而言，它不是密度空间的全测地子流形，因此其测地线将不同于 Wasserstein 测地线，除了著名的 Gaussian 分布情形，这一事实也可在我们的框架下验证。我们利用子流形几何推导参数空间中的梯度流与自然梯度下降方法。当参数化密度位于 $\bR$ 时，所诱导的度量张量给出显式公式。在优化问题中，我们观察到当目标函数为 Wasserstein 距离时，自然梯度下降优于标准梯度下降。在此情形下，我们证明所得算法在渐近 regime 下表现类似于 Newton 法。该证明计算了 Wasserstein 距离的精确 Hessian 公式，进一步启发了优化过程的另一种预条件子。最后，我们给出例子以说明自然梯度在若干参数统计模型中的有效性，包括 Gaussian 测度、Gaussian 混合、Gamma 分布与 Laplace 分布。