基于 Riesz 核的生成式切片 MMD 流
机器学习
2024-02-21 v4 概率论
机器学习
摘要
最大均值差异(MMD)流在大规模计算中计算成本较高。本文表明,具有 Riesz 核 , 的 MMD 流具备特殊性质,可使其高效计算。我们证明 Riesz 核的 MMD(亦称能量距离)与其切片版本的 MMD 一致。由此,MMD 梯度的计算可在一维设定下进行。此处,对于 ,可应用简单排序算法将复杂度从 降至 (针对具有 和 个支撑点的两个测度)。另一有趣推论是,紧支撑测度的 MMD 可由 Wasserstein-1 距离从上方和下方估计。在实现中,我们仅用有限数量 个切片来近似切片 MMD 的梯度。我们表明由此产生的误差复杂度为 ,其中 为数据维度。这些结果使我们能够通过神经网络近似 MMD 梯度流来训练生成模型,即便用于图像应用亦可。我们在 MNIST、FashionMNIST 与 CIFAR10 上通过图像生成展示了我们模型的效率。
引用
@article{arxiv.2305.11463,
title = {Generative Sliced MMD Flows with Riesz Kernels},
author = {Johannes Hertrich and Christian Wald and Fabian Altekrüger and Paul Hagemann},
journal= {arXiv preprint arXiv:2305.11463},
year = {2024}
}
备注
Published as a conference paper at ICLR 2024