中文

基于 Riesz 核的生成式切片 MMD 流

机器学习 2024-02-21 v4 概率论 机器学习

摘要

最大均值差异(MMD)流在大规模计算中计算成本较高。本文表明,具有 Riesz 核 K(x,y)=xyrK(x,y) = - \|x-y\|^rr(0,2)r \in (0,2) 的 MMD 流具备特殊性质,可使其高效计算。我们证明 Riesz 核的 MMD(亦称能量距离)与其切片版本的 MMD 一致。由此,MMD 梯度的计算可在一维设定下进行。此处,对于 r=1r=1,可应用简单排序算法将复杂度从 O(MN+N2)O(MN+N^2) 降至 O((M+N)log(M+N))O((M+N)\log(M+N))(针对具有 MMNN 个支撑点的两个测度)。另一有趣推论是,紧支撑测度的 MMD 可由 Wasserstein-1 距离从上方和下方估计。在实现中,我们仅用有限数量 PP 个切片来近似切片 MMD 的梯度。我们表明由此产生的误差复杂度为 O(d/P)O(\sqrt{d/P}),其中 dd 为数据维度。这些结果使我们能够通过神经网络近似 MMD 梯度流来训练生成模型,即便用于图像应用亦可。我们在 MNIST、FashionMNIST 与 CIFAR10 上通过图像生成展示了我们模型的效率。

关键词

引用

@article{arxiv.2305.11463,
  title  = {Generative Sliced MMD Flows with Riesz Kernels},
  author = {Johannes Hertrich and Christian Wald and Fabian Altekrüger and Paul Hagemann},
  journal= {arXiv preprint arXiv:2305.11463},
  year   = {2024}
}

备注

Published as a conference paper at ICLR 2024