Moser Flow：基于散度的流形上生成建模
机器学习
2021-11-04 v2 人工智能
机器学习
摘要
我们关注于学习由流形（如球面、环面及其他隐式曲面）描述的复杂几何上的生成模型。现有（欧氏）生成模型的当前扩展仅限于特定几何，且通常计算成本高昂。我们提出 Moser Flow (MF)，一类属于连续归一化流（CNF）家族的新生成模型。MF 也通过变量替换公式的解产生一个 CNF，但不同于其他 CNF 方法，其模型（学习到的）密度被参数化为源（先验）密度减去一个神经网络（NN）的散度。散度是一个局部的线性微分算子，易于在流形上近似和计算。因此，不同于其他 CNF，MF 在训练期间不需要调用或通过 ODE 求解器反向传播。此外，将模型密度显式表示为 NN 的散度而非 ODE 的解，有助于学习高保真密度。理论上，我们证明在适当假设下 MF 构成通用密度逼近器。在实验上，我们首次展示了使用流模型从一般弯曲曲面采样，并在具有挑战性的合成几何以及来自地球与气候科学的真实基准上，相对于现有 CNF 在密度估计、样本质量和训练复杂度方面取得显著改进。
引用
@article{arxiv.2108.08052,
title = {Moser Flow: Divergence-based Generative Modeling on Manifolds},
author = {Noam Rozen and Aditya Grover and Maximilian Nickel and Yaron Lipman},
journal= {arXiv preprint arXiv:2108.08052},
year = {2021}
}