基于 JKO 格式的归一化流神经网络
机器学习
2024-02-19 v4 机器学习
摘要
归一化流是一类用于高效采样与似然估计的深度生成模型，取得了引人注目的性能，尤其在高维情形。该流通常通过一串可逆残差块实现。现有工作采用特殊网络架构并对流轨迹进行正则化。本文中，受 Jordan-Kinderleherer-Otto (JKO) 格式启发，我们开发了称为 JKO-iFlow 的神经 ODE 流网络，其展开了 Wasserstein 梯度流的离散时间动态。所提方法将残差块依次堆叠，允许对残差块进行高效的逐块训练，避免采样 SDE 轨迹以及得分匹配或变分学习，从而降低端到端训练的内存负担与难度。我们还开发了流网络的自适应时间重参数化，通过对概率空间中诱导轨迹的逐步细化进一步提升模型精度。在合成与真实数据上的实验表明，所提 JKO-iFlow 网络以显著减少的计算与内存代价，取得了与现有流模型及扩散模型相竞争的性能。
引用
@article{arxiv.2212.14424,
title = {Normalizing flow neural networks by JKO scheme},
author = {Chen Xu and Xiuyuan Cheng and Yao Xie},
journal= {arXiv preprint arXiv:2212.14424},
year = {2024}
}
备注
NeurIPS 2023 spotlight