通过增强架构改进神经ODE流的分布式建模
机器学习
2023-06-06 v1
摘要
尽管如FFJORD中归一化流的神神经ODE公式使我们能够在O(D)时间内计算自由形式雅可比行列式，但底层神经ODE变换的灵活性已被证明是次优的。在本文中，我们提出AFFJORD，一种基于神经ODE的归一化流，它通过定义具有保持空间拓扑的特殊增强变换动力学的神经ODE，增强了FFJORD的表示能力。此外，我们通过将连续意义下的链式法则推广为缆绳规则（Cable Rule），推导了一般增强形式的雅可比行列式，该规则表达了ODE相对于其初始条件的前向灵敏度。缆绳规则给出了神经ODE变换雅可比的显式表达式，并提供了瞬时变量变化的优雅证明。我们在合成和高维数据（如MNIST、CIFAR-10和CelebA 32x32）上的密度估计实验结果表明，AFFJORD通过改进底层向量场的灵活性，优于基线FFJORD。
引用
@article{arxiv.2306.02731,
title = {Enhanced Distribution Modelling via Augmented Architectures For Neural ODE Flows},
author = {Etrit Haxholli and Marco Lorenzi},
journal= {arXiv preprint arXiv:2306.02731},
year = {2023}
}