利用轨迹多项式正则化加速连续正则化流
机器学习
2021-01-28 v2 机器学习
摘要
在本文中，我们提出了一种有效加速连续正则化流（CNF）计算的方法，该方法已被证明是变分推断和密度估计等任务的强大工具。由于求解相应常微分方程（ODE）所需的函数求值次数（NFE）非常大，CNF 的训练时间成本可能极高。我们认为高 NFE 源于求解 ODE 时较大的截断误差。为了解决这个问题，我们提出添加一种正则化。该正则化对 ODE 轨迹与其拟合的多项式回归之间的差异进行惩罚。ODE 的轨迹将逼近多项式函数，从而减小截断误差。此外，我们提供了两个证明，并声明这种额外的正则化不会损害训练质量。实验结果表明，我们提出的方法可以在密度估计任务中使 NFE 减少 42.3% 至 71.3%，在变分自编码器中使 NFE 减少 19.3% 至 32.1%，同时测试损失不受影响。
引用
@article{arxiv.2012.04228,
title = {Accelerating Continuous Normalizing Flow with Trajectory Polynomial Regularization},
author = {Han-Hsien Huang and Mi-Yen Yeh},
journal= {arXiv preprint arXiv:2012.04228},
year = {2021}
}