在生成对抗网络中为插值与外推施加约束
机器学习
2019-09-04 v2 机器学习
摘要
我们提出了在生成对抗网络(GAN)生成器的输出中施加给定约束的方法,适用于插值和外推(预测)两种情形。对于动力系统的情形,给定时间序列,我们希望训练 GAN 生成器,使其能够用于预测从给定初始条件出发的轨迹。在此设定下,约束可以是代数形式和/或微分形式。尽管我们主要关注外推情形,但我们将看到插值和外推的任务是相关的。然而,它们需要区别对待。对于插值的情形,约束的融入内置于 GAN 的训练中。约束的融入尊重 GAN 的基本博弈论设定,因此可以与现有算法结合。然而,它可能会加剧 GAN 中众所周知的训练不稳定性问题。我们建议在约束中添加小噪声作为一种简单的补救措施,这在我们的数值实验中表现良好。外推(预测)的情形更为复杂。在训练期间,GAN 生成器学习对数据的含噪版本进行插值,并且我们施加约束。这种方法与模型降阶有关,我们可以利用这一点来提高训练的效率和准确性。根据约束的形式,我们也可以在预测期间通过投影步骤来施加它们。我们提供了线性和非线性微分方程组的例子来说明各种构造。
引用
@article{arxiv.1803.08182,
title = {Enforcing constraints for interpolation and extrapolation in Generative Adversarial Networks},
author = {Panos Stinis and Tobias Hagge and Alexandre M. Tartakovsky and Enoch Yeung},
journal= {arXiv preprint arXiv:1803.08182},
year = {2019}
}
备注
29 pages; v2 has major text revision/restructuring, includes results for the Lorenz system and has several more references