变分 Walkback：将转移算子学习为随机循环网络
机器学习
2017-11-08 v1 机器学习
神经与进化计算
摘要
我们提出一种新方法，直接学习一个随机转移算子，其重复作用可提供生成样本。传统无向图模型间接处理该问题：学习一个马尔可夫链模型，其平稳分布关于参数化能量函数满足细致平衡。随后修改能量函数使模型与数据分布匹配，但无法保证马尔可夫链收敛所需步数。此外，细致平衡条件极具限制性：对应于神经网络的能量基模型必须具有对称权重，这与生物神经回路不同。相反，我们开发了一种直接学习任意参数化转移算子的方法，能够表达违背细致平衡的非平衡平稳分布，从而使我们能学习更具生物合理性的非对称神经网络及更一般的非能量基动力系统。我们所提出的训练目标通过严谨的变分方法导出，鼓励转移算子在从数据点出发的多步轨迹中尽可能快地“walk back”回原始数据点。我们给出一系列实验结果，在 MNIST、CIFAR-10、SVHN 和 CelebA 数据集上说明了所提方法 Variational Walkback (VW) 的合理性，并展现出优于早期转移算子学习尝试的样本。我们还表明，尽管每条快速训练轨迹限于有限但可变步数，我们的转移算子仍能生成远长于这些轨迹长度的优质样本，从而证明其非平衡平稳分布与数据分布的匹配。源代码：http://github.com/anirudh9119/walkback_nips17
引用
@article{arxiv.1711.02282,
title = {Variational Walkback: Learning a Transition Operator as a Stochastic Recurrent Net},
author = {Anirudh Goyal and Nan Rosemary Ke and Surya Ganguli and Yoshua Bengio},
journal= {arXiv preprint arXiv:1711.02282},
year = {2017}
}
备注
To appear at NIPS 2017