中文

GibbsNet:面向深度图模型的迭代对抗式推断

机器学习 2017-12-13 v1 机器学习

摘要

将联合分布表述为 p(x,z)=p(z)p(xz)p(x,z) = p(z) p(x \mid z) 的有向隐变量模型具有快速且精确采样的优势。然而,这些模型的弱点在于需要指定 p(z)p(z),通常用一个简单的固定先验,限制了模型的表达能力。无向隐变量模型摒弃了用先验指定 p(z)p(z) 的要求,但从中采样一般需要如块吉布斯采样这样的迭代过程,可能需要许多步才能从联合分布 p(x,z)p(x, z) 抽取样本。我们提出一种学习数据与隐编码之间联合分布的新方法,其使用对抗式学习的迭代过程逐步精炼联合分布 p(x,z)p(x, z),使每一步更匹配数据分布。GibbsNet在理论与实践中均为两全其美之法。它实现了有向隐变量模型的速度与简洁性,并保证(假设对抗博弈达到虚拟训练准则全局最小)仅用少量采样迭代即可从 p(x,z)p(x, z) 产生样本。它实现了无向隐变量模型的表达力与灵活性,GibbsNet免除了对显式 p(z)p(z) 的需要,并能在单一模型中完成属性预测、类条件生成和联合图像-属性建模,而该模型并非为这些特定任务中的任何一个训练。我们从经验上表明GibbsNet能够学习更复杂的 p(z)p(z),并展示这带来了改进的修复以及对 p(x,z)p(x, z) 数十步的迭代精炼和数千步无崩溃的稳定生成,尽管仅在少量步上训练。

关键词

引用

@article{arxiv.1712.04120,
  title  = {GibbsNet: Iterative Adversarial Inference for Deep Graphical Models},
  author = {Alex Lamb and Devon Hjelm and Yaroslav Ganin and Joseph Paul Cohen and Aaron Courville and Yoshua Bengio},
  journal= {arXiv preprint arXiv:1712.04120},
  year   = {2017}
}

备注

NIPS 2017