边缘化生成模型

我们提出边缘化模型（MAMs），一类面向高维离散数据的新型生成模型族。它们通过显式建模所有诱导边缘分布，提供可扩展且灵活的生成建模。边缘化模型能以神经网络单次前向传播快速近似任意边缘概率，克服了任意顺序自回归模型等任意边缘推断模型的主要局限。MAMs 还解决了在基于能量的训练背景下，为高维问题训练任意顺序生成模型所遇到的可扩展性瓶颈，其目标是将所学分布匹配到给定的期望概率（由未归一化对数概率函数如能量或奖励函数指定）。我们提出基于“边缘化自一致性”概念的可扩展边缘学习方法。我们在包括图像、文本、物理系统与分子在内的多种离散数据分布上，针对最大似然与基于能量的训练设定展示了所提模型的有效性。MAMs 在两种设定下评估边缘概率均实现数量级加速。对于基于能量的训练任务，MAMs 实现了超越以往方法规模的高维问题任意顺序生成建模。代码见 https://github.com/PrincetonLIPS/MaM。