通过神经 Stein 估计器桥接显式与隐式深度生成模型
机器学习
2021-10-27 v3 机器学习
摘要
深度生成模型有两类：显式与隐式。前者定义显式密度形式以允许似然推断；而后者旨在实现从随机噪声到生成样本的灵活变换。尽管这两类生成模型在许多应用中已展现出强大能力，但单独使用时均存在各自的局限与缺陷。为充分利用两类模型并实现互补，我们提出一种新颖的联合训练框架，通过 Stein 差异将显式（未归一化）密度估计器与隐式样本生成器相桥接。我们表明，我们的方法 1) 通过核 Sobolev 范数惩罚与 Moreau-Yosida 正则化诱导出新颖的互正则化，且 2) 稳定了训练动态。在经验上，我们证明所提方法相较于训练单一对应模型，可促使密度估计器更准确地识别数据模态并引导生成器输出更高质量的样本。当训练样本受污染或有限时，该新方法也展现出有前景的结果。
引用
@article{arxiv.1909.13035,
title = {Bridging Explicit and Implicit Deep Generative Models via Neural Stein Estimators},
author = {Qitian Wu and Rui Gao and Hongyuan Zha},
journal= {arXiv preprint arXiv:1909.13035},
year = {2021}
}
备注
Accepted by NeurIPS2021 main conference