一行代码数据平滑改善基于似然的生成模型优化
机器学习
2023-12-22 v2
摘要
生成模型（GMs）因其在计算机视觉等领域的巨大成功而备受关注，能够生成令人印象深刻的逼真图像。基于似然的 GMs 因可通过单次模型评估生成新数据而具吸引力。然而，它们通常相较最先进的基于分数的扩散模型（DMs）取得较低样本质量。本文朝解决此局限的方向迈出重要一步。其思路是借鉴基于分数的 DMs 的优势之一，即通过数据平滑（data mollification）在低密度区域进行准确密度估计并解决流形过拟合的能力。我们将通过添加高斯噪声实现的数据平滑与高斯同伦相联系，后者是改善优化的已知技术。数据平滑可通过在优化循环中增加一行代码实现，我们证明这能在无计算开销的情况下提升基于似然的 GMs 的生成质量。我们报告了在带有流行基于似然的 GMs（包括变分自编码器和归一化流变体）的图像数据集上的结果，显示出 FID 分数的大幅改进。
引用
@article{arxiv.2305.18900,
title = {One-Line-of-Code Data Mollification Improves Optimization of Likelihood-based Generative Models},
author = {Ba-Hien Tran and Giulio Franzese and Pietro Michiardi and Maurizio Filippone},
journal= {arXiv preprint arXiv:2305.18900},
year = {2023}
}
备注
NeurIPS 2023