扩散生成模型的最近邻得分估计器
机器学习
2024-07-18 v2 计算机视觉与模式识别
机器学习
摘要
得分函数估计是扩散生成模型训练和采样的基石。尽管事实如此，最常用的估计器要么是有偏的神经网络近似，要么是基于条件得分的高方差蒙特卡洛估计器。我们引入了一种新颖的最近邻得分函数估计器，它利用训练集中的多个样本来大幅降低估计器方差。我们在两个引人注目的应用中利用了我们的低方差估计器。使用我们的估计器训练一致性模型时，我们报告了收敛速度和样本质量的显著提升。在扩散模型中，我们展示了我们的估计器可以替代用于概率流常微分方程 (ODE) 积分的学习网络，为未来的研究开辟了充满希望的新途径。
引用
@article{arxiv.2402.08018,
title = {Nearest Neighbour Score Estimators for Diffusion Generative Models},
author = {Matthew Niedoba and Dylan Green and Saeid Naderiparizi and Vasileios Lioutas and Jonathan Wilder Lavington and Xiaoxuan Liang and Yunpeng Liu and Ke Zhang and Setareh Dabiri and Adam Ścibior and Berend Zwartsenberg and Frank Wood},
journal= {arXiv preprint arXiv:2402.08018},
year = {2024}
}
备注
25 pages, 9 figures. To be published in ICML 2024