两个分数何时优于一个？扩散模型集成的探究
机器学习
2026-01-22 v2 计算机视觉与模式识别
统计理论
统计方法学
机器学习
统计理论
摘要
扩散模型现在能够生成高质量、多样化的样本，且人们越来越关注更强大的模型。尽管集成是改进监督模型的众所周知的方法，但其在无条件基于分数的扩散模型中的应用在很大程度上仍未被探索。在这项工作中，我们研究了它是否能为生成式建模提供切实的好处。我们发现，尽管对分数进行集成通常能改善分数匹配损失和模型似然，但它未能持续提升诸如图像数据集上的 FID 等感知质量指标。我们在 CIFAR-10 和 FFHQ 上使用深度集成 和 Monte Carlo Dropout 跨越多种聚合规则验证了这一观察结果。我们试图通过调查可能的解释来说明这种差异，例如分数估计与图像质量之间的联系。我们还通过随机森林研究了表格数据，发现一种聚合策略优于其他策略。最后，我们对分数模型求和提供了理论见解，这不仅阐明了集成，还阐明了几种模型组合技术（例如引导）。
引用
@article{arxiv.2601.11444,
title = {When Are Two Scores Better Than One? Investigating Ensembles of Diffusion Models},
author = {Raphaël Razafindralambo and Rémy Sun and Frédéric Precioso and Damien Garreau and Pierre-Alexandre Mattei},
journal= {arXiv preprint arXiv:2601.11444},
year = {2026}
}
备注
Accepted at Transactions on Machine Learning Research (reviewed on OpenReview: https://openreview.net/forum?id=4iRx9b0Csu). Code: https://github.com/rarazafin/score_diffusion_ensemble