洞察大型生成网络：用于扩散模型的贝叶斯不确定性估计
计算机视觉与模式识别
2024-06-28 v1 人工智能
机器学习
摘要
生成式扩散模型以其大参数量（超过1亿）和在高维图像空间中的操作，给传统不确定性估计方法带来了计算上的挑战。本文中，我们引入一种创新框架——用于捕获不确定性的扩散集束（Diffusion Ensembles for Capturing Uncertainty, DECU），用于估计扩散模型的贝叶斯不确定性。DECU框架引入一种高效训练扩散模型集束的方法，通过纳入一组预训练参数来实现，从而大幅降低计算负担和需要训练的参数数量。此外，DECU采用成对距离估计器（Pairwise-Distance Estimators, PaiDEs）来准确测量贝叶斯不确定性，通过评估高维空间中模型输出与权重之间的互信息。通过在ImageNet数据集上进行实验，我们展示了该框架的有效性，突出其在捕捉特定稀疏图像类别的贝叶斯不确定性方面的能力。
引用
@article{arxiv.2406.18580,
title = {Shedding Light on Large Generative Networks: Estimating Epistemic Uncertainty in Diffusion Models},
author = {Lucas Berry and Axel Brando and David Meger},
journal= {arXiv preprint arXiv:2406.18580},
year = {2024}
}