量化基于模型的合成图像质量指标的不确定性
计算机视觉与模式识别
2025-04-07 v1
摘要
合成生成图像（例如由扩散模型生成的图像）的质量通常使用预训练辅助模型编码的图像内容信息进行评估。例如，Fréchet Inception Distance (FID) 使用在 ImageNet 上预训练以进行分类的 InceptionV3 模型的嵌入。这种特征嵌入模型的有效性对所计算指标的可信度有相当大的影响（影响其在包括医学成像在内的多个领域的适用性）。在这里，不确定性量化（UQ）被用于提供特征嵌入模型以及名为 Fréchet Autoencoder Distance (FAED) 的类 FID 指标可信度的启发式度量。我们将 Monte Carlo dropout 应用于特征嵌入模型（卷积自编码器），以对其嵌入中的不确定性进行建模。然后使用每个输入的嵌入分布来计算 FAED 值的分布。我们将不确定性表示为嵌入的预测方差以及计算出的 FAED 值的标准差。我们发现它们的大小与输入相对于模型训练数据的分布外程度相关，这在一定程度上验证了其评估 FAED 可信度的能力。
引用
@article{arxiv.2504.03623,
title = {Quantifying the uncertainty of model-based synthetic image quality metrics},
author = {Ciaran Bench and Spencer A. Thomas},
journal= {arXiv preprint arXiv:2504.03623},
year = {2025}
}