Hallucination Score: 缓解生成图像超分辨率中的幻觉效应

生成式超分辨率（GSR）目前在感知图像质量方面处于最先进水平，克服了以往非生成模型的“回归到平均值”模糊问题。然而，从人类视角来看，这些模型并未完全达到质量与保真度之间的最佳平衡。相反，一类不同的人工物，在这些人工物中，生成的细节未能感知上匹配低分辨率图像（LRI）或真实图像（GTI），这是GSR中一个关键但鲜有人研究的问题，限制了其实际应用。在本工作中，我们聚焦于衡量、分析和缓解这些人工物（即“幻觉”）。我们观察到，幻觉在现有图像指标或质量模型中并不 well-characterized，因为它们与精确保真度和无参考质量评估正交。相反，我们利用多模态大语言模型（MLLM）构建了一个评估幻觉视觉元素的提示词，从而生成“幻觉分数”（HS）。我们发现，HS 与人类评估高度一致，并且为超分辨率模型使用的先前图像指标提供了补充性见解。最后，我们提出了若干高效的 HS 代理，并演示了如何将扩散模型的 GSR 模型在利用 HS 代理作为可微奖励函数进行微调以缓解幻觉方面。