基于可解释人工智能缺陷激活图的扩散模型视觉伪影优化

扩散模型在图像合成方面取得了显著成功。然而，解决伪影和不真实区域仍然是一个关键挑战。我们提出自精炼扩散（self-refining diffusion），一种通过检测这些缺陷来提升图像生成质量的新框架。该框架采用基于可解释人工智能（XAI）的缺陷高亮器，生成缺陷激活图（FAMs），用于识别伪影和不真实区域。这些FAMs通过在正向过程中放大缺陷区域的噪声以及在反向过程中聚焦于这些区域来提升重建质量。所提出的方法在各种扩散模型上实现了高达27.3%的Fréchet初始距离（FID）提升，在多样化数据集上展现出持续强劲的性能。它还在不同任务上表现出稳健的有效性，包括图像生成、文本到图像生成和图像修复。这些结果表明，可解释人工智能技术可以超越可解释性，积极地为图像优化做出贡献。所提出的框架是一种通用且有效的方法，适用于各种扩散模型和任务，显著推进了图像合成领域的发展。