IQA-Adapter：探索从图像质量评估到扩散生成模型的知识迁移

扩散模型最近在图像生成方面取得了突破性进展，实现了前所未有的保真度。然而，由于缺乏感知质量的条件机制，持续生成高质量图像仍然具有挑战性。本文提出了将图像质量评估（IQA）模型集成到扩散生成器中的方法，实现质量感知图像生成。我们表明，扩散模型可以从IQA模型的输出和内部激活中学习复杂的定性关系。首先，我们尝试使用基于梯度的引导直接优化图像质量，发现该方法的通用性有限。为此，我们引入IQA-Adapter，一种新型框架，通过学习图像与质量分数之间的隐式关系，实现对目标质量水平的条件化。在给定高质量条件时，IQA-Adapter可将生成图像的分布向更高质量的子域偏移，反之亦然，可用作退化模型，当提供较低质量信号时，生成逐渐更具扭曲的图像。在高质量条件下，IQA-Adapter在多个客观指标上实现了最高10%的提升，用户偏好研究也证实了这一点，同时保持生成的多样性和内容。我们进一步将IQA-Adapter扩展到基于参考的条件化场景，利用IQA模型的丰富激活空间，在图像之间传递高度特定的内容无关的定性特征。