面向真实图像超分辨率的直接语义偏好优化

近期扩散模型的进展提升了真实图像超分辨率(Real-ISR)，但现有方法缺乏人类反馈集成，可能导致与人类偏好不一致，进而引发图像伪影、幻觉及有害内容生成。为此，我们首次将人类偏好对齐引入Real-ISR，该技术已成功应用于大型语言模型和文本到图像任务，以有效提升生成输出与人类偏好的一致性。具体而言，我们将直接偏好优化(DPO)引入Real-ISR以实现对齐，DPO作为一种通用的对齐技术，可直接从人类偏好数据集中学习。然而，与高层次任务不同，Real-ISR的像素级重构目标难以与DPO的图像级偏好相协调，可能导致DPO对局部异常过度敏感，降低生成质量。为解决这一矛盾，我们提出直接语义偏好优化(DSPO)，通过语义引导实现实例级人类偏好的对齐，具体包括两个策略：(a)语义实例对齐策略，实现细粒度感知一致性；(b)用户描述反馈策略，通过实例级图像的语义文本反馈缓解幻觉。作为即插即用的解决方案，DSPO在单步和多步SR框架中均证明高效。