Rethinking Preference Alignment for Diffusion Models with Classifier-free Guidance
计算机视觉与模式识别
2026-02-24 v1
摘要
将大规模文本到图像扩散模型与细腻的人类偏好对齐仍然具有挑战性。虽然直接偏好优化（DPO）简单且有效，但大规模微调往往显示出泛化差距。我们以测试时引导为灵感，将偏好对齐建模为无分类器引导（CFG）：一个微调后的偏好模型在采样期间充当外部控制信号。基于这一视角，我们提出了一种无需重新训练基础模型即可提高对齐效果的简单方法。为进一步增强泛化性，我们将偏好学习解耦为两个在正负数据上分别训练的模块，并通过减去它们的预测（正减负）形成一个\emph{contrastive guidance}向量，按用户选择的强度比例缩放后加到每一步的基础预测上。这产生了一个更锐利且可控的对齐信号。我们在Stable Diffusion 1.5和Stable Diffusion XL上进行评估，分别使用Pick-a-Pic v2和HPDv3，显示出一致的定量和定性提升。
引用
@article{arxiv.2602.18799,
title = {Rethinking Preference Alignment for Diffusion Models with Classifier-Free Guidance},
author = {Zhou Jiang and Yandong Wen and Zhen Liu},
journal= {arXiv preprint arXiv:2602.18799},
year = {2026}
}