当偏好标签不足时：基于真实数据对齐扩散模型
计算机视觉与模式识别
2026-05-20 v1
摘要
偏好对齐旨在通过从偏好样本与非偏好样本之间的比较中学习来引导生成模型。在实践中，大多数现有方法依赖于由模型生成图像构建的偏好对。这种监督本质上是相对的，并且当两个样本都表现出伪影或有限的视觉质量时可能会变得模糊不清，这使得推断什么构成真正理想的输出变得困难。在这项工作中，我们研究真实数据是否可以作为偏好对齐的替代监督来源。我们采用以数据为中心的视角，研究了一种策展策略，该策略将真实图像视为参考点，并通过将其与生成或扰动样本进行对比来构建偏好信号，而无需人工标注的偏好对。通过实证分析，我们表明基于真实数据的监督为对齐扩散模型提供了有效的指导，并实现了与现有基于偏好的方法相当的性能。我们的结果表明，真实数据为偏好对齐提供了一种实用且互补的监督来源，并指出了标签高效对齐策略的方向。代码和模型可在 https://cwyxx.github.io/RealAlign 获取。
引用
@article{arxiv.2605.19839,
title = {When Preference Labels Fall Short: Aligning Diffusion Models from Real Data},
author = {Weiyan Chen and Weijian Deng and Yao Xiao and Weijie Tu and ZiYi Dong and Ibrahim Radwan and Liang Lin and Pengxu Wei},
journal= {arXiv preprint arXiv:2605.19839},
year = {2026}
}
备注
ICML 2026 Camera Ready; Project Page: https://cwyxx.github.io/RealAlign