扩散模型上的偏好对齐：面向图像生成与编辑的综合综述
计算机视觉与模式识别
2025-02-13 v1 机器学习
摘要
将偏好对齐与扩散模型（DM）相结合已成为增强图像生成与编辑能力的一种变革性方法。尽管将扩散模型与偏好对齐策略相结合给该交叉领域的初学者带来了巨大挑战，但目前仍显著缺乏对此主题的全面系统性综述。为弥补这一空白，本文对扩散模型在图像生成与编辑中的偏好对齐进行了广泛调研。首先，我们系统回顾了人类反馈强化学习（RLHF）、直接偏好优化（DPO）等前沿优化技术，强调了它们在将偏好与 DM 对齐中的关键作用。然后，我们深入探讨了偏好与 DM 对齐在自动驾驶、医学成像、机器人等领域的应用。最后，我们全面讨论了 DM 偏好对齐所面临的挑战。据我们所知，这是第一篇以 DM 偏好对齐为中心的综述，旨在为推动这一动态领域的未来创新提供见解。
引用
@article{arxiv.2502.07829,
title = {Preference Alignment on Diffusion Model: A Comprehensive Survey for Image Generation and Editing},
author = {Sihao Wu and Xiaonan Si and Chi Xing and Jianhong Wang and Gaojie Jin and Guangliang Cheng and Lijun Zhang and Xiaowei Huang},
journal= {arXiv preprint arXiv:2502.07829},
year = {2025}
}