通过直接偏好优化提升人类图像生成模型
计算机视觉与模式识别
2025-04-10 v3 人工智能
机器学习
摘要
人类图像生成是图像合成中的热门研究领域，由于其广泛的应用前景，但即便 slightest 的解剖、姿态或细节不准确也会损害真实感。为此，我们探索了直接偏好优化(DPO)，即训练模型以生成首选(获胜)图像，同时偏离非首选(失败)图像。然而，传统DPO方法使用生成图像作为获胜图像，限制了真实感。为克服这一局限，我们提出了增强型DPO方法，将高质量真实图像作为获胜图像纳入其中，鼓励输出更接近真实图像。然而，实际实现这一概念并非易事。因此，我们的做法 HG-DPO(通过DPO进行人类图像生成)采用新颖的课程学习框架，逐步提高模型输出的真实感，使训练更为可行。此外，HG-DPO有效适应个性化文本到图像任务，生成高质量且身份特定的图像，凸显了我们方法的实际价值。
引用
@article{arxiv.2405.20216,
title = {Boost Your Human Image Generation Model via Direct Preference Optimization},
author = {Sanghyeon Na and Yonggyu Kim and Hyunjoon Lee},
journal= {arXiv preprint arXiv:2405.20216},
year = {2025}
}
备注
Accepted to CVPR 2025 as a highlight paper