ReNeg：基于奖励引导学习负嵌入
计算机视觉与模式识别
2025-06-24 v3
摘要
在文本到图像 (T2I) 生成应用中，负嵌入已被证明是一种简单而有效的提升生成质量的方法。通常，这些负嵌入来自用户定义的负面提示，虽然功能完备，但并非最优。本文引入 ReNeg，一种通过奖励模型引导学习改进后缀嵌入的端到端方法。我们采用奖励反馈学习框架，将无条件分类器引导 (CFG) 集成到训练过程中（此前仅用于推理），从而有效学习负嵌入。我们还提出两种学习全局和 per-sample 负嵌入的策略。大量实验表明，学习得到的负嵌入显著优于空文本和手工负嵌入，在人类偏好对齐方面实现了显著提升。此外，同一文本嵌入空间中学习的负嵌入具有强大的泛化能力。例如，使用相同的 CLIP 文本编码器， 在 SD1.5 上学习的负嵌入可无缝迁移到文本到图像或甚至文本到视频模型中，如 ControlNet、ZeroScope 和 VideoCrafter2，结果在所有模型中均实现一致的性能提升。
引用
@article{arxiv.2412.19637,
title = {ReNeg: Learning Negative Embedding with Reward Guidance},
author = {Xiaomin Li and Yixuan Liu and Takashi Isobe and Xu Jia and Qinpeng Cui and Dong Zhou and Dong Li and You He and Huchuan Lu and Zhongdao Wang and Emad Barsoum},
journal= {arXiv preprint arXiv:2412.19637},
year = {2025}
}
备注
Code: https://github.com/AMD-AIG-AIMA/ReNeg