面向文本到图像生成的个人化奖励建模
计算机视觉与模式识别
2025-11-26 v1 人工智能
摘要
近期文本到图像(T2I)模型能够从文本提示生成语义连贯的图像，但评估其与个体用户偏好之间的对齐程度仍是开放挑战。常规评估方法，如通用奖励函数或基于相似性的指标，无法捕捉个人视觉偏好呈现出的多样性和复杂性。本文提出PIGReward，一款个人化奖励模型，能够动态生成用户条件化的评估维度，并通过链式思考(CoT)推理对图像进行评估。为解决用户数据稀缺问题，PIGReward采用自主引导策略，对有限的参考数据进行推理，构建丰富的用户上下文，从而实现无需针对特定用户进行训练的个性化。除评估功能外，PIGReward还提供个人化反馈，驱动用户特定的提示优化，提高生成图像与个体意图之间的对齐度。我们进一步引入PIGBench，一个捕捉共享提示下不同用户视觉解读的按用户划分的偏好基准。大量实验表明，PIGReward在准确性和可解释性方面均优于现有方法，构建了面向个性化T2I评估与优化的可扩展且基于推理的基础。综上所述，本研究将PIGReward确立为实现个体化T2I生成可靠一步的关键技术。
引用
@article{arxiv.2511.19458,
title = {Personalized Reward Modeling for Text-to-Image Generation},
author = {Jeongeun Lee and Ryang Heo and Dongha Lee},
journal= {arXiv preprint arXiv:2511.19458},
year = {2025}
}