IRIS：内在奖励图像合成
人工智能
2026-02-02 v2 计算与语言
计算机视觉与模式识别
机器学习
摘要
尽管强化学习从人类反馈（RLHF）在语言推理方面取得了成功，但其应用于自回归文本到图像（T2I）生成时，常受限于人类偏好数据的稀缺。本文探讨了自回归T2I模型如何能否仅凭内部信号（无需外部奖励或标记数据）进行学习。与近期在数学和代码推理中所发现的相反，我们表明，最小化自我确定性比最大化自我确定性更能提升图像生成。我们观察到，自回归T2I模型若具有更高的确定性，倾向于生成简单且单一的图像，这些图像更不符合人类偏好；而具有较低确定性的模型更可能生成充满生机气息、细节丰富的图像。基于此观察，我们提出IRIS（Intrinsic Reward Image Synthesis），即首个仅利用内在奖励改进自回归T2I模型的框架。实证结果表明，将IRIS应用于自回归T2I模型，可实现的性能优于单一外部奖励训练的模型，甚至可匹配由集成外部奖励训练的模型。IRIS还激励了精细CoT推理的出现，以实现高质量图像生成。
引用
@article{arxiv.2509.25562,
title = {IRIS: Intrinsic Reward Image Synthesis},
author = {Yihang Chen and Yuanhao Ban and Yunqi Hong and Cho-Jui Hsieh},
journal= {arXiv preprint arXiv:2509.25562},
year = {2026}
}