EditReward：一种用于指令引导图像编辑的人类对齐奖励模型
计算机视觉与模式识别
2026-03-03 v2 人工智能
计算与语言
摘要
最近，我们见证了基于自然语言指令的图像编辑的巨大进步。一些闭源模型，如 GPT-Image-1、Seedream 和 Google-Nano-Banana，已显示出极具前景的进展。然而，开源模型仍然滞后。主要瓶颈在于缺乏可靠的奖励模型来扩大高质量合成训练数据的规模。为了解决这一关键瓶颈，我们构建了 EditReward，该模型使用我们新的大规模人类偏好数据集进行训练，该数据集由训练有素的专家遵循严格的协议精心标注，包含超过 20 万个偏好对。EditReward 在指令引导的图像编辑任务中展示了与人类偏好的卓越对齐。实验表明，EditReward 在 GenAI-Bench、AURORA-Bench、ImagenHub 和我们新的 EditReward-Bench 等既定基准上实现了最先进的人类相关性，优于广泛的 VLM-as-judge 模型。此外，我们使用 EditReward 从现有的噪声 ShareGPT-4o-Image 数据集中筛选出一个高质量子集。我们在选定的子集上训练 Step1X-Edit，与在全量数据集上训练相比，显示出显著改进。这证明了 EditReward 作为奖励模型来扩大高质量图像编辑训练数据的能力。此外，其强大的对齐性表明其在基于强化学习的后训练和图像编辑模型的测试时扩展等高级应用中的潜力。EditReward 及其训练数据集将被发布，以帮助社区构建更多高质量的图像编辑训练数据集。
引用
@article{arxiv.2509.26346,
title = {EditReward: A Human-Aligned Reward Model for Instruction-Guided Image Editing},
author = {Keming Wu and Sicong Jiang and Max Ku and Ping Nie and Minghao Liu and Wenhu Chen},
journal= {arXiv preprint arXiv:2509.26346},
year = {2026}
}
备注
Accepted by ICLR 2026. Project Page: https://tiger-ai-lab.github.io/EditReward