R-Genie：基于推理引导的生成式图像编辑
计算机视觉与模式识别
2025-07-22 v2
摘要
尽管近期的图像编辑技术取得了令人印象深刻的视觉合成能力，但当前方法仍受制于明确的文本指令和有限的编辑操作，缺乏对隐式用户意图和情境推理的深层理解。本文引入一种新的图像编辑范式：推理引导的生成式编辑，通过复杂的、多方面的文本查询实现世界知识和意图推理。为促进这一任务，我们首先构建了一个包含超过1000个图像-指令-编辑三元组的综合数据集，包含丰富的推理情境和真实世界知识。随后，我们提出R-Genie：一个推理引导的生成式图像编辑器，将扩散模型的生成能力与多模态大语言模型的先进推理能力相结合。R-Genie包含一种推理注意力机制，用于桥接语言理解与视觉合成，使其能够处理涉及抽象用户意图和情境推理关系的复杂编辑请求。大量实验结果表明，R-Genie能够为扩散模型赋予先进的推理式编辑能力， unlocking new potentials for intelligent image synthesis。
引用
@article{arxiv.2505.17768,
title = {R-Genie: Reasoning-Guided Generative Image Editing},
author = {Dong Zhang and Lingfeng He and Rui Yan and Fei Shen and Jinhui Tang},
journal= {arXiv preprint arXiv:2505.17768},
year = {2025}
}
备注
Code: https://dongzhang89.github.io/RGenie.github.io/