ImageRAG:基于参考图图像动态检索
计算机视觉与模式识别
2026-02-10 v2 图形学
摘要
扩散模型使高质量且多样化的视觉内容合成成为可能,但它们在生成罕见或未见概念方面存在困难。为此,我们探索使用检索增强生成 (RAG) 与图像生成模型结合的用法。我们提出了 ImageRAG 方法,根据给定的文本提示动态检索相关图像,并将其作为上下文来指导生成过程。以往方法通过为检索增强生成训练专用模型来提高生成效果。相比之下,ImageRAG 利用现有图像条件模型的能力,无需 RAG 专用训练。我们的做法高度可适应,可应用于不同类型的模型,显示出在使用不同基础模型生成罕见和细粒度概念方面显着的改进。我们的项目页面地址为:https://rotem-shalev.github.io/ImageRAG
引用
@article{arxiv.2502.09411,
title = {ImageRAG: Dynamic Image Retrieval for Reference-Guided Image Generation},
author = {Rotem Shalev-Arkushin and Rinon Gal and Amit H. Bermano and Ohad Fried},
journal= {arXiv preprint arXiv:2502.09411},
year = {2026}
}