Region-R1：面向多模态重排序的查询侧区域裁剪强化
计算机视觉与模式识别
2026-04-09 v2 人工智能
计算与语言
摘要
多模态检索增强生成 (MM-RAG) 严重依赖重排器来筛选与图像-问题查询最相关的证据。然而，标准重排器通常将完整查询图像作为全局嵌入进行处理，使其容易受到视觉干扰物（如背景杂乱）的影响，从而扭曲相似度分数。我们提出 Region-R1，一个查询侧区域裁剪框架，将区域选择形式化为重排序过程中的决策问题，使系统能够在对检索候选评分之前选择保留完整图像或仅聚焦于问题相关区域。Region-R1 通过一种新颖的区域感知分组相对策略优化 (r-GRPO) 学习策略，以动态裁剪具有判别力的区域。在两个具有挑战性的基准测试 E-VQA 和 InfoSeek 上，Region-R1 持续提升性能，通过将条件 Recall@1 提高多达 20% 达到了最先进性能。这些结果展示了查询侧适应作为一种简单但有效的方法来增强 MM-RAG 重排序的巨大潜力。
引用
@article{arxiv.2604.05268,
title = {Region-R1: Reinforcing Query-Side Region Cropping for Multi-Modal Re-Ranking},
author = {Chan-Wei Hu and Zhengzhong Tu},
journal= {arXiv preprint arXiv:2604.05268},
year = {2026}
}
备注
12 pages, 4 figures, accepted to ACL 2026 Findings, code available at https://github.com/taco-group/Region-R1