基于补丁到区域相关性传播的空间导向文档检索
摘要
后交互式多模态检索模型（如 ColPali）通过将页面嵌入图像并计算查询标记与视觉补丁之间的细粒度相似度，实现了文档检索的准确性最佳化。然而，它们 operate at page-level granularity，限制了检索增强生成（RAG）中精确上下文的实用性。相比之下，基于 OCR 的系统提取带有边界框坐标的结构化文本，但缺乏对相关性评估的语义 grounding。我们提出一种混合架构，统一这两种范式：将 ColPali 的补丁级相似度得分作为 OCR 提取区域的空间相关性滤波器。我们在视觉 Transformer 补丁网格与 OCR 边界框之间建立坐标映射，引入交叉指标进行相关性传播，并给出面积效率的理论界限。在 BBox-DocVQA 数据集上进行评估。对于页面内定位（给定正确的页面检索），ColQwen3-4B 在采用百分位-50阈值条件下，[email protected] 的命中率为 59.7%（[email protected] 为 84.4%，[email protected] 为 35.8%），平均 IoU 为 0.569，与随机区域选择的约 6.7% 相比。我们的方法较返回全部 OCR 区域减少了 28.8% 的上下文标记，较返回完整页面图像标记减少了 52.3%。该方法在推理阶段无需额外训练即可运行。我们发布了 Snappy，一个开源实现，地址为 https://github.com/athrael-soju/Snappy。
引用
@article{arxiv.2512.02660,
title = {Spatially-Grounded Document Retrieval via Patch-to-Region Relevance Propagation},
author = {Athos Georgiou},
journal= {arXiv preprint arXiv:2512.02660},
year = {2026}
}
备注
21 pages, 6 figures, 8 tables. Includes ancillary files with full benchmark results and ablation studies. Code available at https://github.com/athrael-soju/Snappy