通过子模块子选择提高多图像问答
计算机视觉与模式识别
2025-05-16 v1 机器学习
摘要
大型多模态模型（LMM）在单图像的视觉语言任务中取得了高性能，但在面对多个图像（多图像问答情景）时表现不佳。这些任务涉及对大量图像进行推理，存在规模问题（图像数量增加时）和检索性能问题。在本工作中，我们提出了一种对MIRAGE模型中检索器框架的改进方案，采用子模块子选择技术。我们的方法利用查询感知的子模块函数（如GraphCut），在主检索组件之前预先选择一组语义相关的图像子集。我们展示，使用锚点查询和增强数据可显著提高子模块检索管道的效果，特别是在大规模检索场景中。
引用
@article{arxiv.2505.10533,
title = {Enhancing Multi-Image Question Answering via Submodular Subset Selection},
author = {Aaryan Sharma and Shivansh Gupta and Samar Agarwal and Vishak Prasad C. and Ganesh Ramakrishnan},
journal= {arXiv preprint arXiv:2505.10533},
year = {2025}
}