UnAC：面向复杂多模态推理的抽象与逐步检查自适应视觉提示
计算机视觉与模式识别
2026-05-06 v1
摘要
尽管近期的 LMM 在视觉感知方面已变得更加强大，但在需要对视觉证据进行多步推理的问题上仍然不可靠。在本文中，我们提出了 UnAC（Understanding, Abstracting, and Checking），一种增强 LMM（例如 GPT-4o、Gemini 1.5 和 GPT-4V）复杂多模态任务推理能力的多模态提示方法。为了改善图像理解并捕捉精细细节，我们提出了一种自适应视觉提示策略，使 LMM 能够聚焦于显著区域。我们进一步设计了图像抽象提示，以有效地从图像中提取关键信息。此外，我们引入了一种渐进式自检方案，通过验证每个分解出的子问题及其答案来改善推理。在三个公开基准 MathVista、MM-Vet 和 MMMU 上进行了大量实验。
引用
@article{arxiv.2605.03950,
title = {UnAC: Adaptive Visual Prompting with Abstraction and Stepwise Checking for Complex Multimodal Reasoning},
author = {Yifan Wang and Yun Fu},
journal= {arXiv preprint arXiv:2605.03950},
year = {2026}
}