ExoViP：基于外骨骼模块的分步验证与探索用于组合视觉推理
计算机视觉与模式识别
2024-08-06 v1
摘要
组合视觉推理方法将复杂查询翻译为结构化的可行视觉任务组合，展现出在复杂多模态任务中的强大潜力。凭借近期大语言模型（Large Language Model，LLM）的进步，这一多模态挑战通过将 LLM 作为 few-shot/zero-shot planner（即视觉语言编程）而进入了新阶段。尽管这些方法具有诸多优势，但由于 LLM 规划错误或视觉执行模块的不准确，仍落后于非组合模型。在本工作中，我们设计了一种“即插即用”方法 ExoViP，通过内省验证纠正规划和执行阶段的错误。我们将验证模块作为“外骨骼”来增强当前的视觉语言编程方案。具体而言，我们提出的验证模块利用三种子验证器的混合物，在每个推理步骤后验证预测，然后校准视觉模块的预测并细化由 LLM 计划的推理轨迹。实验结果在两个代表性视觉语言编程方法上展示，在标准基准测试的五个组合推理任务上实现了持续的性能提升。鉴于此，我们认为 ExoViP 可以促进开放域多模态挑战中的更好性能和更广泛的泛化。
引用
@article{arxiv.2408.02210,
title = {ExoViP: Step-by-step Verification and Exploration with Exoskeleton Modules for Compositional Visual Reasoning},
author = {Yuxuan Wang and Alan Yuille and Zhuowan Li and Zilong Zheng},
journal= {arXiv preprint arXiv:2408.02210},
year = {2024}
}
备注
To Appear at COLM 2024