HYDRA：用于动态组合视觉推理的超级代理

近期在视觉推理 (VR) 方面的进展，特别是借助大规模视觉语言模型 (VLM)，显示出广泛的前景，但需要大规模数据集，并且面临计算成本高和泛化能力有限等挑战。组合视觉推理方法已涌现为有效策略，但这些方法严重依赖于编码在大规模语言模型 (LLM) 中的常识知识，以执行规划、推理或两者兼顾，而未考虑其决策对视觉推理过程的影响，这可能导致错误或程序失败。为此，我们引入了 HYDRA，这是一个为可靠且逐步递进的通用推理而设计的多阶段动态组合视觉推理框架。HYDRA 集成了三个关键模块：规划器、作为认知控制器的强化学习 (RL) 代理，以及推理器。规划器和推理器模块利用 LLM 从选定指令中生成指令样本和可执行代码，而 RL 代理通过反馈环路存储的历史状态信息动态地与这些模块交互，作出关于从历史状态中选择最佳指令样本的高层决策。这种可适应的设计使 HYDRA 能够根据推理过程中所接收的反馈调整其动作，从而实现更可靠的推理输出并最终提升其整体效果。我们的框架在 four 个广泛使用的数据集上的 various VR 任务中实现了最先进的性能。