基于自调用代理的图像思考范式

图像思考范式通过将视觉信息作为链式思考 (CoT) 中的动态元素进行集成，展示了惊人的视觉推理能力。然而，通过强化学习优化交错多模态CoT (iMCoT) 仍然具有挑战，因为其依赖稀缺的高质量推理数据。在本研究中，我们提出了自调用链式思考 (sCoT)，这是一种新的视觉推理范式，将iMCoT 重新表述为带有自调用的语言-only CoT。具体而言，主代理将复杂的视觉推理任务分解为原子子任务，并调用其虚拟复制品，即参数共享的子代理，在隔离的上下文中解决这些子任务。sCoT 具有显著的训练效果和效率，因为它无需在模态之间进行显式交错。sCoT 采用基于组相对的政策优化来强化有效的推理行为以提升优化。在HR-Bench 4K上的实验表明，sCoT 在整体推理性能上提升了最高达 $1.9\%$，而GPU使用时间约减少75%。代码可在 https://github.com/YWenxi/think-with-images-through-self-calling 获取。