分割前先思考：基于 GPT 思维链的高质量推理分割

推理分割是一项具有挑战性的视觉-语言任务，旨在针对复杂、隐含甚至非视觉的查询文本输出分割掩码。先前的工作将多模态大语言模型（MLLM）与分割模型相结合来解决这一难题。然而，它们的分割质量在复杂情况下往往不尽如人意，特别是在处理具有复杂结构、模糊边界、遮挡或与周围环境高度相似的非领域内物体时。本文引入了 ThinkFirst，这是一个免训练的推理分割框架，利用 GPT 的思维链来应对这些具有挑战性的情况。我们的方法允许 GPT-4o 或其他强大的 MLLM 生成图像的详细思维链描述。然后将该摘要描述传递给基于语言指令的分割助手以辅助分割过程。我们的框架允许用户使用多模态输入（例如简单的文本和图像涂鸦）轻松地与分割智能体进行交互，以进行连续的细化或交流。我们在多种物体上评估了 ThinkFirst 的性能。大量实验表明，这种零样本思维链方法在定性和定量上均显著改进了原始的推理分割智能体，同时在“先思考”之后对用户提供的提示变得不那么敏感或关键。