思维模式：通过模式诱导打破视觉规划中的感知瓶颈
计算机视觉与模式识别
2026-05-19 v1 人工智能
计算与语言
机器学习
摘要
从原始视觉输入进行规划是当前视觉语言模型（VLM）面临的重大挑战，当输入复杂度超出其单步感知能力时。受近期“思维图像”（TWI）技术推动，合理的解决方案是通过迭代获取并融合局部视觉证据，将感知过程分解为更简单的步骤。然而，尽管当前 VLM 在通用 TWI 能力方面已训练良好，但其在规划领域的感知瓶颈仍然存在。为应对这一挑战，我们将 TWI 形式化为逐步构建和反思准确内部世界模型的工具。我们发现，所得训练-free 规划策略使 VLM 能够解决远超初始能力的任务，但过多的 TWI 操作会显著增加计算开销。为进一步提高效率，我们提出了模式推断（Pattern Inference），这是一种新的 TWI 策略，使 VLM 能够主动识别新任务中的已知视觉模式并直接推断局部世界模型结构。为获取这些模式，我们提出了模式诱导（Pattern Induction），这是一种在线归纳学习策略，将视觉模式视为具有组合性和可复用性的专家，自动从经验中发现并优化。在 FrozenLake、Crafter 和 CubeBench 领域的实验评估显示，我们的方法在准确率和效率之间取得了理想的平衡。
引用
@article{arxiv.2605.16848,
title = {Thinking with Patterns: Breaking the Perceptual Bottleneck in Visual Planning via Pattern Induction},
author = {Yichang Jian and Boyuan Xiao and Zhenyuan Huang and Yifei Peng and Yao-Xiang Ding},
journal= {arXiv preprint arXiv:2605.16848},
year = {2026}
}