白板式思维：跨模态逐步推理

当面对涉及视觉思考的问题时，人类天然会切换推理模态，常常形成心理图像或绘制视觉辅助工具。大型语言模型在算术和符号推理中通过以文本形式表达中间推理步骤（即链式思维）显示出有前景的成果，但在回答需要视觉推理的文本查询时仍感到困难，即使经过大量多模态预训练。我们提出一种简单方法——白板式思维（whiteboard-of-thought） prompting——以激发多模态大型语言模型跨模态的视觉推理能力。白板式思维为模型提供一个隐喻性"白板"，将推理步骤绘制为图像，然后将这些图像返回模型进行进一步处理。我们发现，这可以不依赖演示或专用模块地实现，仅利用模型已有的 ability to write code with libraries such as Matplotlib and Turtle。这种简单方法在四个困难的自然语言任务上显示出领先的结果，这些任务涉及视觉和空间推理。我们识别出多个 GPT-4o 使用链式思维在这些设置中出现严重错误的情形，包括超过一个情形其准确率为 $0\%$，而白板式思维在相同情形下可达最高 $92\%$ 准确率。我们详细探讨了该技术成功的地方以及错误来源。