交互式草图本：面向协作式视觉问题解决的多模态辅导系统

人类长期依赖视觉辅助工具（如草图和图表）来支持推理与问题解决。几何中的辅助线、微积分中的函数图像等视觉工具是理解复杂概念的关键。然而，许多辅导系统仍基于文本，仅通过自然语言提供反馈。利用最近在大型多模态模型（LMM）方面的进展，本文引入 Interactive Sketchpad，一种结合语言解释与交互式可视化以提升学习效果的辅导系统。基于预训练 LMM，Interactive Sketchpad 经过微调，可在文本和视觉两种方式中提供逐步指导，实现学生的自然多模态交互。通过将代码执行融入推理过程，生成准确可靠的图表。针对几何、微积分和三角函数等数学问题进行的用户研究表明，Interactive Sketchpad 能提高任务理解度、问题解决准确率和参与度，凸显其在教育技术领域的潜在价值。所有代码已公开：https://stevenshinechen.github.io/interactivesketchpad/。