ViScratch：利用大语言模型和游戏视频为Scratch提供自动反馈
软件工程
2025-09-16 v1 编程语言
摘要
基于块的代码编程环境如Scratch正日益流行于编程教育中，尤其是面向年轻学习者。虽然块代码有助于防止语法错误，但语义错误仍然常见且难以调试。现有的Scratch调试工具依赖大量预定义规则或用户手动输入，关键问题在于忽视了平台固有的视觉特性。我们介绍ViScratch，这是第一个针对Scratch的多模态反馈生成系统，利用项目的块代码及其生成的游戏视频来诊断和修复错误。ViScratch采用两个阶段的管道：首先，视觉语言模型将视觉症状与代码结构对齐，以识别单个关键问题；其次，提出在抽象语法树水平上进行最小化修复，并通过在Scratch虚拟机中进行验证。我们在一组真实世界的Scratch项目上，对比了最先进的LLM-based工具和人类测试者。结果表明，游戏视频是关键的调试信号：ViScratch在bug识别和修复质量方面均显著优于先前工具，即使没有项目描述或目标信息也能实现。该工作表明，视频可作为视觉编程环境中的第一类规范，为超越符号代码的LLM-based调试开辟了新方向。
引用
@article{arxiv.2509.11065,
title = {ViScratch: Using Large Language Models and Gameplay Videos for Automated Feedback in Scratch},
author = {Yuan Si and Daming Li and Hanyuan Shi and Jialu Zhang},
journal= {arXiv preprint arXiv:2509.11065},
year = {2025}
}