VTutor：一个提供实时多模型反馈的动画教学代理 SDK
人机交互
2025-05-13 v1
摘要
教学代理(PAs)在教育情境中通过提供自适应、按需支持来显著提升学生参与度和学习成果。然而，现有的PA解决方案常受制于预设对话、不自然的动画、不自然的视觉逼真度以及高开发成本。在填补这些差距方面，我们引入了VTutor，一个开源SDK，利用轻量级WebGL、Unity和JavaScript框架构建。VTutor接收来自大型语言模型(LLM)的文本输出，通过文本转语音将其转换为语音，然后渲染实时的、同步的唇语教学代理(PA)，以实现即时、大规模部署于基于网页的学习平台。通过提供按需、个性化反馈，VTutor增强了学生的动机，深化了其对教学材料的参与度。采用类似动漫的美学，VTutor缓解了不安感谷歌效应，使学习者能够与具有表现力且舒适的风格化角色进行互动。我们对50名参与者的评估显示，VTutor在感知同步准确性、自然性、情感表达和整体偏好方面显著优于现有的说话者方法(如SadTalker)。作为开源项目，VTutor欢迎社区驱动的贡献——从新角色设计到教学代理应用的专业化展示——不断推动AI增强教育的创新。通过提供一个可访问、可定制且以学习者为中心的PA解决方案，VTutor旨在提升教育领域的人机交互体验，从而拓宽AI在学习情境中的影响力。VTutor的演示链接为 https://vtutor-aied25.vercel.app。
引用
@article{arxiv.2505.06676,
title = {VTutor: An Animated Pedagogical Agent SDK that Provide Real Time Multi-Model Feedback},
author = {Eason Chen and Chenyu Lin and Yu-Kai Huang and Xinyi Tang and Aprille Xi and Jionghao Lin and Kenneth Koedinger},
journal= {arXiv preprint arXiv:2505.06676},
year = {2025}
}