SingaKids：面向语言学习的多语言多模态对话辅导系统

生成式人工智能在教育应用中的整合增强了个性化和互动式学习体验，并显示出促进年轻学习者语言习得的巨大潜力。然而，在不同语言和文化语境中确保一致且稳健的性能仍然具有挑战性，且儿童友好的设计需要简化的指令、引人入胜的互动以及适龄的脚手架，以保持学习动机并优化学习效果。在这项工作中，我们介绍了 SingaKids，一个旨在通过图片描述任务促进语言学习的对话辅导系统。我们的系统集成了密集图像描述、多语言对话交互、语音理解和引人入胜的语音生成，以创建一个包含四种语言（英语、普通话、马来语和泰米尔语）的沉浸式学习环境。我们通过多语言预训练、特定任务微调和脚手架优化进一步改进了该系统。针对小学生的实证研究表明，SingaKids 提供了有效的对话教学，使不同表现水平的学习者均能受益。