面向家庭基础数学学习审视儿童口语理解
计算机与社会
2023-06-02 v1 计算与语言
声音
音频与语音处理
历史与综述
摘要
借助对话式人工智能技术的最新进展，通过家庭交互式数学学习系统提升幼儿教育质量正逐步成为现实。受此启发，我们实现了一个多模态对话系统，以支持家庭中的游戏化学习体验，引导儿童掌握基础数学概念。本工作探索了为 Kid Space 开发的任务导向对话系统中的口语理解（Spoken Language Understanding, SLU）流水线，该流水线包含级联的自动语音识别（Automatic Speech Recognition, ASR）与自然语言理解（Natural Language Understanding, NLU）组件，并在我们的家庭部署数据上进行了评估，参与数据收集的儿童经历了游戏化数学学习活动。我们验证了多任务架构用于 NLU 的优势，并在数学学习领域的意图识别（Intent Recognition）与实体抽取（Entity Extraction）任务上试验了一组多样的预训练语言表示。为在真实家庭环境中识别儿童语音，我们研究了若干 ASR 系统，包括商业的 Google Cloud 与最新开源的 Whisper 方案（模型规模各异）。我们通过将性能最佳的 NLU 模型在含噪声的 ASR 输出上测试来评估 SLU 流水线，以审视在真实家庭中理解儿童数学学习所面临的挑战。
引用
@article{arxiv.2306.00482,
title = {Inspecting Spoken Language Understanding from Kids for Basic Math Learning at Home},
author = {Eda Okur and Roddy Fuentes Alba and Saurav Sahay and Lama Nachman},
journal= {arXiv preprint arXiv:2306.00482},
year = {2023}
}
备注
Proceedings of the 18th Workshop on Innovative Use of NLP for Building Educational Applications (BEA) at ACL 2023