提升语言学习聊天机器人的对话质量：GPT4 用于 ASR 错误纠正的评估
计算与语言
2023-07-20 v1 人工智能
摘要
将自然语言处理（NLP）技术集成到教育应用中已展现出可喜成果，尤其在语言学习领域。近来，许多口语开放域聊天机器人被用作口语伙伴，帮助语言学习者提升语言技能。然而，一个重大挑战在于识别非母语/非流利语音时的高词错率（WER），这会中断对话流畅性并导致学习者失望。本文探讨了在对话场景中使用 GPT4 进行 ASR 错误纠正。除 WER 外，我们提出使用语义文本相似度（STS）与下一响应合理性（NRS）指标来评估错误纠正模型对对话质量的影响。我们发现，尽管 WER 有所上升，经 GPT4 纠正的转写带来了更高的对话质量。GPT4 亦优于标准错误纠正方法，且无需领域内训练数据。
引用
@article{arxiv.2307.09744,
title = {Enhancing conversational quality in language learning chatbots: An evaluation of GPT4 for ASR error correction},
author = {Long Mai and Julie Carson-Berndsen},
journal= {arXiv preprint arXiv:2307.09744},
year = {2023}
}