在无语音数据且类别高度不平衡场景下构建抗 ASR 错误的口语虚拟病人系统
计算与语言
2022-07-04 v2 声音
音频与语音处理
摘要
虚拟病人(VP)是训练医学生采集病史的有力工具，其中对多样化口语问题作出回应对于模拟与学生的自然对话至关重要。此类口语语言理解系统(SLU)的性能可能受到测试数据中自动语音识别(ASR)错误以及 SLU 训练数据中高度类别不平衡的双重不利影响。尽管先前工作已分别处理了这两个问题，我们提出了一种新颖的两步训练方法，在单一对话智能体中有效应对这两个问题。由于在没有可用 SLU 系统的情况下难以从用户收集语音数据，我们的方法不依赖语音数据进行训练，而是使用 ASR 错误预测器将文本数据“语音化”。我们的方法在 VP 意图分类任务的各种词错误率设置下，相较强基线取得了显著提升。
引用
@article{arxiv.2204.05183,
title = {Building an ASR Error Robust Spoken Virtual Patient System in a Highly Class-Imbalanced Scenario Without Speech Data},
author = {Vishal Sunder and Prashant Serai and Eric Fosler-Lussier},
journal= {arXiv preprint arXiv:2204.05183},
year = {2022}
}
备注
5 pages, 3 figures