自然对话语音中的话轮转换预测
计算与语言
2022-08-30 v1 声音
音频与语音处理
摘要
尽管流式语音助手系统已被广泛应用于许多场景，但该系统通常侧重于不自然的单次交互，假定输入为单一语音查询且不含犹豫或口误。然而，常见的对话话语除口误外，往往还涉及带有话轮转换的多个查询。这些口误包括停顿思考、犹豫、词语拖长、填充停顿以及重复短语。这使得对包含多个查询的对话语音进行语音识别成为一项具有挑战性的任务。为了更好地建模对话交互，关键在于区分口误与查询结束，从而允许用户在口误时保持发言权，而在用户说完话时让系统尽快响应。本文提出了一种构建于端到端（E2E）语音识别器之上的话轮转换预测器。我们的最佳系统通过联合优化 ASR 任务与检测用户暂停思考或结束说话而获得。所提方法在专门插入 4 类口误的对话语句测试集上，以仅 100 ms 的延迟实现了超过 97% 的召回率与 85% 的精确率来预测真实话轮转换。
引用
@article{arxiv.2208.13321,
title = {Turn-Taking Prediction for Natural Conversational Speech},
author = {Shuo-yiin Chang and Bo Li and Tara N. Sainath and Chao Zhang and Trevor Strohman and Qiao Liang and Yanzhang He},
journal= {arXiv preprint arXiv:2208.13321},
year = {2022}
}
备注
5 pages, Interspeech 2022