面向端到端语音对话问答的数据蒸馏
计算与语言
2020-10-20 v1 人工智能
音频与语音处理
信号处理
摘要
在语音问答中,QA系统被设计用于回答相关语音转写文本中连续文本跨度的提问。然而,人类寻求或检验知识最自然的方式是通过人机对话。因此,我们提出一个新的语音对话问答任务(SCQA),旨在使QA系统能针对语音话语和文本语料建模复杂对话流。在该任务中,我们的主要目标是构建可处理口语与文本形式对话问题、并探索在信息收集中以语音文档提供更多线索之可行性的QA系统。为此,我们未采用具有高度噪声的自动生成语音转写,而是提出一种新颖的统一数据蒸馏方法DDNet,其直接融合音频-文本特征以减少自动语音识别假设与参考转写之间的错位。此外,为评估QA系统在对话式交互中的能力,我们构建了含超过12万问答对的语音对话问答(Spoken-CoQA)数据集。实验表明,我们提出的方法在语音对话问答中取得了优越性能。
引用
@article{arxiv.2010.08923,
title = {Towards Data Distillation for End-to-end Spoken Conversational Question Answering},
author = {Chenyu You and Nuo Chen and Fenglin Liu and Dongchao Yang and Yuexian Zou},
journal= {arXiv preprint arXiv:2010.08923},
year = {2020}
}