利用跨话语上下文与多任务语言建模的电商聊天机器人 ASR 自适应
音频与语音处理
2021-08-09 v1 计算与语言
机器学习
声音
摘要
在涉及资金交易与购买的电商语音助手中，自动语音识别（ASR）对槽位实体的鲁棒性至关重要。除有效的领域自适应外，直观上跨话语上下文线索在从语音中消歧领域特定内容词方面发挥着重要作用。本文中，我们研究多种技术以改进 Transformer-XL 神经语言模型（NLM）的上下文化、内容词鲁棒性与领域自适应，从而对 ASR N-best 假设进行重打分。为改进上下文化，我们利用话语轮次级别的对话行为以及跨话语上下文携带。此外，为使领域通用 NLM 即时适应电商领域，我们使用在领域内数据上微调的掩码 LM 导出的嵌入。最后，为提升对领域内内容词的鲁棒性，我们提出一种可联合执行内容词检测与语言建模任务的多任务模型。相较于非上下文 LSTM LM 基线，我们性能最佳的 NLM 重打分器在电商音频测试集上实现了内容词错误率（WER）降低 19.2%，槽位标注 F1 提升 6.4%。
引用
@article{arxiv.2106.09532,
title = {ASR Adaptation for E-commerce Chatbots using Cross-Utterance Context and Multi-Task Language Modeling},
author = {Ashish Shenoy and Sravan Bodapati and Katrin Kirchhoff},
journal= {arXiv preprint arXiv:2106.09532},
year = {2021}
}
备注
Accepted at ACL-IJCNLP 2021 Workshop on e-Commerce and NLP (ECNLP)