BERT 参与对话：改进低资源会话语音识别
计算与语言
2022-01-26 v2 机器学习
音频与语音处理
摘要
我们提出了新的、数据高效的 BERT 模型训练任务，以提升自动语音识别（ASR）系统在会话语音上的性能。我们引入过往会话上下文，并在无外部数据的情况下微调 BERT 以进行转写消歧，从而对 ASR 候选重新打分。我们的结果显示词错误率最高可降低 37.2%。我们在低资源数据域中测试了我们的方法，包括语言（挪威语）、语调（自发、会话式）和主题（议会 proceedings 与客服电话）。这些技术适用于任何 ASR 系统，且在提供预训练 BERT 模型时不需要任何额外数据。我们还展示了我们上下文增强的重打分方法的性能如何强烈依赖于自发程度与对话性质。
引用
@article{arxiv.2110.02267,
title = {BERT Attends the Conversation: Improving Low-Resource Conversational ASR},
author = {Pablo Ortiz and Simen Burud},
journal= {arXiv preprint arXiv:2110.02267},
year = {2022}
}
备注
18 pages, 3 figures; new title and abstract, minor changes, results unchanged; prepared for submission to JMLR