基于不确定性驱动自训练的语音识别无监督域自适应
计算与语言
2021-02-17 v2 机器学习
声音
音频与语音处理
摘要
当训练与测试数据域不匹配时，自动语音识别(ASR)系统的性能通常会显著下降。本文中，我们展示了自训练(ST)结合基于不确定性的伪标签过滤方法可有效用于域自适应。我们提出 DUST，一种基于 dropout 的不确定性驱动自训练技术，其利用 ASR 系统在不同 dropout 设置下多次预测之间的一致性来衡量模型对其预测的不确定性。DUST 从训练中排除高不确定性的伪标签数据，与无过滤的 ST 相比显著改善了 ASR 结果，并且由于训练数据集减小而加速了训练时间。以 WSJ 为源域、TED-LIUM 3 与 SWITCHBOARD 为目标域的域自适应实验表明，可恢复多达 80% 的在真实标注数据上训练系统的性能。
引用
@article{arxiv.2011.13439,
title = {Unsupervised Domain Adaptation for Speech Recognition via Uncertainty Driven Self-Training},
author = {Sameer Khurana and Niko Moritz and Takaaki Hori and Jonathan Le Roux},
journal= {arXiv preprint arXiv:2011.13439},
year = {2021}
}
备注
ICASSP 2021