MUST：一种面向低资源语音识别的多语言师生学习方法
计算与语言
2023-10-31 v1 声音
音频与语音处理
摘要
师生学习或知识蒸馏(KD)此前已被用于解决训练语音识别(ASR)系统的数据稀缺问题。然而，KD 训练的一个局限是学生模型类别必须是教师模型类别的真子集或伪子集。这导致即便声学相似的语言，若字符集不同也无法进行蒸馏。本工作通过提出一种利用后验映射方法的多语言师生(MUltilingual Student-Teacher, MUST)学习来解决上述局限。使用预训练的映射模型将教师语言的 posterior 映射至学生语言 ASR。这些映射后的 posterior 用作 KD 学习的软标签。我们尝试了多种教师集成方案来训练低资源语言的 ASR 模型。采用 MUST 学习训练的模型相较基线单语 ASR 相对字符错误率(CER)最高降低 9.5%。
引用
@article{arxiv.2310.18865,
title = {MUST: A Multilingual Student-Teacher Learning approach for low-resource speech recognition},
author = {Muhammad Umar Farooq and Rehan Ahmad and Thomas Hain},
journal= {arXiv preprint arXiv:2310.18865},
year = {2023}
}
备注
Accepted for IEEE ASRU 2023