改进鲁棒基于 Conformer 混合模型的训练方案
计算与语言
2022-06-28 v1 音频与语音处理
机器学习
摘要
说话人自适应对于构建鲁棒的自动语音识别（ASR）系统十分重要。本工作中，我们基于特征空间方法，在 Switchboard 300h 数据集上针对基于 conformer 的声学模型（AM）研究了多种说话人自适应训练（SAT）方法。我们提出一种称为 Weighted-Simple-Add 的方法，将加权说话人信息向量加到 conformer AM 的多头自注意力模块的输入上。使用该方法进行 SAT，我们在 Hub5'00 的 CallHome 部分和 Hub5'01 上分别取得了 3.5% 和 4.5% 的 WER 相对提升。此外，我们在先前提出一种新颖且具有竞争力的基于 conformer 混合 AM 训练方案的工作基础上继续推进。我们扩展并改进了该方案，在 Switchboard 300h Hub5'00 数据集上取得了 11% 的 WER 相对提升。我们还通过相对减少 34% 的总参数量使该方案更为高效。
引用
@article{arxiv.2206.12955,
title = {Improving the Training Recipe for a Robust Conformer-based Hybrid Model},
author = {Mohammad Zeineldeen and Jingjing Xu and Christoph Lüscher and Ralf Schlüter and Hermann Ney},
journal= {arXiv preprint arXiv:2206.12955},
year = {2022}
}
备注
Accepted at INTERSPEECH 2022