基于 Conformer 与初始化策略推进动量伪标签方法
音频与语音处理
2021-10-12 v1 声音
摘要
伪标签（PL）是一种半监督学习（SSL）方法，其中种子模型利用从未转写语音生成的伪标签进行自训练，已被证明能提升端到端自动语音识别（ASR）的性能。我们之前的工作提出了动量伪标签（MPL），其受 mean teacher 框架启发，通过在线与离线模型之间的交互执行基于 PL 的 SSL。MPL 在各种半监督设定下取得显著结果，对数据量和域不匹配程度的变化表现出鲁棒性。然而，用于初始化 MPL 训练的种子模型仍有改进空间，因为基于 PL 的方法通常必须从高质量伪标签开始训练。为此，我们提出通过（1）引入 Conformer 架构以提升整体识别精度，以及（2）在应用 MPL 前利用带语言模型的迭代伪标签来改进种子模型，从而增强 MPL。实验结果表明，所提方法有效提升了 MPL 性能，优于其他基于 PL 的方法。我们还进行了深入探究以使改进有效，例如关于 Conformer 中通常使用的批归一化及 LM 质量。
引用
@article{arxiv.2110.04948,
title = {Advancing Momentum Pseudo-Labeling with Conformer and Initialization Strategy},
author = {Yosuke Higuchi and Niko Moritz and Jonathan Le Roux and Takaaki Hori},
journal= {arXiv preprint arXiv:2110.04948},
year = {2021}
}
备注
Submitted to ICASSP2022