InterMPL：采用中间 CTC 损失的动量伪标注方法
音频与语音处理
2023-03-20 v2 计算与语言
声音
摘要
本文提出 InterMPL，一种执行带中间监督的伪标注 (PL) 的端到端自动语音识别 (ASR) 半监督学习方法。动量伪标注 (MPL) 通过在无标签数据上持续动态生成伪标签并提升其质量，训练基于连接时序分类 (CTC) 的模型。与自回归公式（如基于注意力的编码器-解码器与转导器）相比，CTC 因其简单/快速的推理算法及对生成崩溃标签的鲁棒性，非常适于 MPL 或一般而言基于 PL 的半监督 ASR。然而，由于条件独立假设，CTC 通常较自回归模型性能更差，从而限制了 MPL 的性能。我们受近期 CTC 建模进展启发，提出通过引入中间损失来增强 MPL。具体而言，我们关注自条件与层次条件 CTC，其将辅助 CTC 损失应用于中间层以显式放宽条件独立假设。我们还探究了伪标签应如何生成并用作中间损失的监督。不同半监督设定下的实验结果表明，所提方法优于 MPL，并为 ASR 模型带来最高 12.1% 的绝对性能提升。此外，我们的详细分析验证了中间损失的重要性。
引用
@article{arxiv.2211.00795,
title = {InterMPL: Momentum Pseudo-Labeling with Intermediate CTC Loss},
author = {Yosuke Higuchi and Tetsuji Ogawa and Tetsunori Kobayashi and Shinji Watanabe},
journal= {arXiv preprint arXiv:2211.00795},
year = {2023}
}
备注
Accepted to ICASSP2023