SlimIPL：无语言模型的迭代伪标注
计算与语言
2021-08-31 v5 机器学习
摘要
端到端自动语音识别的最新结果表明，伪标注对于使用连接主义时序分类（CTC）和序列到序列（seq2seq）损失训练的半监督模型是有效的。迭代伪标注（IPL）通过随着模型学习持续使用迭代重新生成的伪标签训练单一模型，已被证明可进一步提升 ASR 性能。我们改进了 IPL 算法：随着模型学习，我们提议迭代地用硬标签（最可能的词元）重新生成转写，即不使用语言模型。我们称此方法为无语言模型 IPL（slimIPL），并给出一种基于 CTC 的模型在低资源设定下的 resultant 训练配置。slimIPL 具有用于伪标签的动态缓存，降低了对重新标注超参数变化的敏感性，并提升了训练稳定性。slimIPL 还极为高效，收敛所需计算资源比其他最先进的半/自监督方法少 3.5-4 倍。仅使用 10 小时标注音频时，slimIPL 与自监督方法具有竞争力；在使用 100 小时标注音频且测试和伪标签生成阶段均不使用语言模型时，slimIPL 达到了最先进水平。
引用
@article{arxiv.2010.11524,
title = {SlimIPL: Language-Model-Free Iterative Pseudo-Labeling},
author = {Tatiana Likhomanenko and Qiantong Xu and Jacob Kahn and Gabriel Synnaeve and Ronan Collobert},
journal= {arXiv preprint arXiv:2010.11524},
year = {2021}
}