用于神经转导器帧跳过的空白正则化 CTC
音频与语音处理
2023-05-22 v1 计算与语言
摘要
神经转导器(Neural Transducer)与连接时序分类(CTC)是流行的端到端自动语音识别系统。由于其帧同步设计,引入了空白符号以解决声学帧与输出词符之间的长度不匹配问题,这可能带来冗余计算。以往研究通过基于协同训练的 CTC 所预测的空白符号丢弃帧,从而加速神经转导器的训练与推理。然而,无法保证协同训练的 CTC 能最大化空白符号的比例。本文提出两种新颖的正则化方法,通过约束 CTC 中非空白符号的自环,显式地鼓励更多空白。有趣的是,神经转导器的帧缩减比可逼近理论边界。在 LibriSpeech 语料库上的实验表明,我们所提方法在不牺牲性能的前提下将神经转导器的推理加速了 4 倍。我们的工作已开源并公开于 https://github.com/k2-fsa/icefall。
引用
@article{arxiv.2305.11558,
title = {Blank-regularized CTC for Frame Skipping in Neural Transducer},
author = {Yifan Yang and Xiaoyu Yang and Liyong Guo and Zengwei Yao and Wei Kang and Fangjun Kuang and Long Lin and Xie Chen and Daniel Povey},
journal= {arXiv preprint arXiv:2305.11558},
year = {2023}
}
备注
Accepted in INTERSPEECH 2023