CTC空白触发的动态层跳过：面向高效CTC语音识别
音频与语音处理
2024-01-05 v1 声音
摘要
尽管端到端语音识别模型性能出色，但在有限计算资源下部署仍具挑战性。鉴于模型尺寸逐渐增大且应用范围广泛，针对不同输入有选择地执行模型组件以提高推理效率具有重要意义。本文提出一种动态层跳过方法，利用中间层的CTC空白输出来触发对具有高空白概率的帧跳过最后几个编码器层。此外，我们对CTC输出分布进行分解，并在中间层进行知识蒸馏，以减少计算量并提高识别准确率。实验结果表明，通过利用CTC空白，编码器层深度可以动态调整，从而使CTC模型推理加速29%，且性能下降极小。
引用
@article{arxiv.2401.02046,
title = {CTC Blank Triggered Dynamic Layer-Skipping for Efficient CTC-based Speech Recognition},
author = {Junfeng Hou and Peiyao Wang and Jincheng Zhang and Meng Yang and Minwei Feng and Jingcheng Yin},
journal= {arXiv preprint arXiv:2401.02046},
year = {2024}
}
备注
accepted by ASRU 2023