基于中间 CTC 的按需层剪枝
音频与语音处理
2021-06-18 v1 计算与语言
声音
摘要
在移动/嵌入式设备上部署端到端自动语音识别（ASR）模型是一项具有挑战性的任务，因为设备的计算能力与能耗需求在实践中是动态变化的。为克服该问题，我们提出一种基于连接主义时序分类（CTC）的 ASR 训练与剪枝方法，其允许在运行时降低模型深度而无需任何额外微调。为实现该目标，我们采用两种正则化方法——中间 CTC 与随机深度，来训练一个剪枝后性能下降不多的模型。我们利用奇异向量典型相关分析（SVCCA）对层行为进行深入分析，并给出寻找可安全剪枝层的高效策略。使用所提方法，我们展示 Transformer-CTC 模型可按需以不同深度剪枝，在 GPU 上将实时因子从 0.005 提升至 0.002，而每个剪枝后的子模型都保持了同等深度下独立训练模型的精度。
引用
@article{arxiv.2106.09216,
title = {Layer Pruning on Demand with Intermediate CTC},
author = {Jaesong Lee and Jingu Kang and Shinji Watanabe},
journal= {arXiv preprint arXiv:2106.09216},
year = {2021}
}
备注
Interspeech 2021