面向可扩展 ASR 模型压缩的正交 Softmax 高效超网训练
计算与语言
2025-02-05 v2
摘要
ASR 系统部署在具有特定硬件约束的多样化环境中。我们使用超网训练来联合训练多个规模不同的编码器，使模型大小能够动态调整以适应硬件约束，而无需进行冗余训练。此外，我们提出了一种称为 OrthoSoftmax 的新方法，通过对多个正交 Softmax 函数进行有效识别来在超网中寻找最佳子网，避免资源密集型搜索。该方法还允许基于各种标准和粒度水平进行更灵活、更精确的子网选择。我们的在 Librispeech 和 TED-LIUM-v2 上的 CTC 实验结果表明，FLOPs 感知的分部选择性能最佳。以相同数量的训练更新（来自单个作业），所有模型规模的 WER 均与单独训练的模型相当或略优于个体训练的模型。 Furthermore, 我们分析了所选组件的模式，揭示了有趣的见解。
引用
@article{arxiv.2501.18895,
title = {Efficient Supernet Training with Orthogonal Softmax for Scalable ASR Model Compression},
author = {Jingjing Xu and Eugen Beck and Zijian Yang and Ralf Schlüter},
journal= {arXiv preprint arXiv:2501.18895},
year = {2025}
}
备注
Accepted by ICASSP 2025