面向大型序列到序列语音基础模型的门控注意力增强 outlier reduction 及后训练量化
声音
2024-06-18 v1 音频与语音处理
摘要
本文探讨了在 Whisper 语音基础模型系列中通过知识蒸馏后的后训练量化（PTQ）性能提升问题。我们针对权重和激活张量中的 outlier 这一挑战，已在基于变换器的语言和视觉模型中广泛观察到其会显著影响量化质量。我们进一步证明，这种现象同样存在于基于变换器的模型用于自动语音识别训练时。为缓解此问题，我们展示了通过在学生模型注意力块中引入最近提出的门控机制，可有效减少 outlier，实现有效的 8 位量化，并在不使用门控机制的学生模型基础上获得更低的词错误率。
引用
@article{arxiv.2406.11022,
title = {Outlier Reduction with Gated Attention for Improved Post-training Quantization in Large Sequence-to-sequence Speech Foundation Models},
author = {Dominik Wagner and Ilja Baumann and Korbinian Riedhammer and Tobias Bocklet},
journal= {arXiv preprint arXiv:2406.11022},
year = {2024}
}
备注
Accepted at Interspeech 2024