面向每位用户与预算的模型：无标签个性化混合精度量化
声音
2024-02-13 v2 计算与语言
音频与语音处理
摘要
自动语音识别（ASR）的最新进展产生了大型 AI 模型，这类模型在移动设备上部署变得不切实际。模型量化能有效生成压缩的通用模型，但此类模型可能仅能部署到受限的感兴趣子领域。我们表明，ASR 模型可在量化过程中实现个性化，且仅依赖于来自目标领域的一小组无标签样本。为此，我们提出 myQASR，一种混合精度量化方法，可在任意内存需求下为不同用户生成定制的量化方案，且无需微调。myQASR 通过分析全精度激活值自动评估网络层的量化敏感度。随后我们能够为任何预设内存预算生成个性化混合精度量化方案。大规模 ASR 模型的结果显示了 myQASR 如何针对特定性别、语言和说话人提升性能。
引用
@article{arxiv.2307.12659,
title = {A Model for Every User and Budget: Label-Free and Personalized Mixed-Precision Quantization},
author = {Edward Fish and Umberto Michieli and Mete Ozay},
journal= {arXiv preprint arXiv:2307.12659},
year = {2024}
}
备注
INTERSPEECH 2023. Code is available at https://github.com/SamsungLabs/myQASR