QUADS：面向高效语音语言理解的量化蒸馏框架
音频与语音处理
2025-08-18 v1 人工智能
计算与语言
机器学习
声音
摘要
语音语言理解（SLU）系统需在性能与效率之间进行平衡，尤其在资源受限的环境中。现有方法将蒸馏与量化分别应用，导致压缩效果次优，因为蒸馏过程忽略了量化约束。我们提出 QUADS（QUAntized Distillation Framework for Efficient Speech Language Understanding），一个统一的框架，通过多阶段训练和预调谐模型实现对两者的联合优化，增强其在低比特 regime 下的适应性，同时保持准确率。QUADS 在 SLURP 数据集上实现 71.13% 的准确率，在 FSC 数据集上实现 99.20% 的准确率，仅比最先进模型下降最多 5.56%。此外，它将计算复杂度降低 60--73 倍（GMACs），模型规模缩小 83--700 倍，显示出在极端量化下的强大鲁棒性。这些结果表明 QUADS 是面向实际资源受限 SLU 应用的高效解决方案。
引用
@article{arxiv.2505.14723,
title = {QUADS: QUAntized Distillation Framework for Efficient Speech Language Understanding},
author = {Subrata Biswas and Mohammad Nur Hossain Khan and Bashima Islam},
journal= {arXiv preprint arXiv:2505.14723},
year = {2025}
}