高效准确的多语言语音翻译的新型寄生双尺度建模
计算与语言
2025-08-18 v1 声音
音频与语音处理
摘要
近期语音到文本翻译的进展推动了多语言模型的发展，这些模型能够同时处理多个语言对。然而，这些统一模型往往 suffers from 参数规模大，使得在本地部署场景下难以在推理效率和性能之间取得平衡。我们提出了创新的寄生双尺度方法，结合了增强的推测采样方法、模型压缩和知识蒸馏技术。在Whisper Medium模型基础上，我们增强了其多语言语音翻译能力，构建出whisperM2M，并集成我们新颖的KVSPN模块，实现了在六种主流语言上的最先进性能并提高了推理效率。KVSPN实现了40%的加速且不降低BLEU分数。结合蒸馏方法，整体比原始Whisper Medium快2.6倍，性能也更佳。
引用
@article{arxiv.2508.11189,
title = {Novel Parasitic Dual-Scale Modeling for Efficient and Accurate Multilingual Speech Translation},
author = {Chenyang Le and Yinfeng Xia and Huiyan Li and Manhong Wang and Yutao Sun and Xingyang Ma and Yanmin Qian},
journal= {arXiv preprint arXiv:2508.11189},
year = {2025}
}
备注
Interspeech 2025