面向多语言ASR参数高效无缝语言扩展的语言感知提示调优
计算与语言
2025-09-29 v1 人工智能
声音
音频与语音处理
摘要
多语言自动语音识别（ASR）的最新进展由像Whisper这样的大规模端到端模型推动。然而，诸如语言干扰以及在不降低性能的情况下扩展到未见语言（语言扩展）等挑战依然存在。本文通过三项贡献解决了这些问题：1）整体软提示调优（Entire SPT），将软提示应用于编码器和解码器，增强了特征提取和解码；2）语言感知提示调优（LAPT），利用跨语言相似性，使用轻量级提示矩阵编码共享和语言特定的特征；3）SPT-Whisper，一个将SPT集成到Whisper中并实现高效持续学习的工具包。在来自FLEURS的三个语言上的实验表明，在语言扩展任务中，Entire SPT和LAPT分别比Decoder SPT提升了5.0%和16.0%，为动态的多语言ASR模型提供了一种计算开销最小的有效解决方案。
引用
@article{arxiv.2506.21577,
title = {Language-Aware Prompt Tuning for Parameter-Efficient Seamless Language Expansion in Multilingual ASR},
author = {Hongli Yang and Sheng Li and Hao Huang and Ayiduosi Tuohan and Yizhou Peng},
journal= {arXiv preprint arXiv:2506.21577},
year = {2025}
}
备注
Accepted by Interspeech 2025