基于语音模型中任务向量的免微调罕见词识别与翻译
音频与语音处理
2025-12-29 v1 声音
摘要
罕见词仍是语音到文本系统的关键瓶颈。虽然直接微调能改善目标词的识别，但往往带来高成本、灾难性遗忘以及有限的可扩展性。为应对这些挑战，我们提出了一种基于任务向量的免训练范式，用于罕见词识别与翻译。通过将任务向量定义为参数差异并引入词级任务向量算术运算，我们的方法实现了罕见词能力的灵活组合，极大增强了可扩展性与可复用性。在多个领域的广泛实验表明，所提方法在目标词上匹敌或超越微调模型，将整体性能提升约 5 BLEU，并缓解了灾难性遗忘。
引用
@article{arxiv.2512.21894,
title = {Rare Word Recognition and Translation Without Fine-Tuning via Task Vector in Speech Models},
author = {Ruihao Jing and Cheng Gong and Yu Jiang and Boyu Zhu and Shansong Liu and Chi Zhang and Xiao-Lei Zhang and Xuelong Li},
journal= {arXiv preprint arXiv:2512.21894},
year = {2025}
}