权重平均：一种克服自动语音识别中灾难性遗忘的简单而有效的方法
音频与语音处理
2026-01-22 v2 计算与语言
声音
摘要
将训练好的自动语音识别（ASR）模型适配到新任务会导致对旧任务的灾难性遗忘，限制了模型持续学习以及扩展到新说话人、方言、语言等的能力。本文聚焦于端到端ASR，提出一种简单而有效的方法来克服灾难性遗忘：权重平均。通过简单地取先前模型与适配后模型的平均值，我们的方法在旧任务和新任务上均取得了高性能。通过在适配过程中引入知识蒸馏损失，该方法可进一步改进。我们在单语和多语ASR上均验证了方法的有效性。在两种情况下，即使是最简单的形式，我们的方法也显著优于所有基线。
引用
@article{arxiv.2210.15282,
title = {Weight Averaging: A Simple Yet Effective Method to Overcome Catastrophic Forgetting in Automatic Speech Recognition},
author = {Steven Vander Eeckt and Hugo Van hamme},
journal= {arXiv preprint arXiv:2210.15282},
year = {2026}
}
备注
Accepted at ICASSP 2023. 5 pages