基于 Whisper 的嵌入层手术和任务级束搜索的持续学习
计算与语言
2025-01-15 v1 人工智能
摘要
当前的多语言语音识别模型仅支持世界上部分语言。持续学习（CL）旨在通过向预训练模型添加新语言来解决这一问题，同时避免对现有语言性能的损失，称为灾难性遗忘（Catastrophic Forgetting, CF）。然而，现有 CL 方法忽略了解码器中标记嵌入查找表的适应，尽管它在 CF 中发挥着重要作用。我们提出嵌入层手术（Embedding Layer Surgery），为每个新语言创建单独的标记嵌入副本，并在 transcribe 对应新语言时选择其中一个副本来替换旧语言的嵌入。不幸的是，这一方法意味着 LID 错误也会导致错误的 ASR 嵌入选择。我们的任务级束搜索允许对此类错误进行自我纠正。通过将 Whisper 适配每个未见语言的 10 小时 Common Voice 数据，结果表明，我们的方法将预训练语言的平均 WER（AWER）从 14.2% 降至 11.9%，而不影响未见语言的 AWER。
引用
@article{arxiv.2501.07875,
title = {Continual Learning with Embedding Layer Surgery and Task-wise Beam Search using Whisper},
author = {Chin Yuen Kwok and Jia Qi Yip and Eng Siong Chng},
journal= {arXiv preprint arXiv:2501.07875},
year = {2025}
}
备注
Published in 2024 IEEE Spoken Language Technology Workshop