利用监督微调与 GELU 适配器改进语码转换
声音
2025-08-04 v2 音频与语音处理
摘要
当今存在的语码转换数据集（无论是否有标注）寥寥无几。因此，ASR 需要新方法来利用现有的海量单语数据和模型。本文使用 OpenAI 的开源 ASR 模型 Whisper，该模型已在 680K 小时的音频上进行了预训练以执行单语 ASR 任务。在第一部分，本文研究了如何利用 Whisper 的单语能力对训练文本进行单独分词（称为“切换分词器方法”），从而提高转录准确率。在第二部分，我们将第一部分的切换分词器方法相结合，并在编码器上训练基于 GELU 的适配器。这两种方法将 ASCEND 数据集的总混合错误率 (MER) 降至 9.4%，SEAME devman 降至 6%，SEAME devsge 降至 9.7%，优于当前 SoTA 方法。
引用
@article{arxiv.2506.00291,
title = {Improving Code Switching with Supervised Fine Tuning and GELU Adapters},
author = {Linh Pham},
journal= {arXiv preprint arXiv:2506.00291},
year = {2025}
}
备注
Incorrect results