利用微调与最小前瞻集束搜索改进 Whisper
音频与语音处理
2023-09-20 v1 计算与语言
机器学习
声音
摘要
Whisper 在低资源语言上的表现仍远未完美。除低资源语言训练数据缺乏外，我们指出了 Whisper 中所用集束搜索算法的一些局限性。为解决这些问题，我们在额外数据上微调 Whisper 并提出了一种改进的解码算法。在越南语上，使用 LoRA 微调 Whisper-Tiny 相比零样本 Whisper-Tiny 设置在 WER 上取得了 38.49 的提升，相较全参数微调进一步降低了 1.45。此外，通过使用 Filter-Ends 与最小前瞻（Min Lookahead）解码算法，在多种语言上 WER 相比标准集束搜索平均降低了 2.26。这些结果可推广到更大的 Whisper 模型规模。我们还证明了一个定理：最小前瞻优于 Whisper 中使用的标准集束搜索算法。
引用
@article{arxiv.2309.10299,
title = {Using fine-tuning and min lookahead beam search to improve Whisper},
author = {Andrea Do and Oscar Brown and Zhengjie Wang and Nikhil Mathew and Zixin Liu and Jawwad Ahmed and Cheng Yu},
journal= {arXiv preprint arXiv:2309.10299},
year = {2023}
}
备注
8 pages, submitted to IEEE ICASSP 2024