面向低规格设备的个性化语码转换自动语音识别的门控低秩适应
音频与语音处理
2024-06-06 v1 人工智能
计算与语言
摘要
近年来，在移动设备和仅CPU设备等低规格设备上使用个性化大型模型的兴趣日益增长。然而，在设备上使用个性化大型模型效率低下，有时甚至因计算成本而受限。为解决此问题，本文提出了一种权重分离方法，通过参数高效微调技术最小化设备上的模型权重。此外，有些人在一次话语中说多种语言，即语码转换，个性化ASR模型需要处理这种情况。然而，当前的多语言语音识别模型仅限于识别每个话语中的单一语言。为解决此问题，我们提出了结合微调的单语和多语语音识别模型的语码转换语音识别模型。此外，我们引入了门控低秩适应（GLoRA）用于参数高效微调，且性能下降最小。我们在韩英语码转换数据集上进行的实验表明，为语码转换微调语音识别模型超越了从头训练的传统语码转换语音识别模型的性能。此外，与传统的LoRA相比，GLoRA提升了参数高效微调的性能。
引用
@article{arxiv.2406.02562,
title = {Gated Low-rank Adaptation for personalized Code-Switching Automatic Speech Recognition on the low-spec devices},
author = {Gwantae Kim and Bokyeung Lee and Donghyeon Kim and Hanseok Ko},
journal= {arXiv preprint arXiv:2406.02562},
year = {2024}
}
备注
Table 2 is revised