面向参数高效语音识别的大语言模型重打分低秩适配
计算与语言
2024-01-29 v2 人工智能
机器学习
神经与进化计算
声音
音频与语音处理
摘要
我们提出了一种基于低秩适配(LoRA)的神经网络语言建模系统,用于语音识别输出重打分。尽管诸如BERT等预训练语言模型(LM)在第二遍重打分中展现出优越性能,但扩大预训练阶段的高计算成本以及将预训练模型适配到特定领域的开销限制了它们在重打分中的实际应用。本文提出一种基于低秩分解的方法来训练重打分BERT模型,并仅使用预训练参数的一小部分(0.08%)将其适配到新领域。这些插入的矩阵通过判别性训练目标以及基于相关性的正则化损失进行优化。所提出的低秩适配Rescore-BERT(LoRB)架构在LibriSpeech和内部数据集上进行了评估,训练时间缩短了3.6至5.4倍。
引用
@article{arxiv.2309.15223,
title = {Low-rank Adaptation of Large Language Model Rescoring for Parameter-Efficient Speech Recognition},
author = {Yu Yu and Chao-Han Huck Yang and Jari Kolehmainen and Prashanth G. Shivakumar and Yile Gu and Sungho Ryu and Roger Ren and Qi Luo and Aditya Gourav and I-Fan Chen and Yi-Chieh Liu and Tuan Dinh and Ankur Gandhe and Denis Filimonov and Shalini Ghosh and Andreas Stolcke and Ariya Rastow and Ivan Bulyko},
journal= {arXiv preprint arXiv:2309.15223},
year = {2024}
}
备注
Accepted to IEEE ASRU 2023. Internal Review Approved. Revised 2nd version with Andreas and Huck. The first version is in Sep 29th. 8 pages