提示微调 GPT-2 语言模型以实现 ASR 系统的参数高效领域自适应
计算与语言
2022-07-25 v3 机器学习
摘要
自动语音识别（ASR）系统已在众多工业应用及高度多样的领域中使用，这产生了以较小内存与部署开销适应新领域的需要。本工作中，我们引入领域提示（domain-prompts），一种训练少量领域嵌入参数以引导基于 Transformer 的语言模型（LM）适应特定领域的方法。使用该领域自适应 LM 对 ASR 假设进行重打分，仅需 1000 句无标注领域文本句子，即可在新领域实现 7–13% 的 WER 降低。尽管仅更新了基础 LM 0.02% 的参数，该改进可与全微调模型媲美甚至更优。此外，我们的方法对部署友好，因为所学领域嵌入被前缀至模型输入而非改变基础模型架构。因此，我们的方法是 ASR 系统中所用 LM 渐进扩展至新领域时进行即时自适应的理想选择。
引用
@article{arxiv.2112.08718,
title = {Prompt Tuning GPT-2 language model for parameter-efficient domain adaptation of ASR systems},
author = {Saket Dingliwal and Ashish Shenoy and Sravan Bodapati and Ankur Gandhe and Ravi Teja Gadde and Katrin Kirchhoff},
journal= {arXiv preprint arXiv:2112.08718},
year = {2022}
}
备注
Accepted at InterSpeech 2022