COSMIC：用于语音上下文学习的数据高效指令微调
计算与语言
2024-06-17 v2 人工智能
音频与语音处理
摘要
我们提出一种将语音集成至大语言模型（LLM）的高性价比方法，由此得到具有指令遵循/上下文学习能力的上下文语音模型（COSMIC）多模态 LLM。我们利用 GPT-3.5 从语音转写文本生成语音理解测试问答（SQA）对，用于监督指令微调。在少于 3000 万可训练参数且仅 450 小时英语语音数据下，COSMIC 展现出涌现的指令遵循与上下文学习能力。凭借这些能力，COSMIC 在 0-shot 英到 X 语音到文本翻译（S2TT）中取得最高 33.18 的 BLEU 分数，并在 1-shot 设定下显著提升。此外，在 1-shot 跨域适配中相对词错误率（WER）平均降低 25.8%。由于其指令遵循能力，COSMIC 在上下文偏置任务中表现出显著的自动语音识别（ASR）准确率提升。
引用
@article{arxiv.2311.02248,
title = {COSMIC: Data Efficient Instruction-tuning For Speech In-Context Learning},
author = {Jing Pan and Jian Wu and Yashesh Gaur and Sunit Sivasankaran and Zhuo Chen and Shujie Liu and Jinyu Li},
journal= {arXiv preprint arXiv:2311.02248},
year = {2024}
}