SpeechGPT：赋予大语言模型内在的跨模态对话能力
计算与语言
2023-05-22 v2
摘要
多模态大语言模型被视为迈向通用人工智能（AGI）的关键一步，并随着 ChatGPT 的出现引发了广泛关注。然而，当前的语音-语言模型通常采用级联范式，阻碍了模态间的知识迁移。本文中，我们提出 SpeechGPT，一种具有内在跨模态对话能力、能够感知并生成多模态内容的大语言模型。利用离散语音表征，我们首先构建了 SpeechInstruct，一个大规模的跨模态语音指令数据集。此外，我们采用了三阶段训练策略，包括模态适配预训练、跨模态指令微调以及模态链指令微调。实验结果表明，SpeechGPT 具备遵循多模态人类指令的出色能力，并凸显了使用单一模型处理多种模态的潜力。演示见 https://0nutation.github.io/SpeechGPT.github.io/。
引用
@article{arxiv.2305.11000,
title = {SpeechGPT: Empowering Large Language Models with Intrinsic Cross-Modal Conversational Abilities},
author = {Dong Zhang and Shimin Li and Xin Zhang and Jun Zhan and Pengyu Wang and Yaqian Zhou and Xipeng Qiu},
journal= {arXiv preprint arXiv:2305.11000},
year = {2023}
}
备注
work in progress