MultiModal-GPT：一种用于人机对话的视觉与语言模型
计算机视觉与模式识别
2023-06-14 v3 计算与语言
摘要
我们提出一个名为 MultiModal-GPT 的视觉与语言模型，用于与人类进行多轮对话。MultiModal-GPT 可以遵循人类的多种指令，例如生成详细的描述、计数感兴趣对象的数量，以及回答用户的通用问题。MultiModal-GPT 以 OpenFlamingo 为基础，通过参数高效微调得到，在语言模型的交叉注意力部分与自注意力部分均添加了低秩适配器（Low-rank Adapter, LoRA）。我们首先利用视觉与语言数据构建指令模板，进行多模态指令微调，使模型理解并遵循人类指令。我们发现训练数据的质量对对话性能至关重要，其中少量包含简短答案的数据会导致模型对任何指令都给出简短回复。为了进一步增强 MultiModal-GPT 与人对话的能力，我们利用仅含语言的指令跟随数据联合训练 MultiModal-GPT。使用相同指令模板对仅含语言与视觉-语言指令进行联合训练，有效提升了对话性能。多种演示展示了 MultiModal-GPT 与人类连续对话的能力。代码、数据集与演示见 https://github.com/open-mmlab/Multimodal-GPT
引用
@article{arxiv.2305.04790,
title = {MultiModal-GPT: A Vision and Language Model for Dialogue with Humans},
author = {Tao Gong and Chengqi Lyu and Shilong Zhang and Yudong Wang and Miao Zheng and Qian Zhao and Kuikun Liu and Wenwei Zhang and Ping Luo and Kai Chen},
journal= {arXiv preprint arXiv:2305.04790},
year = {2023}
}
备注
10 pages, 8 figures